CN112116488A - 一种水利大数据综合维护系统 - Google Patents

Abstract

本发明申请公开了一种水利大数据综合维护系统，该水利大数据综合维护系统的系统架构包括，业务架构上下文，平台数据来源；业务架构；数据服务架构，对平台的基本角色和操作进行设定；业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。本发明申请解决了由于现有的水利数据还不能实现资源共享，很难做到标准规范的建立，造成的部门之间不能对水利大数据及时处理维护，从而缺乏安全保障的技术问题。

Description

一种水利大数据综合维护系统

技术领域

本发明申请涉及水利数据维护技术领域，特别涉及一种水利大数据综合 维护系统。

背景技术

大水网工程中涉及到众多的水利数据，现有的水利数据还不能实现资源共 享，很难做到标准规范的建立，部门之间不能对水利大数据及时处理维护， 从而缺乏安全保障。

发明内容

本发明申请的目的在于提供一种水利大数据综合维护系统，为水利门户 网站提供平台、数据支持，达成“统一采集、整合共享、安全可靠”的目标， 以解决由于现有的水利数据还不能实现资源共享，很难做到标准规范的建立， 造成的部门之间不能对水利大数据及时处理维护，从而缺乏安全保障的技术 问题。

为实现上述目的，本发明申请提供如下技术方案：

一种水利大数据综合维护系统，系统架构包括，

业务架构上下文，平台数据来源；

业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务 架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算 法和数据共享；

数据服务架构，对平台的基本角色和操作进行设定；

能力中心的定位，包括能力中心内部关系和能力中心外部关系；

信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息 资源目录体系设计四个部分；

所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根 据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架 构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处 理后，关联至数据整合交换共享平台。

进一步的，所述能力架构是数据中心采用云计算三层技术架构，分别为 IaaS、PaaS和SaaS。

进一步的，所述PaaS应用运行于所述IaaS基础资源层之上，所述IaaS 层包括了应用主机、数据库、中间件、网络等资源。

进一步的，所述数据服务架构，包括三个基本角色和三种操作，三个基 本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找 和绑定；三个角色通过以上三种操作建立联系完成服务注册、服务发现和使 用服务。

进一步的，所述数据流架构的流程如下：

步骤1：通过flume采集数据到kafka消息管道，然后到strom平台进行 规则匹配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台， 以满足后续分析的需要；

步骤2：非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通 过scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到 关系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足 后续分析的需要；

步骤3：通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进 入到关系型数据后进行数据可视化展现；

步骤4：进入hadoop平台的数据通过数据分析形成大量的分析数据提供 给决策层使用；

步骤5：所有的数据可以通过数据封装的方式共享给外部系统使用。

进一步的，所述数据源：所述数据中心的数据来源于水利专项业务应用 系统数据、水利行政办公应用系统数据、政府部门数据、其他业务类数据以 及互联网上的公共信息数据；

所述数据存储与计算：所述数据中心将根据数据来源类别，对数据进行 分类存储和计算；

所述数据汇聚整合：所述数据中心将对数据按照其业务类别进行汇聚整 合，数据整合后划分为七大数据域：地理空间数据域、水文数据域、水资源 数据域、水土保持数据域、农林水利数据域、水利行政资源数据域、水利科 学技术数据域；

所述数据模型算法：数据挖掘模型根据数据的应用场景分为水利维度模 型、气象预测模型、图形图像识别模型、山洪预测模型、异常告警模型和文 本挖掘模型，数据算法包含线性回归算法、贝叶斯算法、决策树算法、神经 网络模型算法；

所述数据共享：所述数据中心将对内对外提供数据共享，包括数据封装、 元数据管理、安全管控、实时数据共享和非实时数据共享。

进一步的，所述能力中心的定位是用户分为两类，为水利系统内部用户 和社会公众用户，能力中心通过政务内网和外网对内部用户提供信息服务； 对社会公众用户的服务将利用门户网站，通过互联网的方式进行，提供“一 站式”访问。

进一步的，所述元数据建设包括元数据标准、指导用户编写元数据的元 数据指南、关键词词典以及实现对元数据进行检索、查询和管理的元数据管 理系统四大部分，水利核心元数据内容包括7个元数据实体，分别是数据负 责方、数据格式信息、关键字说明、空间范围、时间范围、数据分类、元数 据联系方。

进一步的，所述元数据库建设的内容的水利数据库包括：公用基础数据 库、水利空间数据库、水文数据库、水利工程基本数据库、社会经济信息数 据库、水利法规政策标准数据库、水利行政管理基本信息库、水资源数据库、 水质数据库、实时水雨情数据库、历史大洪水数据库、实时工情数据库、气 象信息数据库、灾情数据库、热带气旋数据库、水土保持数据库、水利工程 管理数据库、农田水利数据库、农村水电及电气化数据库、水利规划数据库、 水利经济数据库、人才管理数据库、水利科技管理信息库、地下水数据库。

进一步的，所述数据整合交换共享平台包括设计思路、设计原则、信息 共享功能、信息交换方式、平台接口设计、资源目录管理、系统技术实现的 优势特性、系统能力及性能指标八个部分；

所述信息共享功能包括数据汇总、数据分发、数据存取访问、数据转换、 任务定制、支持用户自定义接口、支持监控管理七个部分。

与现有技术相比，本发明申请的有益效果是：本发明申请水利大数据综 合维护系统，水利大数据中心完成对综合业务体系中应用系统的数据支撑和 托管服务，与应用支撑平台的功能中间件一起实现包括防汛抗旱、水资源、 水土保持监测与管理、农田水利管理、水利工程建设与管理、水质监测与管 理、水利信息公众服务和水利行政等各水利应用系统功能、运行环境和安全 保障，同时为水利门户网站提供平台、数据支持。达成“统一采集、整合共 享、安全可靠”的目标。

附图说明

图1为本发明申请的总体业务架构图；

图2为本发明申请的总体能力架构图；

图3为本发明申请的数据流架构图；

图4为本发明申请的技术架构图；

图5为本发明申请的水利数据中心业务架构上下文示意图；

图6为本发明申请水利数据中心局域网示意图。

具体实施方式

下面将结合本发明申请实施例中的附图，对本发明申请实施例中的技术 方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明申请一部 分实施例，而不是全部的实施例。基于本发明申请中的实施例，本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本 发明申请保护的范围。

一种水利大数据综合维护系统，按照水利大数据中心的主要应用需求和 水利信息化综合体系，能力中心的技术框架中采用功能层次结构，划分为基 础设施平台、网络通信平台、数据资源平台、应用支撑平台和数据管理平台 以及安全保障系统和标准规范体系。这些平台共同完成对水利应用系统的支 持。系统架构包括业务架构、能力架构、数据流架构、技术架构、业务架构 上下文、数据服务架构、能力中心的定位、信息资源目录体系建立、数据整 合交换共享平台以及数据资源管理应用平台，其中：

总体业务架构如图1，根据数据从产生到应用的全端到端过程，将数据中 心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数 据模型算法和数据共享。

1)数据源：数据中心的数据来源于水利专项业务应用系统数据、水利行 政办公应用系统数据、政府部门数据、其他业务类数据(上海气象、国家气 象、GFS)以及互联网上的公共信息数据(水利部门户、政府网站、热门网站)；

2)数据存储与计算：数据中心将根据数据来源类别(数据来源分类为水 利部门、政府部门、监测感知和互联网四个类别)，对数据进行分类存储和 计算；

3)数据汇聚整合：数据中心将对数据按照其业务类别进行汇聚整合，数 据整合后划分为七大数据域：地理空间数据域、水文数据域、水资源数据域、 水土保持数据域、农林水利数据域、水利行政资源数据域、水利科学技术数 据域；

4)数据模型算法：数据挖掘模型根据数据的应用场景分为水利维度模型、 气象预测模型、图形图像识别模型、山洪预测模型、异常告警模型和文本挖 掘模型，数据算法包含线性回归算法、贝叶斯算法、决策树算法、神经网络 模型算法；

5)数据共享：数据中心将对内对外提供数据共享，包括数据封装、元数 据管理、安全管控、实时数据共享和非实时数据共享。

能力架构数据中心采用云计算三层技术架构分别为IaaS、PaaS和SaaS， 总体能力架构如图2，对不同使用者角色(平台使用者、平台管理者)提供统 一的门户平台，不同角色根据其业务需求，可在统一门户平台上使用数据中 心对外提供的SaaS应用服务。

数据中心将SaaS应用服务通过能力开放平台和数据封装服务平台进行统 一的管理(包括能力的注册和开放)，对外开放多种SaaS应用服务(水务一 张图、共享应用服务、水文分析服务、水环境分析服务、三防主题服务、大 数据分析服务、给排水主题服务、专业应用服务、水利计算服务、人工智能 服务、河长制信息管理平台、超级天气预报)。

SaaS服务以应用的方式承载在数据中心的PaaS平台之上，PaaS层根据 其应用类型(业务B和数据D)分为BaaS和DaaS，两者统一称呼为厚PaaS。 业务BaaS主要对SaaS服务提供各类服务API能力(业务系统服务API、水 利专业算法API、业务能力共享中心API、数据开放服务API等)和应用中心 能力(用户中心、流程中心、效能中心、日志中心等)。数据DaaS主要对 SaaS服务提供数据的综合应用能力(数据存储、数据分析、数据开发、数据 计算、数据治理、数据可视化、数据集成、数据交换等)。

PaaS应用运行于IaaS基础资源层之上，IaaS层包括了应用主机、数据库、 中间件、网络等资源。

为了保障整个数据中心的稳定高效运行，数据中心自身建立了云和大数 据的管理、监控和运维子系统。

数据流架构的流架构如图3，包括如下步骤：

1)通过flume采集数据到kafka消息管道，然后到strom平台进行规则匹 配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台，以满足 后续分析的需要；

2)非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通过 scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到关 系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足后 续分析的需要；

3)通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进入到 关系型数据后进行数据可视化展现；

4)进入hadoop平台的数据通过数据分析(接口层--整合层—中间层—汇 总层—应用层)形成大量的分析数据提供给决策层使用；

5)所有的数据可以通过数据封装的方式共享给外部系统使用。

技术架构如图4，数据中心在数据全生命周期管理中采用了先进、成熟稳 定的技术架构：

数据采集：采用分布式ETL技术对批量离线数据进行采集，对于批量准 实时数据和实时数据分别采用OGG和WebService的技术手段进行采集。对 于互联网上的数据，可通过网络爬虫工具进行爬取。对于类似日志等流式数 据的采集，则采用Flume+Kafka技术框架。

数据存储：数据存储则根据不同的数据处理场景采用适宜的存储技术， 例如，HDFS分布式文件系统则对非结构化的批量离线数据进行存储；Hbase 对HDFS上存储的非结构化数据提供列存储的方式，方便非结构化数据的查 询；redis技术将常用的即时处理数据缓存到内存当中；分布式mysql将类似 配置信息等结构化数据存储到关系型数据库当中。

数据处理：采用MapReduce实现对Hadoop中的数据进行处理，同时在 此基础之上，采用Impala函数、Hive SQL的方式封装MapReduce对数据进 行便捷处理；对于流式数据的处理，采用Storm或SPARK Streaming的技术 实现。使用YARN对Hadoop进行综合的资源调度和管理，使用Zookeeper负 载均衡保证Hadoop的高可用性，使用Oozie实现以调度的方式处理数据。

数据服务开放：采用数据服务开发、服务路由、服务管理和服务运维的 综合数据服务管理。对数据开放接口技术上，提供FTP、Socket、IMS和 WebServce等接口方式。

数据应用：提供数据的统一认证SSO、数据可视化、算法库、地理信息 系统和报表应用。

数据管控：采用统一的数据资源管控平台实现数据资源的多租户管理， 使用统一数据管控平台实现元数据管理、数据安全管理、数据质量管理以及 数据的全生命周期管理。

业务架构上下文，如图5，平台数据来源主要包括专项业务应用、行政办 公应用、综合水利应用的整合建设，专项业务应用体系划分为防汛抗旱、水 资源管理、基础水文管理、水利工程管理、农村水利管理、水土保持管理、 河湖管理、水库管理供排水管理、渔业管理；行政办公应用包括办公自动化、 人事管理、财务管理、资产管理、政策法规管理、科技管理，综合水利应用 体系划分为数据应用、互联网+政务服务应用、综合应急会商应用。

数据中心的使用对象主要包括水利各个部门、政府部门、其他开发厂商、 设计人员、开发人员、运维管理人员等。

(1)内部人员主要包括水利部门领导、管理人员、水利部门人员等。数 据中心将为内部使用提供统一的访问Portal。实现定制化的个人工作台。

(2)外部人员主要为数据对外使用者。数据中心将以货架形式对外提供 数据数据，方便外部客户获取适合自身的数据。

(3)管理人员主要为数据中心的管理员和数据服务开发者。管理人员通 过该门户实现数据资产管理、数据服务管理、数据服务自助组装、系统日常 运行维护与数据质量管控等功能，数据服务开发者则根据内部人员和外部人 员的数据服务需求，通过该门户实现数据服务的自助开发与注册、管理，构 建高价值数据服务开发的共享平台。

数据服务架构，水利大数据中心采用面向服务(SOA)的数据集成框架。 面向服务架构是一个能够动态连接资源的系统，各类资源以单个服务的形式 存在，类似面向对象概念，将单个服务视为单一对象，构成服务为导向的架 构。面向服务架构系统与传统多层式架构系统最大区别在于其所需的功能均 根据开放标准服务组件来开发，各组件之间通过消息的方式沟通，不像过去 使用专用平台、语言所开发系统因紧密耦合导致与外部系统沟通困难。面向 服务架构包括三个基本角色和三种操作，三个基本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找和绑定；三个角色通过以上 三种操作建立联系完成服务注册、服务发现和使用服务，可以描述如下：

1、服务提供者开发网络服务，并进行服务注册发布，描述发布Web服务， 提供服务界面。

2、服务请求者即为客户应用端，向服务中介查询现有服务，发现所需服 务，并绑定与服务提供者建立联系，通过服务提供者对服务的描述，访问服 务。

3、服务中介充当提供者与请求者间的中介角色，帮助建立服务请求者与 提供者之间的联系，负责服务提供者的注册，并进行服务分类，以供查询之 用。

能力中心的定位

(1)能力中心内部关系

大数据中心网络平台局域网(如图6)分为涉密网(政务内网)、政务外网 和互联网。涉密网与政务外网物理隔离，政务外网和互联网之间实现逻辑隔 离，保证涉密信息的安全。通过外网统一访问互联网，实现水利行政管理部 门门户网站和政务外网之间的互连互通，保证外网和互联网之间信息交流。

大数据中心的用户分为两类，即水利系统内部用户和社会公众用户。能 力中心通过政务内网和外网对内部用户提供信息服务；对社会公众用户的服 务将利用门户网站，通过互联网的方式进行，提供“一站式”访问。

(2)能力中心外部关系

水利大数据中心是特定行政区域水利数据资源汇聚、存储、管理和交换 中心，完备的水利大数据中心环境平台能够保障水利大数据中心系统稳定、 安全、高效运行，要求有较高的处理服务能力、快速的信息传输能力、大容 量的数据存储备份能力，高可靠的安全管理以及及时的灾难恢复服务能力， 不仅水利大数据中心满足水利系统内部各种业务应用系统和数据资源服务要 求，还要满足水利信息的社会服务。为避免重复建设，以资源利用为原则， 本工程环境平台将不单独建设，将以现有各类大数据平台为基础，满足水利大数据中心环境要求。

水利大数据中心的对外信息服务，通过互联网经由门户网站提供，门户 网站可和内各相关门户网站相连，提供服务。

由于水利数据的复杂性，对分类、接入后仍不能满足共享要求的，可依 照制定的基本原则和方法进行必要的补充和完善。

信息资源目录体系建立

除了集中存储在水利大数据中心的数据外，还有大量散布在各级水利管 理部门、涉水机构、直属科研单位的数据资源，按照水利大数据中心“物理分 散、逻辑集中”数据管理总体原则，这些分布式数据资源也是数据能力中心统 一管理和共享服务的对象。建立集中统一的信息资源目录系统能够将分散的 数据资源为用户提供检索、共享服务，是实现分布式数据资源逻辑集中管理 和高效共享的手段。

(1)设计思路

建立目录体系的技术分为元数据采集、元数据建库、目录服务和目录应 用技术四个方面。自动采集技术和手工采集的方法建立水利元数据，并建立 元数据库。按照标准接口技术建立目录服务，以便通过网络查询信息资源元 数据得到相关数据信息。利用XML进行编码向用户展现目录的技术。

(2)元数据

建立水利信息资源目录的前提是进行信息资源分类和建立水利元数据。 水利信息资源元数据是描述关于水利数据的数据，即关于数据的内容、覆盖 范围、质量、空间参照系和分发等信息。核心元数据是标识水利信息所需要 的最小元数据元素和元数据实体，为元数据元素集的子集。

水利大数据中心元数据建设包含：1元数据标准；2指导用户编写元数据 的元数据指南；3关键词词典；4实现对元数据进行检索、查询和管理的元 数据管理系统四大部分。其中元数据标准重点是对元数据所描述的对象的特 性，对元数据的内容和形式的规定，是元数据编写和建立元数据管理系统的 依据。

1)元数据功能

核心元数据是水利信息资源目录体系建设的主要内容。通过核心元数据， 用户可了解水利信息资源的基本内容，发现和定位水利信息资源，实现数据 共享和交换的关键。核心元数据定义了描述水利信息资源所需的核心元数据 的数据项集合、各数据项语义定义和著录规则等，它提供了有关水利信息资 源的标识、内容、管理、维护的描述信息。

2)水利核心元数据内容

元数据一般包括7个元数据实体，分别是数据负责方、数据格式信息、 关键字说明、空间范围、时间范围、数据分类、元数据联系方。

说明如下：

1、数据负责方：对数据的完整性、正确性、真实性等负有责任的单位的 名称和地址信息。

2、数据格式信息：数据传送格式的基本信息。

3、关键字说明：用于描述数据主题的通用词、形式化词或短语。

4、空间范围：数据涉及的空间范围。

5、时间范围：数据的起始时间。

6、数据分类：数据的分类信息。

7、元数据联系方：对元数据负责的人或单位的名称和地址信息。

水利信息核心元数据由1个元数据实体集和8个元数据子集构成。其 中，标识信息为必选子集，内容、数据质量、覆盖范围、限制、参照系、维 护和分发等信息为可选子集。

(3)元数据库建设

元数据存储是目录体系的重要内容，元数据建库是建立已经采集完毕的 元数据的集合。元数据库的设计思想以元数据实体集为核心表，数据集标识 信息为辅助表，其它相关表则嵌于这两个表下，形成以父节点、子节点、孙 节点为结构的基本树结构。数据库的设计原则是最终形成以元数据实体集为 根节点的标准树结构，子节点有且唯一具有一个父结点。元数据库设计中， 元数据以XML进行编码表示，以关系化的方式进行存储。在关系型数据库中 不仅存储元数据的结构/模式信息，而且存储数据内容信息。对于前者，元数据库以独立的存储表对其进行存储，记录数据XML的结构定义信息，即 Schema。按以上数据库设计建立各种物理存储的关系表，包括元数据基本信 息表、模式基本表、扩展表等。其中元数据基本信息表以元数据实体集为核 心表，数据集标识信息为辅助表，其它表则嵌于这两个表下，形成以父、子、 孙节点为结构的基本树结构。

1)元数据库建设内容

水利元数据库中的数据按照主题进行构建，水利大数据中心建设的水利 数据库包括：公用基础数据库、水利空间数据库、水文数据库、水利工程基 本数据库、社会经济信息数据库、水利法规政策标准数据库、水利行政管理 基本信息库、水资源数据库、水质数据库、实时水雨情数据库、历史大洪水 数据库、实时工情数据库、气象信息数据库、灾情数据库、热带气旋数据库、 水土保持数据库、水利工程管理数据库、农田水利数据库、农村水电及电气 化数据库、水利规划数据库、水利经济数据库、人才管理数据库、水利科技 管理信息库、地下水数据库。

因此，对每一个数据库需建立对应的元数据库，元数据库建设遵循国家 标准，每一个元数据库必须提供水利核心元数据实体集。

2)元数据存储结构

元数据的存储模式主要有两种，其一是以数据集为基础的分散存储模式， 即每一个数据集有一个对应的元数据文件，每一个元数据文件中包含相应数 据集的元数据内容；另一种是以数据库为基础的集中存储模式，即所有数据 对应一个元数据库，该元数据库统一存储所有元数据，不同数据的元数据在 元数据库中体现为不同的表，元数据的不同要素体现为记录。第一种存储模 式的优点是调用数据时其相应的元数据也作为一个独立的文件被传输，相对 数据库有较强的独立性，在对元数据进行检索时，既可以利用原数据库的功 能实现，又可以将元数据文件调到其他数据库系统中进行操作；其缺点是每 一数据集都有一个元数据文件，在规模巨大的数据库中则会有大量的元数据 文件，管理上极为不便。第二种存储模式由于元数据库统一存储元数据，管 理极为方便，添加或删除数据集只需要在元数据库中添加或删除相应的记录 项即可，但是元数据库的建立则需要额外的技术支持。早期的元数据数据量 小，多采用文件方式存储。随着元数据应用范围的扩大，数据量的递增，应 用需求的拓展，这种方式已经不能满足元数据存储的需要，而基于关系数据库的元数据库能够适应元数据存储发展的需要，因此成为元数据存储的首选。

元数据的存储是基于关系数据库的集中存储模式，元数据库的建设采用 建立统一的元数据库方式。

3)元数据库建设流程

步骤如下：1.对数据源的集中数据分析，形成水利元数据模型；2.通过抽 取、构建各主题数据库水利元数据；3.对元数据进行深加工集成了数据聚合方 法的特点，存入元数据库中。

(4)信息资源目录体系设计

1)信息目录体系概念

水利信息资源目录体系是目录信息与服务、保障与支撑组成的一个总体。 目录信息与服务基于信息资源核心元数据、能够提供人机接口查询界面的各 种浏览器和旁客户端应用，同时也包括提供计算机系统之间通讯的元数据查 询服务接口。信息资源目录的参与角色包括使用者、提供者、管理者。

2)信息目录功能

水利信息资源目录体系是整个分布式水利信息资源共享和开发利用的基 础设施。基本功能包括目录内容编目、注册、发布、查询、维护。

由于水利信息资源数量多、门类广、分布分散、信息不对称的特性，发 现和定位信息资源成为了数据资源共享和开发利用过程的基本前提。通过建 立信息资源目录体系实现数据资源发现与定位，可以在使用者和各部门之间 搭建起一个桥梁和纽带，方便使用者发现所需要的信息资源，并且根据信息 资源元数据中的定位信息获取实际的数据。

3)总体技术方案

资源目录结构采用树形结构，基于LDAP的数据存储方式。

水利信息资源目录基于水利元数据技术组织和管理。元数据以XML表 示，以DTD或XML Schema对XML文档的结构进行定义。

目录体系基于HTTP、Web Services技术提供服务。

服务目录采用Web Services、UDDI(统一描述、发现和集成协议)技术 实现。

服务目录的数据结构类型定义采用W3C XML标准1.0和W3C XML Schema标准1.1，数据结构的组织形式类似于W3C UDDIv2数据结构规范。

服务API接口格式参考W3C UDDIv2API结构规范。

消息格式接口使用SOAP1.2规范。

4)信息目录体系层次结构

水利数据资源目录体系的管理层次结构分主、分目录管理方式，即分为 水利数据目录中心和下一级目录中心两级。主目录包括直接在本级目录中心 注册的水利信息资源核心元数据、按照行业或跨部门应用建立的若干分目录 中的核心元数据以及下一级目录中心地址信息与核心元数据。下一级分目录 包括直接在本级目录中心注册的水利信息资源核心元数据、按照行业或跨部 门应用建立的若干分目录中的核心元数据。下一级目录中心向上一级级目录 中心注册下一级目录访问地址和本级管理的核心元数据。

5)目录体系概念模型

水利信息资源目录体系概念模型由标准、数据库、目录等要素构成。

标准包括信息元数据、资源分类、标识符编码及安全等标准。

水利信息资源元数据库是水利信息资源目录体系的组成部分，核心元数 据来源于水利信息资源元数据库，也可直接来源于水利信息资源库。核心元 数据由数据资源核心元数据以及服务资源核心元数据两类组成。水利信息资 源元数据库是在水利核心元数据的基础上，按照水利信息资源管理的需要进 行扩展。

水利信息资源目录分为资源目录和服务目录，数据资源核心元数据形成 资源目录，服务资源核心元数据形成服务目录。目录中心包括主目录与分目 录，具有元数据注册、运维、保存、服务和管理等功能。

6)目录体系结构总体

目录体系总体结构从技术层面上主要分为软件与硬件环境和网络基础设 施、数据资源层、服务接口层和应用层。

数据资源层主要由数据资源核心元数据库、服务资源核心元数据库、资 源目录和服务目录构成。

服务接口层提供编目服务、注册服务、发布服务、查询服务、目录维护、 用户管理和交换接口的功能服务。

应用层提供面向水利内外网及各水利应用系统的功能应用。

7)目录体系流程，

1、目录内容服务形成与提供流程

目录内容服务形成与提供流程包括4个环节：

a)准备：首先由各部门建立共享信息库，并建立共享信息服务系统，提 供共享信息的浏览、查询和下载等服务；

b)编目：各部门对共享信息的内容提取特征，通过编目系统形成目录内 容库；

c)注册：由各部门通过目录传输系统将目录内容传送到目录服务中心；

d)发布：由目录服务中心对各部门的目录内容进行审核发布。

2、共享资源定位与发现流程包括2个环节：

a)目录查询：目录基于浏览器等客户端查询目录服务中心目录内容，通 过目录查询可以定位共享信息。

b)信息获取：用户根据目录查询得到的定位信息，通过个部门的共享信 息服务系统获得信息。用户可以通过浏览、查询、下载等各种方式从共享信 息服务系统获取共享信息资源。

(8)目录体系管理

水利信息资源目录体系管理架构按两级，各级一般包括三个角色和六项 活动。三个角色是目录内容提供者、水利信息资源目录中心、目录内容使用 者，其中水利信息资源目录中心是一个虚拟机构，由最高一级水利信息技术 管理部门承担其相应职能。六项活动包括规划、编目、注册、发布、维护、 查询。

数据整合交换共享平台

(1)设计思路

用户通过数据交换，可以对数据资源进行透明的访问，并获得多种共享 交换功能服务。数据交换要求目录体系系统提供元数据服务、目录服务、下 载服务或Web服务、数据浏览服务等。数据交换的主要对纵向上包括本级和 下一级之间的数据交换，横向上包括部门、单位之间各业务系统的数据交换。

a)数据源分析

水利大数据中心数据来源分为行业内部和行业外部。

行业内部，内部信息主要包括历史文献、技术档案、实时或定期监测信 息、业务信息和各种层次的再生信息等。水利大数据中心的数据主要来源于 水利行政管理和业务工作。包括业务部门依法采集的信息资源、水利部门在 履行职能过程中产生和生成的信息资源、部门投资建设的信息资源、和依法 授权管理的信息资源。

行业外部，外部信息主要包括社会经济统计信息、地理空间基础信息、 国土资源信息以及其它与水利业务有关的非水利部门采集的信息。

b)数据交换方式

根据需要交换的数据、数据量、实时性要求等不同，水利大数据中心提 供三种数据交换方式：1)基于Web Service的数据交换；2)基于消息中间件 的数据交换；3)基于信息整合技术的数据交换。

1、基于Web Service的数据交换

基于Web Service的数据交换满足数据量较小、实时性要求较高的数据交 换。基于Web Service的数据交换平台采用SOA架构，数据能力中心处于中 心位置，它是实现数据共享和交换的中心，通过标准化的Web Service接口为 每个数据交换节点提供服务。每个数据交换节点只需要与数据能力中心通过 Web Service进行交互，并通过XML进行数据转换，避免直接连接访问数据 库。整个数据共享和交换的底层实现和存储机制对各应用节点是透明的。水 利数据交换平台由各部门业务系统和中心数据交换平台组成。各种实时监测数据可通过此种方式进行数据交换。

2、基于消息中间件的数据交换

基于消息中间件的数据交换能够满足数据量较大的数据交换，通过消息 中间件保障了数据的可靠传输。

3、基于信息整合技术的数据交换

信息整合技术提供了异构关系型数据库的数据联邦和数据复制功能。基 于信息整合技术的数据交换能够用于数据库之间的数据交换，一般用于政府 数据能力中心内部各个应用系统之间，或与开放了数据库(交换库)访问的 外部应用之间的数据交换。

c)平台设计

整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提 供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署 在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决 数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公 共数据存取控制等问题。

各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心 统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合 通过XMA整合协同平台向数据中心提供数据，也通过XMA整合协同平台访 问共享数据。

(2)设计原则

安全高效的数据交换。XMA整合协同平台底层采用消息中间件技术，实 现可靠的数据传输。在应用层基于服务，实现数据交换，必须支持数据采集、 数据汇总、数据分发、数据更新通知、数据转发、数据转换。支持实时、定 时、按需的数据交换方式。支持多种数据源，提供身份验证、用户授权、传 输加密、数据完整性、数据可信性、数据有效性的支持。支持数据分段传输、 数据压缩/解压缩、数据缓存等。

规范的数据共享访问

共享数据是一个公共的资源，可以供多个业务系统同时使用。对公共数 据的访问必须经过用户的验证授权访问。此外，还需要从数据中心运作的流 程、规程制度等方面确保共享数据不被用于非法途径。

(3)信息共享功能

a)数据汇总

支持各个分支数据源汇总数据到数据中心。采集公共数据的过程可以看 成是一个数据汇总的过程，通过XMA整合协同平台将各业务部门的公共数据 采集回来，汇集到数据中心的缓存数据库。经过数据管理系统的比对、校验、 转换得到一致的数据。

b)数据分发

数据分发是从数据中心的角度，主动向各数据使用方提供数据的过程。 通过公开数据服务，依照数据使用权限的规则，从数据中心把数据分发到各 个数据使用部门，实现数据共享、信息联动。

c)数据存取访问

XMA整合协同平台提供实时按需的数据存取访问服务，通过统一标准的 数据接口，以XML作为标准数据格式，通过标准的Web服务对各种技术平 台提供访问支持。

d)数据转换

数据交换服务可以把某个数据库的数据转换成标准XML数据集。通过数 据转换模块，实现对各种异构数据转换到统一标准规范、具有一致性和完整 性的公共数据。

e)任务定制

数据接口系统应该允许用户自己配置和管理相关的服务，如：数据提取 服务、数据发送服务、数据接收服务、数据存储服务等。

f)支持用户自定义接口

数据接口系统应该是一个开放的系统，要提供一些可扩充的接口以及二 次开发接口，支持用户基于这些接口来定义自己的特色服务。

g)支持监控管理

对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。 通过数据服务日志可以记录、跟踪数据交换的细节。对数据交换节点进行管 理，提供安全策略指南、服务器安全管理配置。

(4)信息交换方式

XMA整合协同平台可以支持不同方式的机构和系统间的数据交换与协 同，主要包括：

基于Web Services服务的方式用于外部机构与中心平台间的实时交换；

基于数据库接口的方式用于内部系统间实时或非实时交换；

基于文件交换的方式用于外部或内部系统间非实时批量交换。

a)基于Web Services服务的方式

基于WebServices服务的数据交换方式主要用于外部机构部门与数据中 心间实时的数据交换和业务协同应用。

基于WebServices技术的应用集成通过主流的WebServices协议如SOAP、 XMLRPC等协议的无缝集成，支持这些应用系统的接口，提供基于 WebServices的应用系统整合适配器，并提供快速整合WebServices应用的工 具和接口API。

数据提供方定义公开数据服务，以服务的形式封装数据交换的内容和协 议。数据使用方调用数据提供方的公开数据服务以获取所需的数据，并且按 照一定的数据转换和数据更新规则，把数据更新到本地数据源。通过本地数 据服务和公开数据服务的交互实现数据提供方和数据使用方之间的数据交 换。

b)基于数据库接口的方式

基于数据库接口交换的方式主要用于内部系统间的实时或非实时数据交 换方式。

交换的双方通过定义发送和接收任务来进行数据库接口的交换。根据交 换的数据格式的不同，这种数据交换方式又可以细分为两种类型：一种是数 据落地的数据共享，一种是数据不落地的数据交换。

基于标准XML元数据和数据字典的数据交换由XMA整合协同平台自动 从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的XML 数据包，由定制好的发送路由发送给接收方。接收方接收到XML数据包后自 动进行解包处理，并将数据存储到接收方的前置机交换数据库中。

a)基于文件交换的方式

基于文件交换的方式主要用于外部或内部的非实时批量数据交换方式。

交换的双方通过定义发送和接收任务来进行数据文件的交换。根据交换 的数据文件的不同，这种数据交换方式又可以细分为两种类型：一种是基于 标准XML文件的数据交换，一种是基于其他文件格式的数据交换。

基于标准XML文件的数据交换由XMA整合协同平台自动从前置机交换 数据库中提取数据，并按照定义好的模板打包生成标准的XML文件，由定制 好的发送任务发送给接收方。接收方接收到XML文件后自动进行解包处理， 并将数据存储到接收方的前置机交换数据库中。基于其他文件格式的数据交 换由业务系统将需要交换的数据文件放置到前置机上的规定路径下，通过 XMA整合协同平台发送到目的地交由接收部门自行处理。

(5)平台接口设计

制定的接口规范内容为整合协同平台和各接入部门之间，系统互联所涉 及的数据交换接口。系统之间的信息传输和交换通过计算机系统互联网络来 完成。

a)数据接口

运输层以下层次的通信协议选用合适的标准协议，运输层和网络层建议 选用统一的TCP/IP协议，便于各节点之间组网传输，数据链路层和物理层可 根据实际通信条件情况灵活选用，如ADSL、E1。

在整合协同平台，按照对信息的各种需求，维护一个用于数据共享的标 准数据注册中心，采用标准化数据的方式向各接入系统及各应用系统提供共 享的信息；各接入系统在整合协同平台处对应维护一张数据字典，用于完成 非标数据和标准数据的翻译，从而向共享的标准数据库提供标准化的数据信 息；对于单一功能领域的特殊数据信息，系统提供在各子系统之间直接进行 交换的途径，满足特定功能的应用需求；系统需要有一个专门的维护和管理 机构，分别对系统的数据字典、标准共享数据库进行增添、更新等维护管理，以满足新的接入系统接入和系统发展的需求。

数据传输

在数据传输中，由于系统数据的异构特性，在数据发送接口和接收接口 需要对数据格式按照数据字典的要求进行转换，统一于标准的数据格式满足 应用的要求。

接口扩展

数据接口的分层次、模块化、规范化设计，将有利于系统的扩展性，对 扩展性设计主要体现在以下几个方面：

应用层协议的分层设计，各层功能明确，层之间可通过规范化的接口进 行调用和传递信息。各层功能可独立实现，灵活性好，比如可通过购置商品 化软件来实现通信子层；某一层协议的功能扩展或变化时，将不影响另一层 协议的功能。

采用数据登记标准的、基于XML格式的数据接口方案设计，灵活性比较 好，系统扩展方便，适合接入系统的增加或接入信息内容的扩展，有利于满 足新的系统接入和系统发展的需求。

数据传输协议基于一些主流的、成熟的数据传输协议，能很好适应系统 扩展的需求。

(6)资源目录管理

数据中心通过XMA整合协同平台以数据服务的方式从各业务部门采集 数据，保存到公共数据缓存库，然后使用公共数据管理维护系统进行数据比 对、冲突检查、数据审核、数据转换。当数据达到一致性、完整性要求时， 数据被发布到公共数据发布库，通过XMA整合协同平台以数据服务的形式提 供数据使用方访问。该系统不仅要能够满足基于现状条件下对信息资源的整 合利用和规范管理，还要适应未来对信息资源的深度开发和多媒体信息资源 库扩展的要求。

应用支撑平台和应用系统建设本系统

(1)建设内容概述

本次资金申请中费用不包含应用支撑平台及应用系统建设内容，故建设 内容不再详细描述。

业务支撑平台是构筑整个水利大数据中心应用系统的统一支撑平台，实 现应用系统的开发和整合。水利大数据中心业务支撑平台介于中心数据库和 各种应用系统之间，与业务应用系统的运行网络环境、软硬件环境无关。业 务支撑平台包括操作系统、数据库、存储备份软件、地理信息系统软件和工 作流等各种应用中间件。平台的功能主要为各种应用系统提供数据库的访问、 地理空间服务、系统之间的信息交换、事务处理、流程控制、认证等各种服 务和统一的Web服务器平台。

数据处理和存储系统建设、数据管理能力由数据管理平台提供，数据管 理平台是水利大数据中心进行数据管理、汇聚、查询的基础性功能业务应用 系统组合。

建设内容概述

本次资金申请中费用不包含应用支撑平台及应用系统建设内容，故建设 内容不再详细描述。

在水利大数据中心框架基础上，建设数据管理平台，完成对数据资源信 息的存储、管理、查询等基本功能，通过平台服务，达到规范数据资源表示、 更新和查询。

水利大数据中心数据资源管理平台内容包括元数据管理系统、数据管理 系统、数据资源查询系统等部分。

元数据存储与管理系统

元数据及其技术在分散数据资源管理中的巨大优势，使其成为网络数据 资源共享的关键。元数据管理系统是通过集中管理的元数据，实现对异构、 异地数据资源的分布式管理与服务。

数据管理系统

数据管理系统主要是对水利大数据中心公共数据库、专用数据库和元数 据库的管理。数据管理系统为数据提供基于分布式文件系统、分布式关系数 据库RDBMS和分布式NoSQL数据库及内存数据库等相结合的存储方案，对 结构化、半结构化和非结构化的数据进行有效地存储。其中高价值、数据访 问频繁的数据存储到HBase或RDBMS中，低价值、数据生命周期长、面向 历史的半结构化和非结构化的数据存储在HDFS或Hive里，从而建立信息资 源的高可用性、高性能和可扩展性机制。

数据存储首先提供ODS数据统一共享区，用于存放从业务系统直接抽取 出来的数据。实现对不同业务系统中的数据融合，按照面向业务主题进行融 合，实现对元数据与主数据的管理，从而提供上层BI分析和数据挖掘的数据 支撑。

数据资源查询系统

水利综合查询是在水利大数据中心以电子地图或遥感影像图为背景，以 及移动设备，通过多种不同条件的查询方式，为用户提供静态或实时动态水 利信息，使用户能方便、快捷、全面地查找、掌握基础资料。

本发明申请的建设总体目标如下：

1.标准规范建立

加强对信息整合共享工作的领导，明确责任分工，加大资金，强化水利 信息化专业队伍建设，重点加强水利信息化资源整合有关技术标准和管理办 法的制定，通过技术标准制定，重点解决整合过程中共享与协同的技术问题， 通过管理办法制定，重点解决信息共享、应用协同过程中的管理问题。

2.信息资源建设

通过对特定行政区域现状数据信息资源(自然地理、社会经济、业务、 管理等)、业务应用系统、信息化基础设施、安全体系和支撑保障条件等进 行细致梳理，了解和掌握信息化资源现状，以及他们之间的相互支撑服务关 系，通过科学规划、优化配置、统筹共建以及必要补充，明确构建水利信息 化资源体系的途径和方法。

3.数据处理及管理

通过水利数据模型对各种水利数据进行整合，赋予各类水利对象统一的 “身份标识”，经数据与对象以及对象间多方关联，形成有机联系的水利数据资 源，并实现对其有序管理和灵活应用。

4.业务应用支撑

通过面向服务体系架构，构建应用支撑平台，按照业务和政务应用流程 及其最小工作环节，将系统分解为可以独立开展应用的服务，再根据不同业 务和政务应用需要，构建形成相应的业务和政务应用，实现业务应用的整合 和协同。

5.安全保障

在统一安全体系规划基础上，对政务内网和业务网进行科学定级，并按 照内网分级保护、业务网等级保护的要求，通过系统的整合改造，完善安全 策略、安全管理、安全防护等内容，形成有效、可控的安全体系。

综上所述：本发明申请水利大数据综合维护系统，水利大数据中心完成 对综合业务体系中应用系统的数据支撑和托管服务，与应用支撑平台的功能 中间件一起实现包括防汛抗旱、水资源、水土保持监测与管理、农田水利管 理、水利工程建设与管理、水质监测与管理、水利信息公众服务和水利行政 等各水利应用系统功能、运行环境和安全保障，同时为水利门户网站提供平 台、数据支持。达成“统一采集、整合共享、安全可靠”的目标。

以上所述，仅为本发明申请较佳的具体实施方式，但本发明申请的保护 范围并不局限于此，任何熟悉本技术领域的技术人员在本发明申请披露的技 术范围内，根据本发明申请的技术方案及其发明构思加以等同替换或改变， 都应涵盖在本发明申请的保护范围之内。

Claims (10)

1.一种水利大数据综合维护系统，其特征在于，系统架构包括，

业务架构上下文，平台数据来源；

业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享；

数据服务架构，对平台的基本角色和操作进行设定；

能力中心的定位，包括能力中心内部关系和能力中心外部关系；

信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息资源目录体系设计四个部分；

所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。

2.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述能力架构是数据中心采用云计算三层技术架构，分别为IaaS、PaaS和SaaS。

3.根据权利要求2所述的一种水利大数据综合维护系统，其特征在于，所述PaaS应用运行于所述IaaS基础资源层之上，所述IaaS层包括了应用主机、数据库、中间件、网络等资源。

4.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述数据服务架构，包括三个基本角色和三种操作，三个基本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找和绑定；三个角色通过以上三种操作建立联系完成服务注册、服务发现和使用服务。

5.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述数据流架构的流程如下：

步骤1：通过flume采集数据到kafka消息管道，然后到strom平台进行规则匹配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台，以满足后续分析的需要；

步骤2：非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通过scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到关系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足后续分析的需要；

步骤3：通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进入到关系型数据后进行数据可视化展现；

步骤4：进入hadoop平台的数据通过数据分析形成大量的分析数据提供给决策层使用；

步骤5：所有的数据可以通过数据封装的方式共享给外部系统使用。

6.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，

所述数据源：所述数据中心的数据来源于水利专项业务应用系统数据、水利行政办公应用系统数据、政府部门数据、其他业务类数据以及互联网上的公共信息数据；

所述数据存储与计算：所述数据中心将根据数据来源类别，对数据进行分类存储和计算；

所述数据汇聚整合：所述数据中心将对数据按照其业务类别进行汇聚整合，数据整合后划分为七大数据域：地理空间数据域、水文数据域、水资源数据域、水土保持数据域、农林水利数据域、水利行政资源数据域、水利科学技术数据域；

所述数据模型算法：数据挖掘模型根据数据的应用场景分为水利维度模型、气象预测模型、图形图像识别模型、山洪预测模型、异常告警模型和文本挖掘模型，数据算法包含线性回归算法、贝叶斯算法、决策树算法、神经网络模型算法；

所述数据共享：所述数据中心将对内对外提供数据共享，包括数据封装、元数据管理、安全管控、实时数据共享和非实时数据共享。

7.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述能力中心的定位是用户分为两类，为水利系统内部用户和社会公众用户，能力中心通过政务内网和外网对内部用户提供信息服务；对社会公众用户的服务将利用门户网站，通过互联网的方式进行，提供“一站式”访问。

8.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述元数据建设包括元数据标准、指导用户编写元数据的元数据指南、关键词词典以及实现对元数据进行检索、查询和管理的元数据管理系统四大部分，水利核心元数据内容包括7个元数据实体，分别是数据负责方、数据格式信息、关键字说明、空间范围、时间范围、数据分类、元数据联系方。

9.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述元数据库建设的内容的水利数据库包括：公用基础数据库、水利空间数据库、水文数据库、水利工程基本数据库、社会经济信息数据库、水利法规政策标准数据库、水利行政管理基本信息库、水资源数据库、水质数据库、实时水雨情数据库、历史大洪水数据库、实时工情数据库、气象信息数据库、灾情数据库、热带气旋数据库、水土保持数据库、水利工程管理数据库、农田水利数据库、农村水电及电气化数据库、水利规划数据库、水利经济数据库、人才管理数据库、水利科技管理信息库、地下水数据库。

10.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述数据整合交换共享平台包括设计思路、设计原则、信息共享功能、信息交换方式、平台接口设计、资源目录管理、系统技术实现的优势特性、系统能力及性能指标八个部分；

所述信息共享功能包括数据汇总、数据分发、数据存取访问、数据转换、任务定制、支持用户自定义接口、支持监控管理七个部分。

Images