CN111581186A - 黄河水沙变化数据仓库的构建方法及公共服务平台 - Google Patents

Abstract

本发明涉及黄河水沙变化数据仓库的构建方法及公共服务平台，黄河水沙变化数据仓库的构建方法包括以下步骤：步骤一、决策主题需求分析；步骤二、确定决策主题信息模型或概念模型；步骤三、确定与决策主题信息模型相关的数据源并对数据源进行筛选和分析，数据源包括来自操作型数据库、文件和其他格式的数据、空间数据、专业属性数据及管理数据；步骤四、设计决策主题数据模型或逻辑模型；步骤五、确定数据仓库元数据、数据汇集融合集成的技术标准以及数据的ETL实现；步骤六、进行物理模型设计，包括索引设计、存储架构、数据装载和接口设计。通过构建黄河水沙变化数据仓库，来科学的预测和分析黄河水沙变化的趋势，进而实现科学治理黄河的目的。

Description

黄河水沙变化数据仓库的构建方法及公共服务平台

技术领域

本发明属于数据仓库构建技术领域，具体涉及一种黄河水沙变化数据仓库的构建方法及公共服务平台。

背景技术

水利信息技术的深度应用以及流域水资源管理，如对黄河水沙变化的研究等的不断创新，推动着我国数字流域建设快速发展，提高了流域水资源一体化管理的现代化水平，为应对各类涉水问题、为经济的可持续发展提供了有力支撑，取得了较明显的社会和经济效益。同时，经济社会的快速发展又对流域水资源和水生态系统带来了巨大影响，涉水问题的脆弱性、敏感性与不确定性增多，保障水安全和实施最严格水资源管理需要决策的重大问题更加困难、更加复杂、涉及因素更多。因此，面对流域水资源管理重大问题，需要决策者能够快速决策、有效决策、科学决策。

众所周知，任何重大问题的决策都需要拥有大量的相关数据作为支撑，并且能够让决策者从其中快速获取足够的决策信息，例如流域水资源管理中涉及的防洪抗旱、水资源科学调配、水生态环境保护等重大问题，需要对各类数据以及各类数据之间的相互关系进行分析后才能做出科学有效的决策。随着经济社会及信息通信技术的快速发展，流域水资源管理及开发与保护利用相关的数据采集和数据处理手段的多样化、自动化、智能化程度日益提高，雨情水情数据、水利工程及其运行数据、国民经济发展用水数据、河道及生态数据、流域空间数据等的数量巨大、高速增长，数据间的关系复杂，同时对获取信息的快速性、准确性、全面性等提出了更高的要求。

以黄河流域水沙的变化为例，21世纪以来，黄河的水沙情势发生史无前例的剧烈变化，严重影响黄河规划与治理的科学参照依据，直接影响黄河水沙调控体系布局、下游宽摊区治理方向等未来治黄方略的制定，因此，需要对黄河水沙变化情势进行深入分析，它关乎黄河下游宽河段治理的方向，关乎黄河水资源的配置和利用策略，关于水沙调控工程的布局和整体治黄方略的确立。然而，目前对流域水资源管理的海量数据进行高层次、灵活多样的分析挖掘处理能力建设薄弱，获取决策所需的信息的时效性不高，无法适应面向业务主题的流域水资源管理决策本身动态性和复杂性的要求；并且，现有技术中对黄河水沙变化趋势的预测常采用计算河道、各段水流中泥沙的比例来判断，这样方式考虑的因素相对比较单一，不能综合多种因素全面地进行预测，最终导致决策滞后、决策科学性低。

发明内容

鉴于此，本发明的目的在于提供一种黄河水沙变化数据仓库的构建方法，以全面综合地对影响黄河水沙变化的因素进行数据整合，以便决策者能够快速、科学地对黄河水沙变化趋势进行预测与分析，并提出合理的决策进行黄河治理；本发明的目的还在于提供一种公共服务平台，以便决策者能够快速浏览、查询并分析影响黄河水沙变化的各个因素以及各个因素之间的关系。

为实现上述目的，黄河水沙变化数据仓库的构建方法采用的技术方案是：

技术方案一：黄河水沙变化数据仓库的构建方法包括以下步骤：

步骤一、决策主题需求分析，包括确定流域管理主要业务工作的决策主题域和信息需求分析，其中，决策主题域包括与黄河水沙有关的气象、水文、植被、土壤、土地利用和社会经济，信息需求分析包括对各个不同的决策主题进行调研、分析并获得决策信息分类、分项信息和决策信息需求定义；

步骤二、确定决策主题信息模型或概念模型；

步骤三、确定与决策主题信息模型相关的数据源并对数据源进行筛选和分析，数据源包括来自操作型数据库、文件和其他格式的数据、空间数据、专业属性数据及管理数据；

步骤四、设计决策主题数据模型或逻辑模型；

步骤五、确定数据仓库元数据、数据汇集融合集成的技术标准以及数据的ETL实现；

步骤六、物理模型设计，包括索引设计、存储架构、数据装载和接口设计。

技术方案二：对技术方案一作进一步优化，在步骤二中，通过多维架构来确定决策主题信息模型，多维架构包括时间维、属性维和空间维。

技术方案三：对技术方案二作进一步优化，在进行多维架构设计时，每次一个主题，通过考虑决策主题分析、基于主题的层次分析、数量关联关系分析、确定事实和量度几方面来逐步推导主题内的事实、度量、维和层次。

技术方案四：对技术方案一或技术方案二或技术方案三作进一步优化，步骤三中，在对数据源分析时，进行数据同化，融合结构化、半结构化和非结构化的数据类型。

技术方案五：对技术方案一或技术方案二或技术方案三中的元数据进行分类，步骤五中元数据包括黄河主要产沙区逐年逐月降雨和水文泥沙数据、典型支流场次降雨和洪水泥沙数据、典型年份土地利用和林草盖度数据、典型年梯田数据，水利水土保持工程数据，社会经济以及有关试验观测数据。

本发明提供的公共服务平台的技术方案是：

公共服务平台包括黄河水沙变化数据仓库，黄河水沙变化数据仓库为采用上述技术方案一至技术方案五中任意一个技术方案所述的黄河水沙变化数据仓库构建方法所构建的黄河水沙变化数据仓库。

本发明的有益效果是：

通过黄河水沙变化数据仓库和公共服务平台的构建，能够综合全面科学的获取黄河流域主要产沙区气象降雨、水文泥沙、土地利用以及林草梯田的现状、规模和质量状况。通过对降雨、径流、土地利用等具有时间序列特征的数据进行存储、整合管理，提高数据访问效率，同时将这些数据看作数据资源并进行分类，并通过建立相应算法来构建各个影响因素之间的关系模型，并利用网络平台与网页服务技术实现数据资源分布式访问，在公共服务平台上提供不同权限的数据浏览、查询、可视化、空间分析等功能，进一步提高对黄河流域主要水土流失区多空间尺度侵蚀与泥沙输移过程研究的支撑，为黄河流域未来水沙变化预测提供规范统一的数据源，从而便于决策者快速、科学地对黄河水沙变化趋势进行预测与分析，并提出合理的决策，大大提升黄河水沙变化的研究进展和质量，不断满足黄河治理开发的科技需求。

附图说明

图1是本发明的黄河水沙变化数据仓库的构建方法中信息需求分析流程图；

图2是本发明的黄河水沙变化数据仓库的构建方法中信息模型的多维架构图；

图3是本发明的黄河水沙变化数据仓库的构建方法中外部数据源分析的大体架构图；

图4是本发明的黄河水沙变化数据仓库的构建方法中数据源确认及分析流程图；

图5是本发明的黄河水沙变化数据仓库的构建方法中ETL流程图。

具体实施方式

下面结合附图及具体实施方式对本发明作进一步详细描述。

本发明的黄河水沙变化数据仓库的构建方法的具体实施例：

在进行黄河水沙变化数据仓库构建时，要考虑该数据仓库中需要存储哪类数据、各类数据之间的关系如何、如何将数据资源自动快速发布、如何供人快速浏览查阅分析等方面。针对这些方面，在构建黄河水沙变化数据仓库时，可从以下几方面着手准备：

（1）黄河水沙变化数据仓库构建

对黄河主要产沙区逐年逐月降雨和水文泥沙数据、典型支流场次降雨和洪水泥沙数据、典型年份土地利用和林草盖度数据、典型年梯田数据，水利水土保持工程数据，社会经济以及有关试验观测数据进行分析，根据数据海量异构特性，提出面向不同需求的水沙变化元数据集和数据模型，开展各类数据的抽取、清洗、转换、重构，并利用数据集市、存储分区、索引等技术完成数据仓库构建。

（2）黄河水沙海量数据的规模化存储处理

黄河水沙数据主要有气象、水文、植被、土壤、土地利用、社会经济等，具有分布广、时间序列和数据信息丰富的特点，有的数据还存在空间和属性上的关联关系。因此，如何建立有效的数据模型，理清数据的空间和时间属性，减少数据冗余，并考虑数据之间的相互关系是实现黄河水沙数据发布和服务的基础和前提。

（3）黄河水沙海量数据资源的自动化发布

黄河水沙数据量大、种类多、对时效的要求也比较高。传统的数据发布方法是通过人工分类数据，定义数据的颜色、符号、字体、版式、图例等信息，再利用相关工具将数据发布为某一种资源。当数据种类多且时效性要求高的情况下，便要考虑如何实现数据资源的自动快速发布。

（4）黄河水沙变化数据公共服务平台研发

不同种类和特征的黄河水沙数据资源需要不同类型的数据表达方式，这些数据表达方式主要有空间几何信息的浏览查询，属性信息的浏览查询，空间位置的定位分析，以及基于图表的数据表达等。因此，在分析数据特征的基础上，要考虑实现不同类型数据的服务和可视化方式，最大程度上为用户提供优质的服务体验。

针对上述几方面的准备，下面以更具体细化的方式来阐明黄河水沙变化数据仓库的构建方法。

黄河水沙变化数据仓库的构建方法包括以下几个步骤：

步骤一、决策主题需求分析，共包括两方面，分别为：（1）确定流域管理主要业务工作的决策主题域；（2）信息需求分析。方面（1）可以以A单位研究防汛抗旱减灾、水资源管理与调度、水资源保护、水政执法和水土保持等会商会议的业务流程为切入点，梳理分析形成主要业务的决策主题，提出决策主题的信息模型或概念模型，形成流域管理的决策主题域。方面（2）中，在确定决策主题后，针对具体业务决策分析的主题需求，进一步确定数据分析、处理的需求，对不同的决策主题进行调研、分析，分析并获得决策信息分类及分项信息和决策信息需求定义，对相关决策主体所涉及的决策信息获取、决策分析及数据挖掘等内容进行明确与确认。

信息需求分析流程如图1所示，首先确定决策分析主题信息需求，如对气象这一决策主题的信息需求，并判断与气象这一决策主题的相关的数据来源单位具体是A单位各专业应用系统产生的数据资源，还是B单位各专业应用系统产生的数据资源，或是直接从数据项目承担单位获得数据资源；判断好后，确定所需气象分析数据的分类项目，如包含在气象类数据下的降雨数据，并进行整理；整理后，进一步分析并获得决策信息分类及分项信息，直至分析到气象类数据下属数据最小单位，不能划分为止，并对决策信息需求定义。

步骤二、确定决策主题信息模型或概念模型。该步骤是在流域业务决策主题和信息需求分析的基础上，开展与决策主题相对应的决策信息模型或概念模型的研究与设计。主要解决两个问题：决策主题的事实信息、信息维度和层次；信息模型的多维架构。其中多维框架如图2所示，包括时间维、属性维和空间维。时间维可以划分到年、月、日等；属性维可以划分为主题分类、属性类型、数值类型等；空间维可以划分为省、市、县，或者是流域、干流、支流等。步骤二在进行设计时，一般是一次一个主题，逐步推导主题内的事实、度量、维和层次，并着重考虑以下几个方面的问题：决策主题分析、基于主题的数据层次分析、数据关联关系分析、确定事实和度量等。

步骤三、确定与决策主题信息模型相关的数据源。流域决策需要的数据源广泛、异构的特色明显，包括来自于操作型数据库、文件和其它格式的数据，空间数据、专业属性数据及管理数据等。针对决策信息获取、决策分析及数据挖掘等所涉及的范围与领域要进行外部数据源来源调研并对数据源进行筛选和分析。其中外部数据源分析的大体架构如图3所示，包括分析A单位现有数据库及其它格式数据资源、数据项目承担单位提供的已建数据库及其它格式数据资源、利用数据项目承担单位（“上游”单位）提出的数据库指标体系确定的数据库（示例性数据库）及其它格式的数据资源。

更进一步的，要针对决策信息获取、决策分析及数据挖掘等建设任务、内容及实现目标，对数据源进行筛选和分析，确认建设数据仓库的外部数据源。详细的数据源确认及分析流程图如图4所示，首先根据需要的外部数据源确定所需要分析数据库以及其它格式数据资源的分类项目，判断数据来源具体是A单位各专业应用系统产生的数据资源，还是B单位各专业应用系统产生的数据资源，或是直接从数据项目承担单位获得数据资源；判断结束后确定所需要分析数据库及其它格式数据资源的分类项目，同时收集相关数据库及其它格式数据资源信息（包括防汛抗旱、水资源分配、水生态环境保护、水土保持、水利工程管理等专业应用）；之后分析并获得数据库表及数据项，然后对数据库及数据项信息进行定义。在此过程中需要着重注意两个方面：数据来源与数据类型（尤其是半结构化和非结构化数据）；同时考虑研究内容与建设任务如何与其它专题进行衔接，特别是数据同化方面，如何融合数据的结构化、半结构化和非结构化数据类型。

步骤四、设计决策主题数据模型或逻辑模型。根据研究与应用的需求，确定采用的逻辑模型。例如如以最常用的星型模型为例，一般包括一个大的包含大批数据、不含冗余的中心表（事实表）；一组小的附属表（维表），每个维一个。同时，结合具体的数据仓库主题信息模型，创建事实表和维表。

步骤五、确定数据仓库元数据、数据汇集融合集成的技术标准以及数据的ETL实现。其中，ETL就是对数据抽取、转换、加载，对底层的数据资源，进行加工处理，对数据仓库需要的数据进行加载、更新。ETL解决分散在不同部门、不同类别的数据资源的集成增值问题，必须解决数据一致性与集成化问题，从所有传统环境与平台中采集数据，并对其进行高效的转换。ETL主要包括：数据的抽取（不同的操作系统、不同的数据库及数据格式、不同的应用中抽取数据）；数据清洗（对数据源进行处理、精简以除去重复记录，使数据实现准确性、完整性、一致性、适时性、有效性以决策主题分析的需求）；数据的转换（数据的合并、汇总、过滤、转换等）；数据的重新格式化和计算；关键数据的重新构建和数据总结；数据定位；数据的加载（将数据加载到数据仓库中）。ETL流程图如图5所示，主要是对源数据库中如文本数据、电子表格数据以及其它存储方式存在的数据进行抽取，并进行整理、转换和清洗，经过加载后形成数据仓库和元数据库。

步骤六、进行物理模型设计，包括实现数据仓库的索引设计、存储架构、数据装载和接口设计。

本发明通过黄河水沙变化数据仓库和公共服务平台的构建，能够综合全面科学的获取黄河流域主要产沙区气象降雨、水文泥沙、土地利用以及林草梯田的现状、规模和质量状况。通过对降雨、径流、土地利用等具有时间序列特征的数据进行存储、整合管理，提高数据访问效率，同时将这些数据看作数据资源并进行分类，并通过建立相应算法来构建各个影响因素之间的关系模型，并利用网络平台与网页服务技术实现数据资源分布式访问，在公共服务平台上提供不同权限的数据浏览、查询、可视化、空间分析等功能，进一步提高对黄河流域主要水土流失区多空间尺度侵蚀与泥沙输移过程研究的支撑，为黄河流域未来水沙变化预测提供规范统一的数据源，从而便于决策者快速、科学地对黄河水沙变化趋势进行预测与分析，并提出合理的决策，大大提升黄河水沙变化的研究进展和质量，不断满足黄河治理开发的科技需求。

本发明的公共服务平台的具体实施例：

公共服务平台包括黄河水沙变化数据仓库，以黄河水沙变化数据仓库为核心，而黄河水沙变化数据仓库则采用上述的黄河水沙变化数据仓库的构建方法来构建，在此不再详细赘述。在公共服务平台上，决策者可以浏览、查阅影响黄河水沙变化的各个因素的数据，以及各个因素之间的关系模型和属性分析，从而能够科学的预测和分析黄河水沙变化的趋势，进而做出科学合理的决策，以提高黄河治理管理水平。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包括在本发明的权利要求保护范围之内。

Claims (6)

1.黄河水沙变化数据仓库的构建方法，其特征在于，包括以下步骤：

步骤一、决策主题需求分析，包括确定流域管理主要业务工作的决策主题域和信息需求分析，其中，决策主题域包括与黄河水沙有关的气象、水文、植被、土壤、土地利用和社会经济，信息需求分析包括对各个不同的决策主题进行调研、分析并获得决策信息分类、分项信息和决策信息需求定义；

步骤二、确定决策主题信息模型或概念模型；

步骤三、确定与决策主题信息模型相关的数据源并对数据源进行筛选和分析，数据源包括来自操作型数据库、文件和其他格式的数据、空间数据、专业属性数据及管理数据；

步骤四、设计决策主题数据模型或逻辑模型；

步骤五、确定数据仓库元数据、数据汇集融合集成的技术标准以及数据的ETL实现；

步骤六、进行物理模型设计，包括索引设计、存储架构、数据装载和接口设计。

2.根据权利要求1所述的黄河水沙变化数据仓库的构建方法，其特征在于，在步骤二中，通过多维架构来确定决策主题信息模型，多维架构包括时间维、属性维和空间维。

3.根据权利要求2所述的黄河水沙变化数据仓库的构建方法，其特征在于，在进行多维架构设计时，每次一个主题，通过考虑决策主题分析、基于主题的层次分析、数量关联关系分析、确定事实和量度几方面来逐步推导主题内的事实、度量、维和层次。

4.根据权利要求1-3任意一项所述的黄河水沙变化数据仓库的构建方法，其特征在于，步骤三中，在对数据源分析时，进行数据同化，融合结构化、半结构化和非结构化的数据类型。

5.根据权利要求1-3任意一项所述的黄河水沙变化数据仓库的构建方法，其特征在于，步骤五中元数据包括黄河主要产沙区逐年逐月降雨和水文泥沙数据、典型支流场次降雨和洪水泥沙数据、典型年份土地利用和林草盖度数据、典型年梯田数据，水利水土保持工程数据，社会经济以及有关试验观测数据。

6.公共服务平台，包括黄河水沙变化数据仓库，其特征在于，黄河水沙变化数据仓库为采用权利要求1-5任意一项所述的黄河水沙变化数据仓库的构建方法所构建的黄河水沙变化 数据仓库。

Images