CN103399924A - 一种水文水资源数据目录生成系统及方法 - Google Patents

Abstract

本发明公开一种水文水资源数据目录生成系统及方法，系统包括水文水资源数据库和数据处理中心；数据处理中心，包括数据库表筛选分类模块、数据抽取模块、数据处理模块和生成数据目录模块。方法包括，读取分类规则文件；筛选水文水资源数据库中的水文水资源数据表；为每个分类设定抽取字段；查询出抽取字段的对应的数据信息；数据降维；保存降维数据到临时表；判断数据表是否全部遍历完，判断水文水资源数据库中所有的数据分类表是否遍历完；数据融合；数据分类；将分类后的数据信息拼接成为规范的数据目录形式；生成数据目录文件，反馈给用户。

Description

一种水文水资源数据目录生成系统及方法

 

技术领域

本发明涉及一种数据目录生成系统及方法，具体地是涉及一种水文水资源数据数据目录生成系统及方法。

背景技术

水文水资源数据是21世纪我国重要的基础信息资源和战略资源之一，实施数据共享有利于政府宏观决策和科学研究、有利于加快国民经济建设与发展和水文水利信息化的进程，促进水文水资源信息为社会、国民经济建设、科学研究等提供服务。

现阶段，我国正在准备着手建立全国水文水资源科学数据资源共享平台，形成长期、稳定的数据共享运行机制，促进水科学研究的发展和进步，加快国家水文现代化、信息化建设步伐。然而，由于数据库的离散性，又没有一种能够简单描述数据库中数据信息的数据目录，从整体上展示水文水资源数据的存储信息状况，水文水资源数据库中存储的大量的水文水资源数据，不能被充分利用来满足科学研究和社会需求，导致研究人员取数据比较困难，需要花费更多宝贵的时间分析、研究水文水资源数据特征以及水文水资源数据库数据的完整性。因此，为全面推进我国各级水文水资源数据共享，全国水文水资源科学数据资源共享平台的建立迫切需要一种数据检索目录，方便、快捷地对各级水文水资源数据定位及查询，减少研究人员得到所需水文水资源数据的时间，进而促进水文水资源科学数据信息的共享。

为了实现水文水资源数据的快速检索和资源共享，迫切需要一种专业化、规范化描述水文水资源数据基本信息的目录（包括测站码、测站名称、测站数据等信息）。然而，目前的水文水资源数据目录生成方法抽取速度慢、效率低，数据目录各式各样，数据目录信息度低，没有统一的专业化规范标准数据目录。

因此，一种通用、方便的水文水资源数据目录生成系统及方法，快速抽取水文水资源数据库数据信息，生成多种展示方式的专业化、规范化、信息度高的通用性数据目录，是水文水资源共享系统的迫切需要。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种方便、快捷生成规范、专业、信息度高的水文水资源数据目录索引的系统，并且具有通用性、快捷性、多选择性的水文水资源数据目录生成方法。通过对基础水文数据库表结构及标识符标准（SL324--2005）的研究与分析，把数据库表进行筛选、分类，对各表的数据抽取、降维、融合、分类、拼接，生成数据目录临时模式，保存临时模式数据目录，以excel、xml、文本等多种方式展现。研究人员搜索水文水资源数据目录，快速查询、定位全国各测站所在流域、区域以及测站数据存储信息，为评估水文水资源数据库数据质量，为建立全国水文科学数据资源共享平台提供专业、规范的数据目录方案。

技术方案：一种水文水资源数据目录生成系统，包括水文水资源数据库、数据处理中心和数据目录文件三大部分；

其中数据处理中心，包括数据库表筛选分类模块、数据抽取模块、数据处理模块、生成数据目录模块。

数据库表筛选分类模块，用于根据数据库系统表和用户表的区别以及分类规则文件的数据表分类规则，筛选出水文水资源数据库中的水文水资源数据表，按水文规范为水文水资源数据表分类。

数据抽取模块，用于对分类后的水文水资源数据表，按照分类规范，逐次抽取每个数据表中不同测站的测站码、测站名称、数据时间、测站类型及所属流域等信息，抽取出的数据信息具有高维度、多重复的特性，通过去除数据字段中重复的数据，对字段中不同的数据记录进行合理归并，把多冗余的数据降低为一条数据记录以此消除重复数据来降低数据维度，加快数据处理模块的处理速度，然后将数据按照测站码升序保存到临时表中；

数据处理模块，用于把数据抽取模块的数据进行融合、分类和拼接成数据目录规范格式；

生成数据目录模块，用于生成用户选择展示方式的水文水资源数据目录文件。

一种水文水资源数据目录生成方法，其步骤如下：

第一步，读取分类规则文件，从规范文件中读出水文水资源数据库分类规则内容。

第二步，对水文水资源数据库中的表筛选分类，根据分类规则文件以及数据库系统表和用户表之间的区别，筛选水文水资源数据库中的水文水资源数据表。即，从水文水资源数据库中筛选出系统表、用户表和基础水文数据表，并按照基本信息表类、日表类、旬表类、月表类等十大类对基础水文数据表进行分类。

第三步，为每个分类设定抽取字段。

第四步，按测站码读出数据内容，对各分类中的水文水资源数据表，根据数据表存在的不同测站码逐次遍历，查询出抽取字段的数据信息。

第五步，数据降维，步骤四中抽取出的数据信息具有高维度、多重复的特性，对步骤四中查询出抽取字段的数据信息进行整合，降低到一维，即为每个数据表中不同的测站码逐条查询出数据信息，并对数据信息合并降维，把查询出来的数据，相同的合并，不同的叠加，把维度将到一维。

第六步，保存降维数据到临时表，在水文水资源数据库中建立一个临时数据表，把降维后的数据信息按测站码大小的升序存入到临时表中，建立一个有规律的临时表。

第七步，判断数据表是否全部遍历完，判断水文水资源数据库中所有的数据分类表是否遍历完，如果遍历完，进行数据融合，否则返回按测站码读出数据内容。

第八步，数据融合，临时表的数据信息和测站一览表中的数据信息按测站码融合到一起，增加测站信息量。

第九步，数据分类，对融合后的数据信息进行分类，分为有数据有测站名称、有数据无测站名称、无数据无测站名称三大类。

第十步，数据拼接成所需格式，统计测站的时间信息字段并按 “，”或“|”等特殊符号对统计出的有数据的年份进行字符串拼接，方便后期查询数据质量情况；同时为无法识别的无测站名称的测站给定一个特殊的标志，便于用户了解遗漏名称的测站信息；最后把第三步设定的字段数据信息拼接成为规范的数据目录形式。

第十一步，用户选择展示方式，提供多种展示方式供用户选择。

第十二步，生成数据目录文件，根据用户选择的展示方式，生成规范的数据目录文件。

第十三步，需要其他展现方式，判断用户是否还需要其他的数据目录展现形式，如果需要，转到第十一步用户选择展示方式，否则数据流程结束。

本发明采用上述技术方案，具有以下有益效果：本发明根据标准表结构和表标识独有特点，按水文标准把水文水资源数据库中的数据表归类，此分类方法快捷高效，不再需要用手工的方法把所有的数据表分类，减少出错率。

本发明和现阶段其他目录生成技术相比，可方便、快捷的生成一个规范的水文水资源数据目录。数据分类、数据抽取、目录生成过程透明化，通用简单快捷，生成的数据目录是按照目前规范的水文水资源数据库生成的标准数据目录，具有规范性。

同时还提供不同的数据目录展现方式，不再局限于单一形式的数据目录。

数据目录是对当前存在的各种异构的水文水资源数据库进行整合而形成的，具有丰富的水文水资源数据信息，对每个水文水资源对象，都用最全面字段信息描述其特征，包括测站名称、测站码、数据库中保存的测站数据年份、测站所在水系、流域等。用户通过定制所需字段，按照自己的需要获得多种格式（如xml,json等通用格式）组织的数据目录。

附图说明

图1为本发明实施例的系统模块图；

图2为本发明实施例的方法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，水文水资源数据目录生成系统，包括水文水资源数据库001、数据处理中心002和数据目录文件003三大部分，其中数据处理中心002包括数据库表筛选分类模块004、数据抽取模块005、数据处理模块006、生成数据目录模块007。

数据库表筛选分类模块004用于根据数据库系统表和用户表的区别以及分类规则文件的数据表分类规则，把水文水资源数据库001中的表分为基本信息表类、日表类、旬表类、月表类等十大类数据表。

数据抽取模块005用于按照数据表不同的抽取字段，为每个数据表中不同的测站码逐条查询出数据信息，并对数据信息合并降维，即把查询出来的数据，进行相同合并，不同叠加，把维度将到一维。然后，将合并降维后的数据按测站码升序保存到临时表。

数据处理模块006用于把数据抽取模块005中的临时表和测站一览表中的内容按测站码合并在一起，增加数据信息量的同时，也增加了三种类型的数据：有数据无测站名称、有数据有测站名称以及无数据无测站名称三种，对三种类型的数据进行分类，抽取出测站码、测站名称、测站数据年份、测站所在流域、水系等信息，把抽取的每条数据拼接成标准规范的数据目录格式。

生成数据目录模块007用于依据用户需要的展示目录方式，生成规范的数据目录文件003。

图2所示一种水文水资源数据目录生成系统与方法的方法流程图。其步骤如下：

第一步，读取分类规则文件S101，从规范文件中读出水文水资源数据库分类规则内容。

第二步，对水文水资源数据库中的表筛选分类S102，根据S101中的文件规则以及数据库系统表和用户表之间的区别，筛选水文水资源数据库中的水文水资源数据表，把数据表按标准分为基本信息表类、日表类、旬表类、月表类等十大类。

第三步，根据用户需求和目录生成系统抽取标准为分类设定抽取字段S103，不同的分类表有不相同的抽取标准，依据用户需求和抽取标准为不同的分类设定合适的抽取字段。水文水资源数据库数据表中的字段有很多，而且有些字段对数据目录来说是不必要的，如果选择全部字段，数据处理过程效率会较低。因此，依据抽取标准和需求设定抽取字段能加快目录生成效率。例如，依据系统抽取标准，“测站码”字段是主键作为默认选定的字段；此外根据用户需求，从“基本信息表”的30个字段中设定“测站名称”、“集水面积”和“管理单位”三个代表性的字段作为抽取字段来展示在目录索引中，而其他字段不予选取。加入默认的“测站码”字段，这样就使“基本信息表”的30个字段压缩为的4个字段。

第四步，按测站码读出数据内容S104，对水文水资源数据库中的表筛选分类S102的分类表，按照S103中设置的抽取字段，对各分类中的数据表，根据数据表存在的不同测站码逐次遍历，查询出抽取字段的数据信息。

第五步，数据降维S105，从按测站码读出数据内容S104得到的数据信息维度高，而且存在冗余，在保留完整信息的情况下，把数据整合，降低到一维，加快数据处理的速度和效率，即为每个数据表中不同的测站码逐条查询出数据信息，并对数据信息合并降维。针对查询出来的数据，相同数据用第一条信息替代，不同数据进行信息合并，使维度降到一维。例如，假定抽取字段中包括“日期”字段，第四步查询出该字段的信息是按“日”、“旬”或“月”等有序排列，而“测站码”等字段信息是重复、冗余的；那么，对“日期”等类的信息压缩合并，“测站码”等类字段的信息用第一条数据表示。

第六步，保存降维数据到临时表S106，用于在水文水资源数据库001中建立一个临时数据表，把数据降维S105的测站数据信息按测站码大小的升序存入到临时表中，建立一个有规律的临时表。

第七步，数据表全部遍历完S107，用于判断数据库中所有的数据分类表是否遍历完，如果遍历完，进行数据融合S108，否则返回按测站码读出数据内容S104。

第八步，数据融合S108，临时表的数据信息和测站一览表中的数据信息按测站码融合到一起，增加测站信息量。

第九步，数据分类S109，把数据融合S108的数据进行分类，分成有数据有测站名称，有数据无测站名称，无数据无测站名称三大类。例如，在数据融合的过程中，有的测站并没有测站名称这个字段的描述，系统则默认设置测站名称为“空缺”。那么根据测站名称是否为“空缺”以及用户定义的字段，如“集水面积”、“管理单位”、“日期”或“水位”等字段的数据是否为“空缺”，将水文测站分成有数据有测站名称，有数据无测站名称，无数据无测站名称三大类。

第十步，数据拼接成所需格式S110，统计测站的时间信息字段并按 “，”、“;”或“|”等特殊符号对统计出的有数据的年份进行字符串拼接，方便后期查询数据质量情况；同时为无法识别的无测站名称的测站给定一个特殊的标志，便于用户了解遗漏名称的测站信息；然后把S103过程设定的抽取字段的数据信息拼接为规范的数据目录形式。

第十一步，用户选择展示方式S111，用于让用户自己选择要生成的水文水资源数据目录形式文件不再局限于单一的数据目录展现形式。例如，用户可以选择将生成的临时表以xml、 json等格式的数据目录形式存入到xml、excel或doc文件中。不同的形式有各自的优点和用途，例如，xml文件形式的目录更适合数据检索目录。

第十二步，生成数据目录文件S112，用于根据用户选择展示方式S111的选择形式，生成规范的数据目录文件，供研究人员进行分析或用于水文水资源科学数据共享平台的数据目录。

第十三步，需要其他展现方式S113，用于判断用户是否还需要其他的数据目录展现形式，如果需要，转到用户选择展示方式S111，否则数据流程结束。

Claims (10)

1. 一种水文水资源数据目录生成系统，其特征在于：包括水文水资源数据库和数据处理中心；

其中，数据处理中心，包括数据库表筛选分类模块、数据抽取模块、数据处理模块和生成数据目录模块；

数据库表筛选分类模块，用于从水文水资源数据库中筛选出水文水资源数据表，并对水文水资源数据表进行分类；

数据抽取模块，用于从每个分类后的水文水资源数据表中抽取出字段信息，并对字段信息进行降维处理，将降维后的字段信息保存到水文水资源数据库中的临时表中； 

数据处理模块，用于将临时表中的数据信息和测站一览表中的数据信息按测站码字段把编码相同的数据合并到一张表的一条记录中以此融合到一起，对融合后的数据进行分类，并且按照数据目录的格式标准，通过数据库查询语句的联合与连接操作获取数据目录规范格式数据，并存入到临时表中；

生成数据目录模块，用于生成水文水资源数据目录文件。

2. 如权利要求1所述的水文水资源数据目录生成系统，其特征在于：数据库表筛选分类模块，根据水文水资源数据库系统表和用户表的区别以及分类规则文件中的数据表分类规则，筛选出水文水资源数据库中的水文水资源数据表，按水文规范为水文水资源数据表分类。

3. 如权利要求1所述的水文水资源数据目录生成系统，其特征在于：数据抽取模块，按照分类规范逐次抽取每个分类后的水文水资源数据表中的字段信息，依据测站编码的唯一性将不同数据库表中的字段按相同的编码合并融合为规范的目录格式，然后按照编码升序排列显示到一张临时表中。

4. 如权利要求1所述的水文水资源数据目录生成系统，其特征在于：数据处理模块，将融合后的数据分为有数据无测站名称、有数据有测站名称以及无数据无测站名称三种。

5. 如权利要求1所述的水文水资源数据目录生成系统，其特征在于：生成数据目录模块，提供多种格式的水文水资源数据目录文件供用户选择；所述多种格式指的是excel、xml、文本文件格式。

6. 一种水文水资源数据目录生成方法，其特征在于，步骤如下：

步骤1，读取分类规则文件，从规范文件中读出水文水资源数据库分类规则内容；

步骤2，从水文水资源数据库中筛选出系统表、用户表和基础水文数据表，并基础水文数据表进行分类； 

步骤3，根据不同的分类，为每个分类设定抽取字段，规定这类数据所需要描述的字段；

步骤4，按测站码读出每个测站码对应的数据内容，对于各分类中的水文水资源数据表，根据数据表存在的不同测站码逐次遍历，查询出抽取字段的对应的数据信息；

步骤5，数据降维，对步骤4中抽取字段对应的数据信息进行整合，降低数据维度到一维； 

步骤6，保存降维数据到临时表，在水文水资源数据库中建立一个临时数据表，把降低维度的数据信息存入到临时表中；

步骤7，判断数据表是否全部遍历完，判断水文水资源数据库中基础水文数据表中除基本信息表外的其他数据分类表是否遍历完，如果遍历完，进行数据融合，否则返回步骤4；

步骤8，数据融合，将临时表的数据信息和测站一览表中的数据信息按测站码融合到一起；

步骤9，数据分类，对融合后的数据信息进行分类，分成有数据有测站名称、有数据无测站名称、无数据无测站名称三大类；

步骤10，将分类后的数据信息拼接成为规范的数据目录形式；

步骤11，生成数据目录文件，反馈给用户。

7. 如权利要求6所述的水文水资源数据目录生成方法，其特征在于：步骤2中，根据分类规则内容以及数据库系统表和用户表之间的区别，对水文水资源数据库中的表筛选分类，筛选水文水资源数据库中的水文水资源数据表。

8. 如权利要求6所述的水文水资源数据目录生成方法，其特征在于：步骤5中，数据降维具体是指，步骤4抽取出的数据信息具有高维度、多重复的特性，去除其字段中重复的数据，对于不同的数据归并，把高维度的数据信息降低为一条数据记录。

9. 如权利要求6所述的水文水资源数据目录生成方法，其特征在于：步骤6中，把降维后的数据信息按测站码大小的升序存入到临时表中。

10. 如权利要求6所述的水文水资源数据目录生成方法，其特征在于：在生成数据目录文件之前，用户可选择数据目录文件的展示格式，所述展示格式包括excel、xml、文本文件格式。

Images