CN103399926A - 水利普查数据多维分析服务系统及其封装和实现方法 - Google Patents

Abstract

本发明公开一种水利普查数据多维分析服务系统及其封装和实现方法，系统包括数据持久层、请求响应模块、多维分析服务模块、用户操作界面、水利普查原始数据库、ETL模块以及水利普查数据仓库单元；请求响应模块用于接收用户在用户操作界面的操作请求，并将操作请求传给多维分析服务模块；多维分析服务模块根据用户操作请求调用数据持久层；数据持久层从水利普查数据仓库单元中获得与用户操作请求对应的数据，并将数据以规定的格式返回给多维分析服务模块，多维分析服务模块将数据返回到用户操作界面以表格和图形的方式展现数据。方法对系统中的服务进行封装，并实现系统。本发明可方便用户进行数据分析。

Description

水利普查数据多维分析服务系统及其封装和实现方法

技术领域

本发明涉及一种水利普查数据多维分析服务系统及其封装和实现方法，具体的说是涉及一种对水利普查数据多维分析的相关服务进行封装的系统和方法。

背景技术

水利普查是国家基础水信息的基准性调查，主要为了全面查清我国江河湖泊开发治理保护状况，系统掌握江河湖泊和水利工程的基本情况，了解水利行业能力建设情况，摸清经济社会用水状况，为国家经济社会发展提供可靠的基础水信息支撑和保障。水利普查设计了300余项统计指标，2200多个指标数据项，既有资源环境领域调查内容，又有经济社会领域调查内容；既有静态指标，又有动态指标，使得普查数据具有数据量大、分类复杂和涉及面广等特性，面对如此复杂庞大的普查数据，只有通过深入的数据分析，提高数据利用率，才能为政府进行宏观管理和科学决策提供重要依据。

历年的国家各项大型普查，如人口普查、经济普查、农业普查和基本单位普查等，大部分采用Excel、SPSS和马克威分析系统等进行数据分析，在分析方面普遍存在查询效率低、用户交互性差和报表形式比较固定、不够灵活等不足，不能为用户提供个性化的分析服务。

对于水利普查数据，需提出一种新颖的数据分析技术，使分析成果更好的为水资源调度和科学决策服务。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种水利普查数据多维分析服务系统及其封装和实现方法，对水利普查多维分析服务进行封装，外部系统通过服务接口调用即可实现多水利普查数据进行多维分析，并且具有通用性普适性的数据展现方法。通过对水利普查原始库存在大量含有噪声、不规范的数据，进行有效的清洗和集成，从分析主题的角度出发，重新设计数据的组织方式。数据的分析将基于经过良好预处理和合理组织的数据仓库，在充分理解数据后，定义转换清洗规则对原始数据进行预处理，根据水利普查数据的特点，定义分析主题，建立相应的事实表和维表，形成水利普查数据仓库，为数据分析提供可靠的数据平台支持。依靠数据分析引擎和分析模型，根据用户的分析请求，重新组织并最优化SQL语句进行查询分析，大幅度提高数据分析效率，并将结果数据以合理的形式展示给决策者，以提供决策支持。

技术方案：一种水利普查数据多维分析服务系统，包括数据持久层、请求响应模块、多维分析服务模块、用户操作界面、水利普查原始数据库、ETL模块以及水利普查数据仓库单元；其中请求响应模块用于接收用户在用户操作界面的操作请求，并将操作请求传给多维分析服务模块；多维分析服务模块根据用户操作请求调用数据持久层；数据持久层从水利普查数据仓库单元中获得与用户操作请求对应的数据，并将数据以规定的格式返回给多维分析服务模块，多维分析服务模块将数据返回到用户操作界面以表格和图形的方式展现数据，为用户提供多维分析服务。

所述的用户操作界面包括分析主题选择区、维度选择区、度量选择区以及数据展现区四个部分；所述分析主题区用于呈现相应的水利普查分析主题；所述维度选择区用于呈现特定分析主题中所包含的维度信息；所述度量选择区用于呈现特定分析主题中所包含的度量信息；所述数据展现区用于呈现多维分析服务模块返回的数据；用户在分析主题区选择不同的分析主题时，维度选择区和度量选择区的内容根据分析主体进行相应的更新；当用户根据维度选择区和度量选择区中的维度和度量进行组合时，用户操作界面会根据组合条件重新获取数据，并刷新数据展现区的数据内容。

用户在数据展现区中选择数据展示的方式有：数据透视表、透视图、柱状图、饼状图、折线图、计量表以及漏斗图。

所述多维分析服务模块包括数据立方体、分析模型、OLAP分析引擎、多维分析服务接口以及数据展现模块；其中水利普查数据仓库单元为数据立方体提供数据来源，根据水利普查数据特点及需求，设计水利普查数据的分析主题，包括各个主题的维度、度量以及维度级别等信息，并以水利普查数据仓库单元为数据源，在分析主题的相关信息基础上，建立各个分析主题的数据立方体；分析模型的建立对外屏蔽了数据仓库单元的内部具体实现；OLAP分析引擎在分析模型的基础上根据用户的分析请求，重新组织并最优化SQL语句进行查询分析，从数据立方体中获取数据；多维分析服务接口为用户提供数据向下钻取、数据切片以及数据旋转等操作的接口方法，用户在用户操作界面进行相关数据分析操作，请求相应模块将分析请求传到多维分析服务模块的多维分析服务接口，多维分析服务接口调用相应的方法；数据展现模块接收多维分析服务接口返回的数据，并对数据以相应的展现方式进行展现。

所述分析模型包括物理层、业务逻辑层以及展现层；物理层对应于数据源的定义，包括数据源描述、物理表结构、字段数据类型以及物理表之间关系；业务逻辑层是关于多维数据模型的定义，主要为了业务需求，从多个物理数据源里抽象出来的多维数据模型，一般是一个星型模型或雪花模型，主要涉及对维度、层次结构、度量和聚合规则的设计；展现层根据业务人员的视角设计该层结构，隐藏掉任何与技术以及模型相关的内容，删除业务中不关心的字段简化视图，比如维表和事实表的主键，仅保留关心的字段信息并以用户所熟悉的语言来描述。

一种水利普查数据多维分析服务的封装和实现方法，包括封装步骤和实现步骤，

封装步骤为：

步骤S300，针对水利普查原始数据特点及实际需求，在水利知识背景的支持下，设计相关的水利普查数据分析主题，包括度量信息、维度信息以及维度的层次级别信息；

步骤S310，根据水利普查分析主题中涉及的度量和维度信息，从水利普查数据原始数据库中抽取相关数据；

步骤S320，将从水利普查原始数据库中抽取出来的数据经过ETL模块，对数据进行清洗、转换和操作，形成水利普查数据仓库单元；

步骤S330，在水利普查数据仓库数据的基础上，针对每个分析主题，建立数据立方体；

步骤S340，对每个分析主题，根据分析主题所包括的度量和维度信息，以数据仓库数据为数据源，对分析模型进行物理层、业务逻辑层和展现层的设计；

步骤S350，编写多维分析服务接口方法，主要的方法包括对分析主题维度和度量的获取，并将维度和度量信息传入到多维分析服务方法中，实现根据分析模型对分析主题的数据进行相应的多维分析；

实现步骤为：

步骤S110，用户点击用户界面，对水利普查数据的分析主题进行选择，请求响应模块获取用户的操作请求；

步骤S120，请求响应模块将用户的操作请求转发请求到多维分析服务模块，请求刷新维度选择区和度量选择区的内容；

步骤S130，多维分析服务模块根据展现层定义的信息，获取用户在分析主题选择区所选择的分析主题的维度和度量信息；

步骤S140，多维分析服务模块根据分析主题的维度和度量信息生成用户数据，并以格式化的形式返回； 

步骤S150，多维分析服务模块接收返回的数据并刷新用户界面中维度选择区和度量选择区的内容；

步骤S160，获取用户对维度选择区和度量选择区的操作指令；

步骤S165，请求响应模块转发操作指令到多维分析服务模块，请求获取与操作指令对应的数据，多维分析服务模块根据操作指令调用数据持久层；

步骤S170，数据持久层从水利普查数据仓库单元获取和用户在维度选择区和度量选择区所选择信息对应的数据；

步骤S175，获取数据后，返回到多维分析服务模块进行数据的格式化，并传到数据展现模块进行数据展现；

步骤S180，判断当前用户选择的图表显示形式，按照用户选择的形式进行数据展现。

有益效果：与现有技术相比，本发明提供的水利普查数据多维分析服务系统及其封装和实现方法，具有如下优点：

页面异步刷新，能够实时获取水利普查数据而不用刷新整个页面，提高了整个系统的运行效率，保证了数据能够精确实时的显示；对于种类繁多、关系复杂、维度多的水利普查数据，针对水利普查数据的分析主题的多维分析作为一个服务进行封装，方便系统进行调用，具有低耦合高内聚的特点，通用性强；分析结果可以使用柱状图、饼状图、折线图以及表格多种方式展现数据，方便用户进行数据分析。

附图说明

图1为本发明实施例系统的数据流图；

图2为本发明实施例系统的用户界面示意图；

图3为本发明实施例中多维分析服务模块的工作原理示意图；

图4为本发明实施例中分析模型的结构示意图；

图5为本发明实施例中封装步骤的流程图；

图6为本发明实施例中实现步骤的流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，水利普查数据多维分析服务系统包括数据持久层001、请求响应模块002、多维分析服务模块003、用户操作界面004、水利普查原始数据库005、ETL模块006以及水利普查数据仓库单元007；根据水利普查数据特点及需求，将水利普查原始数据库005中的原始数据经过ETL模块006的数据抽取、清洗、转换和加载过程后，形成水利普查数据仓库单元007，为多维分析服务模块003提供数据质量上的保证；其中请求响应模块002用于接收用户在用户操作界面004的操作请求，并将操作请求传给多维分析服务模块003，多维分析服务模块003根据用户操作请求调用数据持久层001，数据持久层001再从水利普查数据仓库单元007中获得与用户操作请求匹配的数据，数据持久层001并将数据以规定的格式返回给多维分析服务模块003，多维分析服务模块003将数据返回到用户操作界面004以表格或/和图形的方式展现数据，为用户提供多维分析服务。

如图2所示，用户操作界面004包括分析主题选择区110、维度选择区120、度量选择区130以及数据展现区140四个部分；分析主题区110用于呈现相应的水利普查分析主题；维度选择区120用于呈现特定分析主题中所包含的维度信息；度量选择区130用于呈现特定分析主题中所包含的度量信息；数据展现区150用于呈现多维分析服务模块006返回的数据；用户在分析主题区110选择不同的分析主题时，维度选择区120和度量选择区130的内容会根据所选分析主题进行相应的刷新；当用户根据维度选择区120和度量选择区130中的维度和度量进行组合时，用户操作界面004会根据组合条件向请求响应模块002发出请求（包含组合条件的请求），重新获取数据，并刷新数据展现区140数据内容。用户可以在数据展示区140中选择数据展示的方法如数据透视表、透视图、柱状图、饼状图、折线图、计量表以及漏斗图。

如图3所示，多维分析服务模块003包括多个数据立方体310，分析模型320，OLAP分析引擎330，多维分析服务接口340，以及数据展现模块350；其中水利普查数据仓库单元007为数据立方体310提供数据来源，根据水利普查数据特点及需求，设计水利普查数据的分析主题，包括各个主题的维度、度量以及维度级别等信息，并利用Oracle提供的AWM工具以水利普查数据仓库单元007为数据源，在分析主题的相关信息基础上，建立各个分析主题的数据立方体310；分析模型320的建立对外屏蔽了数据仓库单元的内部具体实现；OLAP分析引擎330在分析模型320的基础上根据用户的分析请求，重新组织并最优化SQL语句进行查询分析，从数据立方体310中获取数据；多维分析服务接口340为用户提供数据向下钻取、数据切片以及数据旋转等操作的接口方法，用户在用户操作界面004进行相关数据分析操作，请求响应模块002将分析请求传到多维分析模块003的多维分析服务接口340，调用相应的方法；数据展现模块350接收多维分析服务接口340返回的数据，并对数据以相应的展现方式进行展现。

如图4所示，所述分析模型320包括物理层321、业务逻辑层322以及展现层323；物理层321对应于数据源的定义，包括数据源描述、物理表结构、字段数据类型以及物理表之间关系；业务逻辑层322是关于多维数据模型的定义，主要为了业务需求，从多个物理数据源里抽象出来的多维数据模型，一般是一个星型模型或雪花模型，主要涉及对维度、层次结构、度量和聚合规则的设计；展现层323根据业务人员的视角设计该层结构，隐藏掉任何与技术以及模型相关的内容，删除业务中不关心的字段简化视图，比如维表和事实表的主键，仅保留关心的字段信息并以用户所熟悉的语言来描述。

如图5所示， 

步骤S300，针对水利普查原始数据特点及实际需求，在水利知识背景的支持下，设计相关的水利普查数据分析主题，包括度量信息、维度信息以及维度的层次级别信息。

步骤S310，根据水利普查分析主题中涉及的度量和维度信息，从水利普查数据原始数据库005中抽取相关数据。

步骤S320，将从水利普查原始数据库005中抽取出来的数据经过ETL模块006，对数据进行清洗、转换和操作，形成水利普查数据仓库单元007；

步骤S330，在水利普查数据仓库数据的基础上，针对每个分析主题，建立数据立方体310；

步骤S340，对每个分析主题，根据分析主题所包括的度量和维度信息，以数据仓库数据为数据源，对分析模型320进行物理层321、业务逻辑层322和展现层323的设计；

步骤S350，编写多维分析服务接口340方法，实现根据分析模型320对分析主题的数据进行相应的多维分析；

如图6所示，

步骤S110，用户点击用户界面004，对水利普查数据的分析主题进行选择，请求响应模块002获取用户的操作请求；

步骤S120，请求响应模块002转发请求到多维分析服务模块003，请求刷新维度选择区120和度量选择区130的内容；

步骤S130，多维分析服务模块003根据展现层定义的信息，获取用户在分析主题选择区110所选择的分析主题的维度和度量信息；

步骤S140，数据以格式化的形式返回；

步骤S150，接收返回的数据并刷新用户界面004中维度选择区120和度量选择区130的内容；

步骤S160，获取用户对维度选择区120和度量选择区130的操作指令；

步骤S165，请求响应模块002转发请求到多维分析服务模块003，请求获取分析数据；

步骤S170，基于数据持久层001，从水利普查数据仓库单元007获取和用户在维度选择区120和度量选择区130所选择信息对应的数据；

步骤S175，获取数据后，返回到多维分析服务模块003进行数据的格式化，并传到数据展现模块350进行数据展现；

步骤S180，判断当前用户选择的图表显示形式，按照用户选择的形式进行数据展现；

本发明中涉及的未说明部分与现有技术相同。

Claims (6)

1. 一种水利普查数据多维分析服务系统，其特征在于：包括数据持久层（001）、请求响应模块（002）、多维分析服务模块（003）、用户操作界面（004）、水利普查原始数据库（005）、ETL模块（006）以及水利普查数据仓库单元（007）；

所述请求响应模块（002）用于接收用户在用户操作界面的操作请求，并将操作请求传给多维分析服务模块（003）；多维分析服务模块（003）根据用户操作请求调用数据持久层（001）；数据持久层（001）从水利普查数据仓库单元（007）中获得与用户操作请求对应的数据，并将数据以规定的格式返回给多维分析服务模块（003），多维分析服务模块（003）将数据返回到用户操作界面（004）以表格和图形的方式展现数据，为用户提供多维分析服务；

其中水利普查数据仓库单元（007），根据水利普查数据特点及需求，将水利普查原始数据库（005）中的原始数据经过ETL模块（006）的数据抽取、清洗、转换和加载过程后，形成水利普查数据仓库单元（007）。

2. 如权利要求1所述的水利普查数据多维分析服务系统，其特征在于：所述的用户操作界面（004）包括分析主题选择区（110）、维度选择区（120）、度量选择区（130）以及数据展现区（140）四个部分；所述分析主题区（110）用于呈现相应的水利普查分析主题；所述维度选择区（120）用于呈现特定分析主题中所包含的维度信息；所述度量选择区（130）用于呈现特定分析主题中所包含的度量信息；所述数据展现区（150）用于呈现多维分析服务模块返回的数据；用户在分析主题区（110）选择不同的分析主题时，维度选择区（120）和度量选择区（130）的内容根据分析主体进行相应的更新；当用户根据维度选择区（120）和度量选择区（130）中的维度和度量进行组合时，用户操作界面（004）根据组合条件向请求响应模块（002）发出操作请求，以重新获取数据，并刷新数据展现区（140）的数据内容。

3. 如权利要求2所述的水利普查数据多维分析服务系统，其特征在于：用户在数据展现区（140）中选择数据展示的方式有：数据透视表、透视图、柱状图、饼状图、折线图、计量表以及漏斗图；用户通过选择不同的数据展示方式，数据展示区（140）会重新刷新展示方式，以用户的选择方式对相应的数据重新展现。

4. 如权利要求1所述的水利普查数据多维分析服务系统，其特征在于：所述多维分析服务模块（003）包括数据立方体（310）、分析模型（320）、OLAP分析引擎（330）、多维分析服务接口（340）以及数据展现模块（350）；其中水利普查数据仓库单元（007）为数据立方体（310）提供数据来源，根据水利普查数据特点及需求，设计水利普查数据的分析主题，包括各个主题的维度、度量以及维度级别信息，并以水利普查数据仓库单元（007）为数据源，在分析主题的相关信息基础上，建立各个分析主题的数据立方体（310）；分析模型（320）的建立对外屏蔽了水利普查数据仓库单元（007）的内部具体实现；OLAP分析引擎（330）在分析模型（320）的基础上根据用户的分析请求，重新组织并最优化SQL语句进行查询分析，从数据立方体（310）中获取数据；多维分析服务接口（340）为用户提供数据向下钻取、数据切片以及数据旋转操作的接口方法，用户在用户操作界面（004）进行相关数据分析操作，请求响应模块（002）将分析请求传到多维分析服务模块（003）的多维分析服务接口（340），多维分析服务接口（340）调用相应的方法；数据展现模块（350）接收多维分析服务接口（340）返回的数据，并对数据以相应的展现方式进行展现。

5. 如权利要求4所述的水利普查数据多维分析服务系统，其特征在于：所述分析模型（320）包括物理层（321）、业务逻辑层（322）以及展现层（323）；物理层（321）对应于数据源的定义，包括数据源描述、物理表结构、字段数据类型以及物理表之间关系；业务逻辑层（322）是关于多维数据模型的定义，从多个物理数据源里抽象出来的多维数据模型，主要涉及对维度、层次结构、度量和聚合规则的设计；展现层（323）是分析模型（320）中和用户操作界面（004）直接对应的层次，该层根据业务人员的视角，隐藏掉任何与技术以及模型相关的内容，删除业务中不关心的字段简化视图，仅保留关心的字段信息并以用户所熟悉的语言来描述。

6. 一种水利普查数据多维分析服务的封装和实现方法，其特征在于：包括封装步骤和实现步骤，

封装步骤为：

步骤S300，针对水利普查原始数据特点及实际需求，设计相关的水利普查数据分析主题，包括度量信息、维度信息以及维度的层次级别信息；

步骤S310，根据水利普查分析主题中涉及的度量和维度信息，从水利普查数据原始数据库（005）中抽取相关数据；

步骤S320，将从水利普查原始数据库（005）中抽取出来的数据经过ETL模块（006），对数据进行清洗、转换和操作，形成水利普查数据仓库单元（007）；

步骤S330，在水利普查数据仓库单元（007）的数据基础上，针对每个分析主题，建立数据立方体（310）；

步骤S340，对每个分析主题，根据分析主题所包括的度量和维度信息，以水利普查数据仓库单元（007）的数据为数据源，对分析模型（320）进行物理层（321）、业务逻辑层（322）和展现层（323）的设计；

步骤S350，编写多维分析服务接口（340）的方法，主要的方法包括对分析主题维度和度量的获取，并将维度和度量信息传入到多维分析服务方法中，实现根据分析模型（320）对分析主题的数据进行相应的多维分析；

实现步骤为：

步骤S110，用户点击用户操作界面（004），对水利普查数据的分析主题进行选择，请求响应模块（002）获取用户的操作请求；

步骤S120，请求响应模块（002）将用户的操作请求转发请求到多维分析服务模块（003），请求刷新维度选择区（120）和度量选择区（130）的内容；

步骤S130，多维分析服务模块（003）根据展现层（323）定义的信息，获取用户在分析主题选择区所选择的分析主题的维度和度量信息；

步骤S140，多维分析服务模块（003）根据分析主题的维度和度量信息生成用户数据，并以格式化的形式返回； 

步骤S150，多维分析服务模块（003）接收返回的数据并刷新用户操作界面（004）中维度选择区（120）和度量选择区（130）的内容；

步骤S160，获取用户对维度选择区（120）和度量选择区（130）的操作指令；

步骤S165，请求响应模块（002）转发操作指令到多维分析服务模块（003），请求获取与操作指令对应的数据，多维分析服务模块（003）根据操作指令调用数据持久层（001）；

步骤S170，数据持久层（001）从水利普查数据仓库单元（007）获取和用户在维度选择区和度量选择区所选择信息对应的数据；

步骤S175，获取数据后，返回到多维分析服务模块（003）进行数据的格式化，并传到数据展现模块（350）进行数据展现；

步骤S180，判断当前用户选择的图表显示形式，按照用户选择的形式进行数据展现。

Images