CN105574188A - 一种数据分维度分层次管理的方法及系统 - Google Patents

Abstract

本发明涉及一种数据分维度分层次管理的方法及系统，其中方法包括以下步骤：步骤1：采用至少一种收集方式收集原始数据；步骤2：将收集到的原始数据存入基本表中，在基本表中对存入数据进行维度拆分；步骤3：将拆分后的原始数据根据维度分别存入多个维度表，并根据所有维度表的外键和关键字建立事实表。本发明对海量数据进行分维度分层次的管理，实现海量数据的收集、存储和快速精准的数据查询，提高数据分析的效率，为企业的决策提供及时准确的数据依据。

Description

一种数据分维度分层次管理的方法及系统

技术领域

本发明涉及一种数据分维度分层次管理的方法及系统，属于计算机技术领域。

背景技术

当前，信息技术和互联网技术的新发展，带来了数据的爆发式增长，数据正在成为驱动经济增长和社会进步的重要基础和战略资源。不论任何规模的企业，无不每时每刻都产生着大量的数据。随着企业信息化的发展，数据的分析和统计成为了企业领导层决策的重要因素。由于企业的业务数据量的迅猛增长，数据库存储的数据量成TB甚至PB级的数据规模，并且数据来源也更加多元化，如何存储这些海量数据并进行快速精准的数据查询，是传统的关系数据库系统无法全部解决的难题。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种，对企业海量业务数据进行分维度分层次的管理，实现海量数据的收集、存储和快速精准的数据查询，提高数据分析的效率，为企业的决策提供及时准确的数据依据的数据分维度分层次管理的方法及系统。

本发明解决上述技术问题的技术方案如下：一种数据分维度分层次管理的方法，包括以下步骤：

步骤1：采用至少一种收集方式收集原始数据；

步骤2：将收集到的原始数据存入基本表中，在基本表中对存入数据进行维度拆分；

步骤3：将拆分后的原始数据根据维度分别存入多个维度表，并根据所有维度表的外键和关键字建立事实表。

本发明的有益效果是：对海量数据进行分维度分层次的管理，实现海量数据的收集、存储和快速精准的数据查询，提高数据分析的效率，为企业的决策提供及时准确的数据依据。每一个事实表都有一组维度表通过关键字与之关联；事实表中存储主要数据,只需查询事实表就可以查询到主要信息，而无需将多个庞大的基本表进行联表查询，同时维度表一般较小,与事实表连接时速度很快，并不影响查询效率。通过这种数据存储结构，可以极大的提高数据查询效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，还包括步骤4：将每个维度表中数据根据不同类别创建视图，得到数据立方体；所有维度表对应多维数据立方体。

采用上述进一步方案的有益效果是，事实表和维度表中存储了所有数据各种维度的详细信息，但在根据用户需求做数据分析并展示数据时，往往只需要部分的数据，通过建立多维度数据立方体，可以方便定制数据，聚焦特定的数据。在实际应用中可以任意抽取多维数据立方体中的数据用于Web应用、手机APP应用、微信应用等各种应用的数据分析展示；从数据安全性角度来看，多维度数据立方体是物理上并不存在的虚拟数据集，存储动态的数据集合，即便用户操作数据立方体也无法更改和删除事实表和维度表中的数据，保障了原始数据的安全性。

进一步，所述步骤1具体包括以下步骤：

步骤1.1：确定数据来源，根据数据来源和数据种类选用不同的收集方式和收集工具；

步骤1.2：采用选用的收集方式和收集工具收集数据。

进一步，所述数据来源包括业务系统数据、电子表格、系统运行日志文件、移动终端数据、数据供应商和互联网数据等。

进一步，所述数据种类包括结构化数据、半结构化数据和非结构化数据。

进一步，所述收集方式包括手动收集和自动收集。

采用上述进一步方案的有益效果是，手动收集有Web应用上传、远程文件传输、云存储等方式。自动收集主要采用有ETL工具集收集，运用ETL工具从数据源抽取出所需的数据，进行数据转换、清洗，并加载数据到目标数据存储区。

进一步，所述步骤2具体包括以下步骤：

步骤2.1：将收集到的原始数据存入基本表中；

步骤2.2：对基本表中的原始数据进行预处理、分析和维度拆分，将原始数据按维度分组。

本发明解决上述技术问题的技术方案如下：一种数据分维度分层次管理的系统，包括数据收集模块、维度拆分模块和分表存储模块；

所述数据收集模块用于采用至少一种收集方式收集原始数据；

所述维度拆分模块用于将收集到的原始数据存入基本表中，在基本表中对存入数据进行维度拆分；

所述分表存储模块用于将拆分后的原始数据根据维度分别存入多个维度表，并根据所有维度表的外键和关键字建立事实表。

本发明的有益效果是：每一个事实表都有一组维度表通过关键字与之关联。事实表中存储主要数据,只需查询事实表就可以查询到主要信息，而无需将多个庞大的基本表进行联表查询，同时维度表一般较小,与事实表连接时速度很快，并不影响查询效率。通过这种数据存储结构，可以极大的提高数据查询效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，还包括立方体模块；

所述立方体模块用于将每个维度表中数据根据不同类别创建视图，得到数据立方体；所有维度表对应多维数据立方体。

采用上述进一步方案的有益效果是，事实表和维度表中存储了所有数据各种维度的详细信息，但在根据用户需求做数据分析并展示数据时，往往只需要部分的数据，通过建立多维度数据立方体，可以方便定制数据，聚焦特定的数据。在实际应用中可以任意抽取多维数据立方体中的数据用于Web应用、手机APP应用、微信应用等各种应用的数据分析展示；从数据安全性角度来看，多维度数据立方体是物理上并不存在的虚拟数据集，存储动态的数据集合，即便用户操作数据立方体也无法更改和删除事实表和维度表中的数据，保障了原始数据的安全性。

进一步，所述数据收集模块包括来源判断模块和收集模块；

所述来源判断模块用于确定数据来源，根据数据来源和数据种类选用不同的收集方式和收集工具；

所述收集模块用于采用选用的收集方式和收集工具收集数据。

附图说明

图1为本发明实施例1所述的一种数据分维度分层次管理的方法流程图；

图2为本发明实施例1所述的一种数据分维度分层次管理的系统结构框图；

图3为本发明具体示例所述的一种数据分维度分层次管理的方法流程图。

附图中，各标号所代表的部件列表如下：

1、数据收集模块，2、维度拆分模块，3、分表存储模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明实施例1所述的一种数据分维度分层次管理的方法，包括以下步骤：

步骤1：采用至少一种收集方式收集原始数据；

步骤2：将收集到的原始数据存入基本表中，在基本表中对存入数据进行维度拆分；

步骤3：将拆分后的原始数据根据维度分别存入多个维度表，并根据所有维度表的外键和关键字建立事实表。

本发明实施例2所述的方法，在实施例1的基础上，还包括步骤4：将每个维度表中数据根据不同类别创建视图，得到数据立方体；所有维度表对应多维数据立方体。

本发明实施例3所述的方法，在实施例1或2的基础上，所述步骤1具体包括以下步骤：

步骤1.1：确定数据来源，根据数据来源和数据种类选用不同的收集方式和收集工具；

步骤1.2：采用选用的收集方式和收集工具收集数据。

本发明实施例4所述的方法，在实施例3的基础上，所述数据来源包括业务系统数据、电子表格、系统运行日志文件、移动终端数据、数据供应商和互联网数据等。

本发明实施例5所述的方法，在实施例3或4的基础上，所述数据种类包括结构化数据、半结构化数据和非结构化数据。

本发明实施例6所述的方法，在实施例3-5任一实施例的基础上，所述收集方式包括手动收集和自动收集。

本发明实施例7所述的方法，在实施例1-6任一实施例的基础上，所述步骤2具体包括以下步骤：

步骤2.1：将收集到的原始数据存入基本表中；

步骤2.2：对基本表中的原始数据进行预处理、分析和维度拆分，将原始数据按维度分组。

如图2所示，为本发明实施例1所述的一种数据分维度分层次管理的系统，包括数据收集模块1、维度拆分模块2和分表存储模块3；

所述数据收集模块1用于采用至少一种收集方式收集原始数据；

所述维度拆分模块2用于将收集到的原始数据存入基本表中，在基本表中对存入数据进行维度拆分；

所述分表存储模块3用于将拆分后的原始数据根据维度分别存入多个维度表，并根据所有维度表的外键和关键字建立事实表。

本发明实施例2所述的方法，在实施例1的基础上，还包括立方体模块；

所述立方体模块用于将每个维度表中数据根据不同类别创建视图，得到数据立方体；所有维度表对应多维数据立方体。

本发明实施例3所述的方法，在实施例1或2的基础上，所述数据收集模块包括来源判断模块和收集模块；

所述来源判断模块用于确定数据来源，根据数据来源和数据种类选用不同的收集方式和收集工具；

所述收集模块用于采用选用的收集方式和收集工具收集数据。

如图3所示，在具体示例中，本发明所述的一种数据分维度分层次管理的方法，包括以下步骤：

步骤一：确定数据来源，根据数据的来源和种类选用不同的收集方式和收集工具。数据的来源包括有业务系统数据、电子表格、系统运行日志文件、移动终端数据、数据供应商、互联网数据等。数据的种类包括结构化数据、半结构化数据和非结构化数据。针对这些数据来源和种类选择不同的数据收集方式和收集工具。

步骤二：进行数据收集。该步骤运用各种收集方式和收集工具对企业数据进行数据收集。收集方式有手动收集和自动收集两种方式。手动收集有Web应用上传、远程文件传输、云存储等方式。自动收集主要采用有ETL工具集收集，运用ETL工具从数据源抽取出所需的数据，进行数据转换、清洗，并加载数据到目标数据存储区。

步骤三：将收集到的数据存入基本表。该步骤是通过各种方式收集到的原始数据进行数据存储，存入基本表。

步骤四：将基本表中的数据拆分维度。该步骤是通过数据预处理，对数据进行分析，拆分维度，建立多维的数据模型。

步骤五：将基本表中的数据分别存入事实表和维度表。该步骤是将基本表中的数据经过上一步骤的拆分维度后，分别存入事实表和维度表中。事实表是主表，包含了所有维度的外键。维度表是各个维度对应的表，存储维度的主键和其他信息。每一个事实表都有一组维度表通过关键字与之关联。事实表中存储主要数据,只需查询事实表就可以查询到主要信息，而无需将多个庞大的基本表进行联表查询，同时维度表一般较小,与事实表连接时速度很快，并不影响查询效率。通过这种数据存储结构，可以极大的提高数据查询效率。

步骤六：通过创建视图建立多维度数据立方体。事实表和维度表中存储了所有数据各种维度的详细信息，但在根据用户需求做数据分析并展示数据时，往往只需要部分的数据，通过建立多维度数据立方体，可以方便定制数据，聚焦特定的数据。在实际应用中可以任意抽取多维数据立方体中的数据用于Web应用、手机APP应用、微信应用等各种应用的数据分析展示。

从数据安全性角度来看，多维度数据立方体是物理上并不存在的虚拟数据集，存储动态的数据集合，即便用户操作数据立方体也无法更改和删除事实表和维度表中的数据，保障了原始数据的安全性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据分维度分层次管理的方法，其特征在于，包括以下步骤：

步骤1：采用至少一种收集方式收集原始数据；

步骤2：将收集到的原始数据存入基本表中，在基本表中对存入数据进行维度拆分；

步骤3：将拆分后的原始数据根据维度分别存入多个维度表，并根据所有维度表的外键和关键字建立事实表。

2.根据权利要求1所述的一种数据分维度分层次管理的方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1：确定数据来源，根据数据来源和数据种类选用不同的收集方式和收集工具；

步骤1.2：采用选用的收集方式和收集工具收集数据。

3.根据权利要求2所述的一种数据分维度分层次管理的方法，其特征在于，所述数据来源包括业务系统数据、电子表格、系统运行日志文件、移动终端数据、数据供应商和互联网数据。

4.根据权利要求2所述的一种数据分维度分层次管理的方法，其特征在于，所述数据种类包括结构化数据、半结构化数据和非结构化数据。

5.根据权利要求2所述的一种数据分维度分层次管理的方法，其特征在于，所述收集方式包括手动收集和自动收集。

6.根据权利要求1-5任一项所述的一种数据分维度分层次管理的方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1：将收集到的原始数据存入基本表中；

步骤2.2：对基本表中的原始数据进行预处理、分析和维度拆分，将原始数据按维度分组。

7.根据权利要求6所述的一种数据分维度分层次管理的方法，其特征在于，还包括步骤4：将每个维度表中数据根据不同类别创建视图，得到数据立方体；所有维度表对应多维数据立方体。

8.一种数据分维度分层次管理的系统，其特征在于，包括数据收集模块、维度拆分模块和分表存储模块；

所述数据收集模块用于采用至少一种收集方式收集原始数据；

所述维度拆分模块用于将收集到的原始数据存入基本表中，在基本表中对存入数据进行维度拆分；

所述分表存储模块用于将拆分后的原始数据根据维度分别存入多个维度表，并根据所有维度表的外键和关键字建立事实表。

9.根据权利要求8所述的一种数据分维度分层次管理的系统，其特征在于，所述数据收集模块包括来源判断模块和收集模块；

所述来源判断模块用于确定数据来源，根据数据来源和数据种类选用不同的收集方式和收集工具；

所述收集模块用于采用选用的收集方式和收集工具收集数据。

10.根据权利要求8或9所述的一种数据分维度分层次管理的系统，其特征在于，还包括立方体模块；

所述立方体模块用于将每个维度表中数据根据不同类别创建视图，得到数据立方体；所有维度表对应多维数据立方体。