CN104820715A - 基于多维度关联的数据共享和分析方法及系统 - Google Patents

Abstract

本发明提供一种基于多维度关联的数据共享和分析方法及系统，所述方法包括：建立多维度数据库，多维度数据库包括多个符合标准格式的数据集，每一数据集内包含至少一个维度。获取用户分析定义，解析用户分析定义并形成多个查询字段，从多维度数据库内获取与多个查询字段相对应的多个数据集，根据公共维度将多个数据集进行关联，形成关联结果数据集。对关联结果数据集进行计算，形成计算结果并将计算结果返回给用户。本发明提供的基于多维度关联的数据共享和分析方法及系统，集查询和计算与一体，使用方便、查询和分析效率高。进一步的，通过建立标准的数据格式，不同用户之间可实现开放式的共享，为用户提供一个开放的数据互联分析网络。

Description

基于多维度关联的数据共享和分析方法及系统

技术领域

本发明涉及网络数据处理领域，且特别涉及一种基于多维度关联的数据共享和分析方法及系统。

背景技术

随着互联网技术和通信技术的不断发展，如何准确、有效、实时、快速的查询到用户所需要的数据成为可当前网络数据处理的重要着力点。现有的在线数据商城，数据集和数据集之间是独立存在的，相互之间没有关联的功能。用户可以查询和下载任一数据集。

另一方面，现有的公共数据查询系统和可视化平台只限于一个数据集的查询和可视化，即用户无法在线上对任何两个或两个以上的数据集进行关联分析。譬如，天气数据集和空气质量数据集是在现有的在线平台上独立存在的，用户无法在线分析天气指标和空气质量指标的关联关系。用户也无法将自己的数据集和公共数据进行关联分析。

目前职业数据分析人员或企业运营分析人员当需要对两个或两个数据集进行关联分析时，需要从数据商城上下载数据集并进行二次人工分析来得到两个或两个数据集之间的关联关系。这不仅工作量大，分析复杂且分析效率低。

发明内容

本发明为了克服现有线上数据，多个数据集之间相互独立，无法将数据进行线上的关联分析的问题，提供一种基于多维度关联的数据共享和分析方法及系统。

为了实现上述目的，本发明提供一种基于多维度关联的数据共享和分析方法包括：

建立多维度数据库，多维度数据库包括多个符合标准格式的数据集，每一数据集内包含至少一个维度；

获取用户分析定义，解析用户分析定义并形成多个查询字段，从多维度数据库内获取与多个查询字段相对应的多个数据集，根据公共维度将多个数据集进行关联，形成关联结果数据集；

对关联结果数据集进行计算，形成计算结果并将计算结果返回给用户。

于本发明一实施例中，每一维度对应一个维度数据结构，每一维度内的各层级属性的数据存放在相应的维度数据结构中，每一维度内各层级属性关联关系由相应的维度数据结构决定。

于本发明一实施例中，根据每一数据集内每一维度的各层级属性形成包含所有数据集信息的数据集目录，通过查询数据集目录来实现从多维度数据库内获取与多个查询字段相对应的多个数据集。

于本发明一实施例中，数据目录包括每一数据集的名称、对应的物理存储、使用权限、数据大小以及包含的数据字段。

于本发明一实施例中，从多维度数据库内获取与多个查询字段相对应的多个数据集，从每一数据集内抽取出所需的数据字段形成相应的中间数据集，每个中间数据集上都包含有相关的公共维度，根据公共维度将多个中间数据集进行关联，形成关联结果数据集。

于本发明一实施例中，每一数据集均包括多个数据列和多个设置在数据列顶部的数据字段。

此外，根据本发明另一方面，还提供一种基于多维度关联的数据共享和分析系统，包括数据库组建单元、多维度关联引擎和计算引擎。数据库组建单元建立多维度数据库，多维度数据库包括多个符合标准格式的数据集，每一数据集内包含至少一个维度。多维度关联引擎获取用户分析定义，解析用户分析定义并形成多个查询字段，从多维度数据库内获取与多个查询字段相对应的多个数据集，根据公共维度将多个数据集进行关联，形成关联结果数据集。计算引擎对关联结果数据集进行计算，形成计算结果返回给用户。

于本发明一实施例中，每一维度对应一个维度数据结构，每一维度内的各层级属性的数据存放在相应的维度数据结构中，每一维度内各层级属性关联关系由相应的维度数据结构决定。

于本发明一实施例中，多维度数据库内还包括数据集目录，数据库组建单元根据每一数据集内每一维度的各层级属性形成包含所有数据集信息的数据集目录，通过查询数据集目录来实现从多维度数据库内获取与多个查询字段相对应的多个数据集。

于本发明一实施例中，多维度关联引擎从多维度数据库内获取与多个查询字段相对应的多个数据集，并从每一数据集内抽取出所需的数据字段形成相应的中间数据集，每个中间数据集上都包含有相关的公共维度，根据公共维度将多个中间数据集进行关联，形成关联结果数据集。

经由上述的技术方案可知，在本发明实施例中，多维度数据库内多个数据集之间或多个数据集的多个中间数据集之间具有公共维度，且公共维度符标准数据格式。多维度关联引擎通过解析用户分析定义，得到多个查询字段，根据查询字段获取多维度数据库内相对应的多个数据集并根据公共维度将多个数据集或多个中间数据集进行关联，形成关联结果数据集。最后对关联结果数据集进行计算并将计算结果返回给用户。本发明提供的基于多维度关联的数据共享和分析方法及系统中，多维度数据库提供了标准格式的数据集，用户在使用时只需根据该标准格式来整合数据形成数据集并将其上传到多维度数据内，不同的用户可以从多维度数据库内获取自己所需要的数据集并进行关联和计算，从而得到自己所需要的信息。

本发明提供的基于多维度关联的数据共享和分析方法及系统，其不仅集查询和计算与一体，具有方便查询和分析效率高的优点；进一步的，其将数据集进行标准化，实现数据的开放式共享，为用户提供一个完整、方便、快速的数据互联分析网络。

为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。

附图说明

图1所示为本发明一实施例提供的基于多维度关联的数据共享和分析方法的流程图。

图2至图4所示为本发明一实施例中标准格式的数据集的图例。

图5所示为本发明一实施例提供的维度数据结构图。

图6所示为本发明一实施例提供的城市人口统计数据集。

图7所示为本发明一实施例提供的城市每日气温数据集。

图8所示为图6和图7两个数据集互联的示意图。

图9所示为本发明一实施例提供的基于多维度关联的数据共享和分析系统的结构框图。

图10所示为采用图9所示的基于多维度关联的数据共享和分析系统的工作流程图。

具体实施方式

图1所示为本发明一实施例提供的基于多维度关联的数据共享和分析方法的流程图。图2至图4所示为本发明一实施例中标准格式的数据集的图例。图5所示为本发明一实施例提供的维度数据结构图。图6所示为本发明一实施例提供的城市人口统计数据集。图7所示为本发明一实施例提供的城市每日气温数据集。图8所示为图6和图7两个数据集互联的示意图。图9所示为本发明一实施例提供的基于多维度关联的数据共享和分析系统的结构框图。图10所示为采用图9所示的基于多维度关联的数据共享和分析系统的工作流程图。请一并参阅图1至图10。

目前，尽管在线数据商场上的数据集很多，但这些数据集彼此相互独立，没有任何关联。申请人通过分析这些数据集发现，尽管数据集很多，但这些数据集都被少数的几个公共维度所规定。更具体的说，大多数数据集都被时间维度和地理维度所规定，譬如，天气数据集、空气数据集、房价数据集、经济数据集、地理数据集、股票数据集等都是被时间维度或地理维度所规定。

有鉴于此，本发明提供一种基于多维度关联的数据共享和分析方法，包括：

步骤S10、建立多维度数据库，多维度数据库包括多个符合标准格式的数据集，每一数据集内包含至少一个维度。

步骤S20、获取用户分析定义，解析用户分析定义并形成多个查询字段，从多维度数据库内获取与多个查询字段相对应的多个数据集，根据公共维度将多个数据集进行关联，形成关联结果数据集。

步骤S30、对关联结果数据集进行计算，形成计算结果并将计算结果返回给用户。

从上述技术方案可以看出，本申请实施例所提供的基于多维度关联的数据共享和分析方法根据用户分析定义来获取多维度数据库内的多个与用户分析定义所包含的查询字段所对应的数据集。由于几乎所有的数据集均被时间维度和地理维度所规定，因此，从多维度数据库内所获取到的多个数据集之间具有公共维度。将具有公共维度的多个数据集进行关联，形成关联结果数据集。最后对关联结果数据集进行计算从而得到符合查询字段的数据信息。

本实施例提供的基于多维度关联的数据共享和分析方法将线上数据商场中的多个彼此独立的数据进行关联并进行分析，集查询和计算分析于一体。用户只需进行一次分析和计算即可得到用户分析定义内多个查询字段之间的关联数据，为用户提供一个完整的互联分析。

以下结合图2至图8对本发明提供的基于多维度关联的数据共享和分析方法进行详细的介绍。

在步骤S10中，于本实施例中，用户通过上载符合标准格式的数据集到公共数据网络来建立多维度数据库。然而，本发明对此不作任何限定。于其它实施例中，可以通过从线上数据商场中获取符合标准格式的数据集来建立多维度数据库。每一数据集均包括多个数据列和多个设置在数据列顶部的数据字段。

图2至图4给出了符合标准格式的数据集的图例。其中图2、图3和图4所示的三个数据集均包含有两个维度，分别为时间维度和地理维度。其中，时间维度的数据字段是年、月份、日期，在相应的数据字段下具有数据列，每一数据列均符合特定的要求。如在时间维度的“年”这一数据字段下的数据列，其数据格式是4位数字XXXX，如2015；“月份”这一数据字段下的数据列，数据格式是XXXX-XX，如2015-03；“日期”这一数据下的数据列，数据格式是XXXX-XX-XX，如2015-03-25。同样的，对于地理维度，“省份”这一数据字段下的数据列必须是中国省份名称，“城市”这一数据字段下的数据列必须是中国城市名称。上述是对时间维度和地理维度这两个常见的维度的标准格式进行举例说明。

然而，本发明并不限定只有上述两个维度，且数据维度内的标准格式可以根据使用需要进行设置，设置时只需满足相同数据字段下的数据列的格式一致即可。此外，在本实施例中，尽管以上三个符合标准格式的数据集均包括时间维度和地理维度。然而，本发明对此不作任何限定。于其它实施例中，数据集可只包括一个维度或三个以上的维度。

多维度数据库对数据集的标准格式进行了限定，即提供了一种数据集的标准协议。不同用户整合的数据集只要数据满足这一标准化协议均可上传至多维度数据库内；相应的，用户可以从多维度数据库内调取自己所需要的数据，实现数据的开放式共享。多维度数据库所提供的标准格式类似于通信领域内的标准协议，满足标准格式的数据集在多维度数据库内均可实现数据共享。

在时间维度内，“日期”隶属于“月份”，“月份”隶属于“年份”；而对于地理维度，“区县”隶属于“城市”，“城市”隶属于“省份”。因此，在建立多维度数据库的同时，每一维度还对应有一个维度数据结构，每一维度内的各层级属性的数据存放在相应的维度数据结构中，每一维度内各层级属性关联关系由相应的维度数据结构决定。图5给出了地理维度和时间维度这两个维度所对应的维度数据结构。其它的维度可以根据层级之间的隶属情况形成相应的维度数据结构。

对于步骤S20，当多维度数据库建立后，输入用户的定义，系统解析用户分析定义并形成多个查询字段。基于图6和图7两个数据集，以下通过两个示例来对多个数据集之间的关联进行详细的描述。

示例一，用户希望做一个城市人口和当地气温的关联分析。

首先，通过解析用户的定义，形成“城市、人口和气温”这三个数据字段。在这三个字段内，“城市”代表的是地理维度，因此根据“城市、人口”以及“城市、气温”从多维度数据库中获取到图6和图7两个数据集。具体的获取方式为：在多维度数据库内，由于每一维度对应一个维度数据结构。因此，可以根据每一数据集内每一维度的各层级属性形成包含所有数据集信息的数据集目录。数据目录包括每一数据集的名称、对应的物理存储、使用权限、数据大小以及包含的数据字段(如区县、城市、年、月份以及日期等数据字段)。

于本实施例中，通过查询数据目录获得图6所示的包含区县和人口的数据集和图7所示的包含城市和气温的数据集。

其次，在图6所示的数据集中包括有男女比例、出生率、平均年龄等其它用户所不需要的数据字段，这些多余的数据字段会增加关联后的关联结果数据集的大小并影响后续的关联计算。为具有更优的关联计算和存储，于本实施例中，首先，从图6和图7两个数据集中抽取出所需的数据字段来形成中间数据集。如图6所对应的中间数据集仅包括“区县，人口”这两个数据字段及相应的数据列。图7所对应的中间数据集仅包括“城市，气温”两个数据字段及相应的数据列。接着，由于“区县”隶属于“城市”，基于图6所对应的中间数据集，通过合计聚合函数来得到“城市，人口”这一数据集。最后，由于“城市、人口”和“城市，气温”均位于城市这一层级，可直接将两个数据集进行关联，形成关联结果数据集。

最后，对关联结果数据集进行计算，得到用户所需的计算结果并将其返回给用户。所述计算可以为简单的四则运算或者更加复杂的统计相关计算(如相关系数等参数的计算)。

示例二、用户希望做一个区县出生率和当地气温的关联分析，具体的流程如图8所示。

首先，通过解析用户分析定义得到区县、出生率、气温三个查询字段。

接着，通过查询数据集目录从多维度数据库内获取到图6和图7所示的两个数据集。在图6中直接获取“区县，出生率”这一中间数据集。而在图7中由于存在时间维度，因此将数据集内的数据在时间维度上采用聚合函数运算，得到“城市，气温”这一中间数据集。由于查询字段中地理维度是区县，因此，基于城市和区县的层级关系，将数据自动向下级分配。如图8所示，“城市，气温”中北京市的平均气温是13.2661摄氏度，因此当数据由上一层级向下一层级自动分配时，北京市内的所有区县的温度均为13.2661，形成“区县，气温”数据集。此时，“区县，出生率”和“区县，气温”位于同一层级的地理维度上，可以将两个数据进行关联，得到关联结果数据集，具体的关联流程如图8所示。

最后，对关联结果数据集进行计算，得到用户所需的计算结果并将其返回给用户。

通过上述两个示例可以看出，采用本发明提供的基于多维度关联的数据共享和分析方法，通过公共维度将相互独立的两个或两个以上的数据集进行关联分析，用户可直接获取同一公共维度上两个查询字段的数据，方便分析计算这两个查询字段之间的相互关联系数或依赖系数等相关性指标。本发明提供的数据共享和分析方法，不仅可提供传统的数据查询，同时还可进行分析和计算，为用户提供一个完整的数据互联分析方法。

与上述基于多维度关联的数据共享和分析方法相对应的，本发明还提供一种基于多维度关联的数据共享和分析系统，包括数据库组建单元100、多维度关联引擎200和计算引擎300。

数据库组建单元100建立多维度数据库，多维度数据库包括多个符合标准格式的数据集，每一数据集内包含至少一个维度。每一维度对应一个维度数据结构(如图5所示)，每一维度内的各层级属性的数据存放在相应的维度数据结构中，每一维度内各层级属性关联关系由相应的维度数据结构决定。

多维度数据库内还包括数据集目录，数据库组建单元根据每一数据集内每一维度的各层级属性形成包含所有数据集信息的数据集目录，通过查询数据集目录来实现从多维度数据库内获取与多个查询字段相对应的多个数据集。

多维度关联引擎200获取用户分析定义，解析用户分析定义并形成多个查询字段，从多维度数据库内获取与多个查询字段相对应的多个数据集，根据公共维度将多个数据集进行关联，形成关联结果数据集。为减小关联后的关联结果数据集的大小和提高关联数据集的计算，设置多维度关联引擎200从多维度数据库内获取与多个查询字段相对应的多个数据集后，从每一数据集内抽取出所需的数据字段形成相应的中间数据集，每个中间数据集上都包含有相关的公共维度，根据公共维度将多个中间数据集进行关联，形成关联结果数据集。中间数据集所包含的数据两较小，相应的所占用的存储空间较小，且能大大提高数据的计算效率。

计算引擎300对关联结果数据集进行计算，形成计算结果返回给用户。所述计算为关联后两个相互独立的查询字段的关联系数等数据。与方法流程图对应的，图10所示为基于多维度关联的数据共享和分析系统的工作流程图，其中①表示：用户加载新的数据集到多维度数据库中；②表示：获取用户分析定义；③表示：从多维度数据库内获取与查询字段相对的多个数据集并形成关联结果数据集；④表示：对关联结果数据集进行计算；⑤表示：将计算结果返回给用户。

经由上述的技术方案可知，在本发明实施例中，多维度数据库内多个数据集之间或多个数据集的多个中间数据集之间具有公共维度，且公共维度符标准数据格式。多维度关联引擎通过解析用户分析定义，得到多个查询字段，根据查询字段获取多维度数据库内相对应的多个数据集并根据公共维度将多个数据集或多个中间数据集进行关联，形成关联结果数据集。最后对关联结果数据集进行计算并将计算结果返回给用户。本发明提供的基于多维度关联的数据共享和分析方法及系统中，多维度数据库提供了标准格式的数据集，用户在使用时只需根据该标准格式来整合数据形成数据集并将其上传到多维度数据内，不同的用户可以从多维度数据库内获取自己所需要的数据集并进行关联和计算，从而得到自己所需要的信息。

本发明提供的基于多维度关联的数据共享和分析方法及系统，其不仅集查询和计算与一体，具有方便查询和分析效率高的优点；进一步的，其将数据集进行标准化，实现数据的开放式共享，为用户提供一个完整、方便、快速的数据互联分析网络。

虽然本发明已由较佳实施例揭露如上，然而并非用以限定本发明，任何熟知此技艺者，在不脱离本发明的精神和范围内，可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所要求保护的范围为准。

Claims (10)

1.一种基于多维度关联的数据共享和分析方法，其特征在于，包括：

建立多维度数据库，所述多维度数据库包括多个符合标准格式的数据集，每一数据集内包含至少一个维度；

获取用户分析定义，解析用户分析定义并形成多个查询字段，从多维度数据库内获取与所述多个查询字段相对应的多个数据集，根据公共维度将多个数据集进行关联，形成关联结果数据集；

对关联结果数据集进行计算，形成计算结果并将计算结果返回给用户。

2.根据权利要求1所述的基于多维度关联的数据共享和分析方法，其特征在于，每一维度对应一个维度数据结构，每一维度内的各层级属性的数据存放在相应的维度数据结构中，每一维度内各层级属性关联关系由相应的维度数据结构决定。

3.根据权利要求2所述的基于多维度关联的数据共享和分析方法，其特征在于，根据每一数据集内每一维度的各层级属性形成包含所有数据集信息的数据集目录，通过查询数据集目录来实现从多维度数据库内获取与多个查询字段相对应的多个数据集。

4.根据权利要求3所述的基于多维度关联的数据共享和分析方法，其特征在于，所述数据目录包括每一数据集的名称、对应的物理存储、使用权限、数据大小以及包含的数据字段。

5.根据权利要求1所述的基于多维度关联的数据共享和分析方法，其特征在于，从多维度数据库内获取与所述多个查询字段相对应的多个数据集，从每一数据集内抽取出所需的数据字段形成相应的中间数据集，每个中间数据集上都包含有相关的公共维度，根据所述公共维度将多个中间数据集进行关联，形成关联结果数据集。

6.根据权利要求1所述的基于多维度关联的数据共享和分析方法，其特征在于，所述每一数据集均包括多个数据列和多个设置在数据列顶部的数据字段。

7.一种基于多维度关联的数据共享和分析系统，其特征在于，包括：

数据库组建单元，建立多维度数据库，所述多维度数据库包括多个符合标准格式的数据集，每一数据集内包含至少一个维度；

多维度关联引擎，获取用户分析定义，解析用户分析定义并形成多个查询字段，从多维度数据库内获取与所述多个查询字段相对应的多个数据集，根据公共维度将多个数据集进行关联，形成关联结果数据集；

计算引擎，对关联结果数据集进行计算，形成计算结果返回给用户。

8.根据权利要求7所述的基于多维度关联的数据共享和分析系统，其特征在于，每一维度对应一个维度数据结构，每一维度内的各层级属性的数据存放在相应的维度数据结构中，每一维度内各层级属性关联关系由相应的维度数据结构决定。

9.根据权利要求8所述的基于多维度关联的数据共享和分析系统，其特征在于，所述多维度数据库内还包括数据集目录，所述数据库组建单元根据每一数据集内每一维度的各层级属性形成包含所有数据集信息的数据集目录，通过查询数据集目录来实现从多维度数据库内获取与多个查询字段相对应的多个数据集。

10.根据权利要求7所述的基于多维度关联的数据共享和分析系统，其特征在于，所述多维度关联引擎从多维度数据库内获取与所述多个查询字段相对应的多个数据集，并从每一数据集内抽取出所需的数据字段形成相应的中间数据集，每个中间数据集上都包含有相关的公共维度，根据所述公共维度将多个中间数据集进行关联，形成关联结果数据集。