CN101178732A - 基于元数据快速实现数据仓库过程的方法 - Google Patents
基于元数据快速实现数据仓库过程的方法 Download PDFInfo
- Publication number
- CN101178732A CN101178732A CN 200710191526 CN200710191526A CN101178732A CN 101178732 A CN101178732 A CN 101178732A CN 200710191526 CN200710191526 CN 200710191526 CN 200710191526 A CN200710191526 A CN 200710191526A CN 101178732 A CN101178732 A CN 101178732A
- Authority
- CN
- China
- Prior art keywords
- cube
- metadata
- dimension
- data warehouse
- tolerance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于元数据快速实现数据仓库过程的方法，首先通过元数据对数据仓库中已有的一组基础立方体模型进行解析并列出其包含的度量和维度；使用者将一些具有共有维度的基础立方体进行组合，并根据需要利用已有度量创建新的计算度量；将定义导入数据仓库中，形成组合立方体模型；根据使用者所确定的组合立方体定义信息，将基础立方体所关联的事实表数据以共有维度所对应的外键进行关联组合，形成新的事实表或视图来作为组合立方体的数据支撑。通过本发明，使用者可以在使用过程中自主的创建多维分析模型，而不是由开发者预先设计完成，大大提高了数据仓库应用对于业务分析需求的适应能力，并由此加速了数据仓库过程。
Description
技术领域
本发明涉及一种加速数据仓库过程、提高应用适应能力和扩展能力的方法，具体地说是一种基于元数据，通过提供人机交互界面，使得数据仓库应用的使用者能够方便的通过已有多维立方体(称为基础立方体)，组成形成新的多维立方体(称为组合立方体)的基于元数据快速实现数据仓库过程的方法。
背景技术
联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时，Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要，对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念，即OLAP。
企业数据仓库(OLAP SERVER)建设的主要目的，是为管理者全面、及时的了解和分析企业运营信息提供丰富的手段，为领导决策指挥的科学性、高效性、准确性提供强大的技术支持。
与一般性的业务应用系统不同，数据仓库应用的需求提出和明确往往是非常困难的。主要有以下几点原因：
1)数据仓库应用的使用者往往是企业的领导者和决策者。需求分析人员很难与其就需求细节进行仔细的讨论与沟通；
2)由于数据仓库应用在国内的建设还处在刚刚起步的阶段，企业业务人员及管理人员对这一领域缺乏基本的了解，对系统能够提供怎么的查询分析手段也没有认识；
3)大量常规的查询、统计和报表在业务系统中已经完成，企业管理人员即便有更深层次的管理分析需求，却也往往处于一种“说不清道不明”的状态。
正因为如此，一个数据仓库过程的完成，往往只起到原型开发的作用。管理人员只有在看到前端应用之后，才开始对自身的分析应用需求做出更清晰的界定。这一过程需要多次迭代。
传统的数据仓库应用项目立足于根据数据分析应用的需求，构建大而全的多维立方体来支撑分析应用。由于此项工作的复杂度很高，导致了数据仓库项目建设难度大、周期长。
发明内容
本发明的目的是提供一种基于元数据快速实现数据仓库过程的方法，通过该方法使用者可以直接参与到数据分析模型的构建中来，使得深层次的管理分析需求能够由使用者自己来实现。开发者只需更多的关心最为核心的业务基础数据，而不需去了解繁复的数据间应用逻辑和分析需求。
本发明的目的是通过以下技术方案来实现的：
一种基于元数据快速实现数据仓库过程的方法，其特征在于它包括以下步骤：
1)通过元数据，对数据仓库(OLAP SERVER)中已有的基础立方体模型进行解析并列出其包含的度量和维度，供使用者选择；
2)使用者将一些具有共有维度的基础立方体进行组合，并利用已有度量创建新的计算度量；
3)将使用者所做的组合立方体的定义以XML的形式进行描述并通过开发OLAPSERVER的元数据访问接口，将定义导入OLAP SERVER中，形成组合立方体模型；
4)根据使用者所做的组合立方体定义信息，将基础立方体所关联的事实表数据以共有维度所对应的外键进行关联组合，形成新的事实表或视图来作为组合立方体的数据支撑。
本发明引入业务元数据对多维立方体模型进行表述，屏蔽其中复杂的技术元数据信息，使得使用者仅仅通过度量、维度等具有业务含义的关键要素就能够描述多维立方体模型。通过分析技术元数据与业务元数据间关联关系，将多维立方体模型转换为各类OLAP SERVER能够识别的表述形式，并通过开发接口程序，将多维立方体模型导入OLAP SERVER。
本发明中，数据仓库应用的使用者通过人机交互界面，可以列出应用中已有的多维立方体(称为基础立方体)信息，包括多维立方体的名称、其包含的度量和维度信息。选择多个具有共有维度信息的基础立方体，可以将其组合形成一个新的多维立方体(称为组合立方体)。在形成组合立方体的过程中，使用者可以使用基础立方体中包含的度量和各类常数，通过定义计算表达式，构造出新的度量。组合立方体定义信息将转换为多维立方体模型的元数据并导入至OLAPSERVER中，形成新的多维分析模型。
通过本发明，数据仓库应用的使用者可以方便的将若干个存在关联维度的简单多维立方体，通过定义计算度量等方式，组合成为新的复杂多维立方体。数据仓库应用开发者不需要再将大量精力投入到各类业务关联分析的设计实现中去，既可缩短应用开发周期，又可提高应用对业务需求，特别是关联分析需求的适应能力和扩展能力。
本发明的有益效果如下：
1、按照本发明进行数据仓库应用项目建设，改变了传统的数据仓库应用项目建设方法。本发明使得数据仓库项目建设的复杂度被分解，可以有效的降低项目建设难度，缩短项目建设周期。
2、按照本发明进行数据仓库应用项目建设，使用者可在应用过程中自行构建多维立方体模型，使得数据仓库应用具备很好的可扩展性，能够更好的适应不断变化的分析需求。
3、按照本发明进行数据仓库应用项目建设，开发者在建设阶段将着力组织核心的基础业务数据来构建大量简单的基础多维立方体，这将使得数据仓库应用的建设具备更好的可迭代性。
附图说明
附图是本发明的结构示意图。
具体实施方式
一种本发明所述的基于元数据快速实现数据仓库过程的方法，它包括以下步骤：
1)通过元数据，对OLAP SERVER中已有的基础立方体模型进行解析并列出其包含的度量和维度，供使用者选择；开发者在建设阶段将着力组织大量的核心业务数据来构建大量简单的基础多维立方体。
2)使用者将基础立方体业务元数据导出，根据需要选择若干个基础立方体，并通过构建人机交互界面将一些具有共有维度的基础立方体进行组合，包括选择共有维度、选择已有度量；并利用已有度量定义新的计算度量，构建新的组合立方体。
3)将使用者所确定的组合立方体的定义以XML的形式进行描述并通过开发OLAPSERVER的元数据访问接口，将组合立方体业务元数据导入OLAP SERVER中，形成组合立方体模型；
4)根据使用者所做的组合立方体定义信息，将基础立方体所关联的事实表数据以共有维度所对应的外键进行关联组合，形成新的事实表或视图来作为组合立方体的数据支撑。
举例如下：
假设当前已存在基础立方体“销售收入”、“职工”、“客户”，其中“销售收入”立方体中包括度量“销售收入(元)”，维度“分支机构”、“销售月度”；“职工”立方体中包括度量“职工人数”，维度“分支机构”、“统计月度”；“客户”立方体中包括度量“客户数量”，维度“所属分支机构”、“统计月度”。
使用者可以将“销售收入”、“职工”两个基础立方体进行组合，构建新的度量“人均销售收入(元/人)”，针对各分支机构各月度人均产出进行考察，分析其平均劳动生产率。
使用者可以将“销售收入”、“客户”两个基础立方体进行组合，构建新的度量“客户平均销售收入(元/客户)”，针对各分支机构各月度客户销售收入均值进行考查，分析各分支机构客户价值分布特点。
使用者可以将“职工”、“客户”两个基础立方体进行组合，构建新的度量“服务强度(客户/人)”，针对各分支机构各月度平均每职工服务客户的数量进行考查，分析各分支机构职工客户服务工作的强度。
按照本发明进行数据仓库应用项目建设，改变了传统的数据仓库应用项目建设方法。传统的数据仓库应用项目立足于根据数据分析应用的需求，构建大而全的多维立方体来支撑分析应用。由于此项工作的复杂度很高，导致了数据仓库项目建设难度大、周期长的问题。通过本发明，工作思路和工作角度发生逆转，数据仓库项目建设的复杂度被分解，可以有效的降低项目建设难度，缩短项目建设周期。
而且，按照本发明进行数据仓库应用项目建设，使用者可在应用过程中自行构建多维立方体模型的做法，使得数据仓库应用具备很好的可扩展性，能够更好的适应不断变化的分析需求；
并且，按照本发明进行数据仓库应用项目建设，开发者在建设阶段将着力组织核心的基础业务数据来构建大量简单的基础多维立方体，这将使得数据仓库应用的建设具备更好的可迭代性。
Claims (2)
1.一种基于元数据快速实现数据仓库过程的方法，其特征在于它包括以下步骤：
1)通过元数据，对数据仓库中已有的一组基础立方体模型进行解析并列出其包含的度量和维度，供使用者选择；
2)使用者将一些具有共有维度的基础立方体进行组合，并根据需要利用已有度量创建新的计算度量；
3)将使用者所做的组合立方体的定义以XML的形式进行描述并通过开发数据仓库的元数据访问接口，将定义导入数据仓库中，形成组合立方体模型；
4)根据使用者所确定的组合立方体定义信息，将基础立方体所关联的事实表数据以共有维度所对应的外键进行关联组合，形成新的事实表或视图来作为组合立方体的数据支撑。
2.根据权利要求1所述的基于元数据快速实现数据仓库过程的方法，其特征在于：在步骤3)中，使用者通过具有业务含义的关键要素度量和维度形成多维立方体模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200710191526 CN101178732A (zh) | 2007-12-12 | 2007-12-12 | 基于元数据快速实现数据仓库过程的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200710191526 CN101178732A (zh) | 2007-12-12 | 2007-12-12 | 基于元数据快速实现数据仓库过程的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101178732A true CN101178732A (zh) | 2008-05-14 |
Family
ID=39404985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200710191526 Pending CN101178732A (zh) | 2007-12-12 | 2007-12-12 | 基于元数据快速实现数据仓库过程的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101178732A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872375A (zh) * | 2010-05-28 | 2010-10-27 | 浙江大学 | 基于索引的汽车电子软件组件模型仓库的实现方法 |
| CN102004752A (zh) * | 2009-08-31 | 2011-04-06 | 埃森哲环球服务有限公司 | 灵活的立方体数据入库 |
| CN102650995A (zh) * | 2011-02-25 | 2012-08-29 | 中国银联股份有限公司 | 多维数据分析模型生成系统及方法 |
| CN103177055A (zh) * | 2011-12-22 | 2013-06-26 | Sap股份公司 | 存储为行存储和列存储二者的混合数据库表 |
| CN103258047A (zh) * | 2013-05-24 | 2013-08-21 | 杭州电子科技大学 | 一种面向药企作业成本控制数据仓库的数据组织方法 |
| CN103390042A (zh) * | 2013-07-15 | 2013-11-13 | 长沙学院 | 切换多维立方体的方法及装置 |
| CN104376483A (zh) * | 2014-12-10 | 2015-02-25 | 用友软件股份有限公司 | 业务系统嵌入多维分析模型的装置和方法 |
| CN104408179A (zh) * | 2014-12-15 | 2015-03-11 | 北京国双科技有限公司 | 数据表中数据处理方法和装置 |
| CN104657370A (zh) * | 2013-11-19 | 2015-05-27 | 中国移动通信集团天津有限公司 | 一种实现多维立方体关联的方法和装置 |
| CN104750681A (zh) * | 2013-12-25 | 2015-07-01 | 中国移动通信集团辽宁有限公司 | 一种海量数据的处理方法及装置 |
| CN106909566A (zh) * | 2015-12-23 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据建模方法及设备 |
| CN108829707A (zh) * | 2018-05-02 | 2018-11-16 | 国网浙江省电力有限公司信息通信分公司 | 跨业务域的大数据智能分析系统及方法 |
| CN109376182A (zh) * | 2018-09-26 | 2019-02-22 | 上海睿翎法律咨询服务有限公司 | 基于计算机软件系统实现关联公司识别处理的方法 |
| CN112988860A (zh) * | 2019-12-18 | 2021-06-18 | 菜鸟智能物流控股有限公司 | 数据加速处理方法、装置及电子设备 |
-
2007
- 2007-12-12 CN CN 200710191526 patent/CN101178732A/zh active Pending
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004752A (zh) * | 2009-08-31 | 2011-04-06 | 埃森哲环球服务有限公司 | 灵活的立方体数据入库 |
| CN102004752B (zh) * | 2009-08-31 | 2016-11-23 | 埃森哲环球服务有限公司 | 灵活的立方体数据入库 |
| CN101872375A (zh) * | 2010-05-28 | 2010-10-27 | 浙江大学 | 基于索引的汽车电子软件组件模型仓库的实现方法 |
| CN102650995A (zh) * | 2011-02-25 | 2012-08-29 | 中国银联股份有限公司 | 多维数据分析模型生成系统及方法 |
| CN103177055A (zh) * | 2011-12-22 | 2013-06-26 | Sap股份公司 | 存储为行存储和列存储二者的混合数据库表 |
| CN103177055B (zh) * | 2011-12-22 | 2017-09-05 | Sap欧洲公司 | 存储为行存储和列存储二者的混合数据库表 |
| CN103258047B (zh) * | 2013-05-24 | 2016-09-14 | 杭州电子科技大学 | 一种面向药企作业成本控制数据仓库的数据组织方法 |
| CN103258047A (zh) * | 2013-05-24 | 2013-08-21 | 杭州电子科技大学 | 一种面向药企作业成本控制数据仓库的数据组织方法 |
| CN103390042A (zh) * | 2013-07-15 | 2013-11-13 | 长沙学院 | 切换多维立方体的方法及装置 |
| CN104657370A (zh) * | 2013-11-19 | 2015-05-27 | 中国移动通信集团天津有限公司 | 一种实现多维立方体关联的方法和装置 |
| CN104657370B (zh) * | 2013-11-19 | 2018-09-04 | 中国移动通信集团天津有限公司 | 一种实现多维立方体关联的方法和装置 |
| CN104750681A (zh) * | 2013-12-25 | 2015-07-01 | 中国移动通信集团辽宁有限公司 | 一种海量数据的处理方法及装置 |
| CN104750681B (zh) * | 2013-12-25 | 2018-02-23 | 中国移动通信集团辽宁有限公司 | 一种海量数据的处理方法及装置 |
| CN104376483A (zh) * | 2014-12-10 | 2015-02-25 | 用友软件股份有限公司 | 业务系统嵌入多维分析模型的装置和方法 |
| CN104376483B (zh) * | 2014-12-10 | 2018-05-18 | 用友网络科技股份有限公司 | 业务系统嵌入多维分析模型的装置和方法 |
| CN104408179B (zh) * | 2014-12-15 | 2018-11-06 | 北京国双科技有限公司 | 数据表中数据处理方法和装置 |
| CN104408179A (zh) * | 2014-12-15 | 2015-03-11 | 北京国双科技有限公司 | 数据表中数据处理方法和装置 |
| CN106909566A (zh) * | 2015-12-23 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据建模方法及设备 |
| CN108829707A (zh) * | 2018-05-02 | 2018-11-16 | 国网浙江省电力有限公司信息通信分公司 | 跨业务域的大数据智能分析系统及方法 |
| CN109376182A (zh) * | 2018-09-26 | 2019-02-22 | 上海睿翎法律咨询服务有限公司 | 基于计算机软件系统实现关联公司识别处理的方法 |
| CN112988860A (zh) * | 2019-12-18 | 2021-06-18 | 菜鸟智能物流控股有限公司 | 数据加速处理方法、装置及电子设备 |
| CN112988860B (zh) * | 2019-12-18 | 2023-09-26 | 菜鸟智能物流控股有限公司 | 数据加速处理方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101178732A (zh) | 基于元数据快速实现数据仓库过程的方法 | |
| CN109669934B (zh) | 一种切合电力客服业务的数据仓库系统及其构建方法 | |
| US8108399B2 (en) | Filtering of multi attribute data via on-demand indexing | |
| JP2003526159A (ja) | 多次元データベースおよび統合集約サーバ | |
| CN104205039A (zh) | 使用兴趣驱动数据管线进行数据分析的兴趣驱动商业智能系统和方法 | |
| Alexandrov et al. | Myriad: scalable and expressive data generation | |
| US20040181518A1 (en) | System and method for an OLAP engine having dynamic disaggregation | |
| CN111611236A (zh) | 一种数据分析方法及系统 | |
| CN111177220B (zh) | 基于大数据的数据分析方法、装置、设备及可读存储介质 | |
| CN112131203A (zh) | 一种数据仓库搭建的方法和系统 | |
| Tank et al. | Speeding ETL processing in data warehouses using high-performance joins for changed data capture (cdc) | |
| Rutz et al. | Practical implications of real time business intelligence | |
| CN111897971B (zh) | 一种适用于电网调度控制领域的知识图谱管理方法及系统 | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN105653830A (zh) | 一种基于模型驱动的数据分析方法 | |
| CN110377668A (zh) | 数据分析方法和系统 | |
| CN117573646A (zh) | 一种基于维度建模的数据管理方法及系统 | |
| CN111046054A (zh) | 一种电力营销业务数据分析的方法和系统 | |
| CN101441645B (zh) | 技术数据分析的系统与方法 | |
| Kegel et al. | Template-based Time Series Generation with Loom. | |
| US7296040B2 (en) | System and method of formulating queries in relational databases | |
| Duan | Analysis of ERP enterprise management information system based on cloud computing mode | |
| Ordonez et al. | A data mining system based on SQL queries and UDFs for relational databases | |
| CN111949743A (zh) | 网点运营数据获取方法、装置及设备 | |
| Atay et al. | Modeling and querying multidimensional bitemporal data warehouses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |