CN104794221A - 一种基于业务对象的多维数据分析系统 - Google Patents
一种基于业务对象的多维数据分析系统 Download PDFInfo
- Publication number
- CN104794221A CN104794221A CN201510210670.0A CN201510210670A CN104794221A CN 104794221 A CN104794221 A CN 104794221A CN 201510210670 A CN201510210670 A CN 201510210670A CN 104794221 A CN104794221 A CN 104794221A
- Authority
- CN
- China
- Prior art keywords
- data
- dimension
- cube
- business object
- dimensional data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本案为一种基于业务对象的多维数据分析系统,包括以下步骤:步骤1)去立方体化:梳理表的基本信息,标记出主键与外键,整理出表集合{T},整理出字段集合{C};业务抽象:把表集合{T}中的所有字段{C}识别成业务对象,并且形成维度集合{D},度量集合{M};整理维度集合{D}中的所有维度,将有层级关系的维度设置好上下级关系;系统基于所述维度集合{D}、度量集合{M}的关系生成全业务的逻辑立方体Cube;步骤2)基于业务对象的多维分析:用户选择所述{D}和{M}中的对象,计算出当前业务组合的最优结果集{Data}和可用的层级维度集{H};下钻:从{H}中选择某个维度切换到Child,系统解析Cube;上卷:选择某个维度切换到Parent,系统解析Cube。本案最大限度降低了多维数据分析的资源消耗。
Description
技术领域
本发明涉及计算机技术领域,具体为一种基于业务对象的多维数据分析系统。
背景技术
当前,随着计算机技术的不断发展,多维数据分析在各种数据分析平台上得到了广泛的应用。多维数据分析源于联机分析处理OLAP(On-Line Analytical Processing,简称OLAP)技术,是OLAP技术的核心,目的是从多个维度来观察和分析指标的变化,以突出展示一些通过筛选重要维度而获得的指标数据。
目前市面上的多维数据分析工具,处理数据主要通过业务建模生成立方体后,基于立方体的分析,该方法有几个缺点:(1)需要针对特定业务,生成特定的立方体,需要有一个业务建模过程;(2)数据的分析只能基于生成好的立方体,数据集中化管理,不适合大规模业务数据的管理;(3)业务场景固定,只能按照模型设计所支持的场景来,新的需求难以满足。现有技术均需要生成新的立方体,而且立方体业务变更时,数据的更新是一个漫长而消耗资源的过程。
发明内容
为克服现有技术的不足,本发明的目的在于提供一种基于业务对象的多维数据分析系统,旨在去立方体化的同时加入一个业务对象的路径规划算法,降低资源的消耗。
为实现上述目的,本发明通过以下技术方案实现:
一种基于业务对象的多维数据分析系统,包括以下步骤:
步骤1)去立方体化,其中包括:
步骤1.1)梳理表的基本信息,标记出主键与外键,整理出表集合{T},确定所有字段的数据类型,整理出字段集合{C};
步骤1.2)业务抽象:把所述表集合{T}中的所有字段{C}识别成业务对象,并且将具有相同含义的列绑定到相同的业务对象上,形成维度集合{D},度量集合{M};
步骤1.3)整理所述维度集合{D}中的所有维度,将有层级关系的维度设置好上下级关系;
步骤1.4)系统基于所述维度集合{D}、度量集合{M}的关系生成全业务的逻辑立方体Cube;不需要落地生成真实的立方体;
步骤2)基于业务对象的多维分析,其包括:
步骤2.1)用户选择所述{D}和{M}中的对象,利用路径查找算法计算出当前业务组合的最优结果集{Data}和可用的层级维度集{H};
步骤2.2)下钻:用户从所述{H}中选择某个维度切换到其对应的子层级维度Child,系统通过解析所述逻辑立方体Cube,通过路径查找算法找出最优计算方法并产生结果;
步骤2.3)上卷:用户从所述{H}中选择某个维度切换到其对应的父层级维度Parent,系统通过解析所述逻辑立方体Cube,通过路径查找算法找出最优计算方法并产生结果。
优选的是,所述的基于业务对象的多维数据分析系统,其中,所述步骤1.4)中,对于数据的存储和形态没有任何要求,只需要确认业务之间数据存在逻辑上的立方体概念即可。
优选的是,所述的基于业务对象的多维数据分析系统,其中,所述步骤2.1)中,系统自动识别多维数据分析过程中需要使用到的维度关系,基于所有表的数据粒度、数据大小、数据量、计算时间等信息,综合选择计算时间最短或者消耗资源最少的事实表或者聚合表来计算数据。
优选的是,所述的基于业务对象的多维数据分析系统,其中,所述步骤2.3)中的最优计算方法是指采用基于所有表的数据粒度、数据大小、数据量、计算时间等信息,综合选择计算时间最短或者消耗资源最少的事实表或者聚合表来计算数据的方法。
优选的是,所述的基于业务对象的多维数据分析系统,其中,将任何一个所述多维数据转换成为一系列的维度和度量之间的组合查询,每个组合均利用所述路径查找的方法生成最合理的路径
优选的是,所述的基于业务对象的多维数据分析系统,其中,如果所述系统已有现成的立方体,系统可以最优先使用到它,如果没有,系统把一个功能拆分成多个步骤完成数据计算。
本发明的有益效果:本发明是一种新的基于业务对象的多维数据分析方法,解决了现有技术中存在的技术问题,有益效果在于以下方面:
(1)去立方体化:本发明充分利用已有数据,数据可以分散管理,只需要梳理好业务的逻辑即可,业务对象生成之后,不需要建立任何立方体,也不需要了解复杂的表关系,维度间有层级关系的话,只需要指定维度之间的层级关系即可,系统会自动完成全业务的逻辑立方体模型建设,对于用户来说完全透明;
(2)自动查找计算路径:当用户进行多维分析:比如下钻、上卷时,系统会根据对象之间的关系, 自动生成计算路径,所需要的数据甚至可以在完全不相干的多个表中。已有的结果可以直接使用返回,没有的结果会在最小范围内完成计算;
(3)本发明加入了一个业务对象的路径规划算法,系统自动识别多维数据分析过程中需要使用到的维度关系,选择最合适的事实表或者聚合表来计算数据,最大限度降低资源的消耗。
附图说明
图1为本发明一实施例所述的基于业务对象的多维数据分析系统中的系统流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
为实现上述目的,本发明通过以下技术方案实现:
一种基于业务对象的多维数据分析系统,请参阅附图1中的系统流程图,包括以下步骤:
步骤1)去立方体化,其中包括:
步骤1.1)梳理表的基本信息,标记出主键与外键,整理出表集合{T},确定所有字段的数据类型,整理出字段集合{C};
步骤1.2)业务抽象:把所述表集合{T}中的所有字段{C}识别成业务对象,并且将具有相同含义的列绑定到相同的业务对象上,形成维度集合{D},度量集合{M};
步骤1.3)整理所述维度集合{D}中的所有维度,将有层级关系的维度设置好上下级关系;
步骤1.4)系统基于所述维度集合{D}、度量集合{M}的关系生成全业务的逻辑立方体Cube;不需要落地生成真实的立方体;去立方体化充分利用已有数据,数据可以分散管理,只需要梳理好业务的逻辑即可,业务对象生成之后,不需要建立任何立方体,也不需要了解复杂的表关系,维度间有层级关系的话,只需要指定维度之间的层级关系即可,系统会自动完成全业务的逻辑立方体模型建设,对于用户来说完全透明;
步骤2)基于业务对象的多维分析,其包括:
步骤2.1)用户选择所述{D}和{M}中的对象,利用路径查找算法计算出当前业务组合的最优结果集{Data}和可用的层级维度集{H};
步骤2.2)下钻:用户从所述{H}中选择某个维度切换到其对应的子层级维度Child,系统通过解析所述逻辑立方体Cube,通过路径查找算法找出最优计算方法并产生结果;
步骤2.3)上卷:用户从所述{H}中选择某个维度切换到其对应的父层级维度Parent,系统通过解析所述逻辑立方体Cube,通过路径查找算法找出最优计算方法并产生结果。当用户进行多维分析:比如下钻、上卷时,系统会根据对象之间的关系, 自动生成计算路径,所需要的数据甚至可以在完全不相干的多个表中。已有的结果可以直接使用返回,没有的结果会在最小范围内完成计算。
进一步的,所述步骤1.4)中,对于数据的存储和形态没有任何要求,只需要确认业务之间数据存在逻辑上的立方体概念即可。
进一步的,所述步骤2.1)中,系统自动识别多维数据分析过程中需要使用到的维度关系,基于所有表的数据粒度、数据大小、数据量、计算时间等信息,综合选择计算时间最短或者消耗资源最少的事实表或者聚合表来计算数据。
进一步的,所述步骤2.3)中的最优计算方法是指采用基于所有表的数据粒度、数据大小、数据量、计算时间等信息,综合选择计算时间最短或者消耗资源最少的事实表或者聚合表来计算数据的方法。
进一步的,所述步骤2.3)后还包括路径分析,也就是将解析后的结果转换成为维度加度量1和维度加度量N,对两者根据优化规则进行路径优化,得到计算结果。
进一步的,将任何一个所述多维数据转换成为一系列的维度和度量之间的组合查询,每个组合均利用所述路径查找的方法生成最合理的路径
进一步的,如果所述系统已有现成的立方体,系统可以最优先使用到它,如果没有,系统把一个功能拆分成多个步骤完成数据计算。
本发明加入了一个业务对象的路径规划算法,系统自动识别多维数据分析过程中需要使用到的维度关系,选择最合适的事实表或者聚合表来计算数据,最大限度降低资源的消耗。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (7)
1.一种基于业务对象的多维数据分析系统,其特征在于,包括以下步骤:
步骤1)去立方体化,其中包括:
步骤1.1)梳理表的基本信息,标记出主键与外键,整理出表集合{T},确定所有字段的数据类型,整理出字段集合{C};
步骤1.2)业务抽象:把所述表集合{T}中的所有字段{C}识别成业务对象,并且将具有相同含义的列绑定到相同的业务对象上,形成维度集合{D},度量集合{M};
步骤1.3)整理所述维度集合{D}中的所有维度,将有层级关系的维度设置好上下级关系;
步骤1.4)系统基于所述维度集合{D}、度量集合{M}的关系生成全业务的逻辑立方体Cube;
步骤2)基于业务对象的多维分析,其包括:
步骤2.1)用户选择所述{D}和{M}中的对象,利用路径查找算法计算出当前业务组合的最优结果集{Data}和可用的层级维度集{H};
步骤2.2)下钻:用户从所述{H}中选择某个维度切换到其对应的子层级维度Child,系统通过解析所述逻辑立方体Cube,通过路径查找算法找出最优计算方法并产生结果;
步骤2.3)上卷:用户从所述{H}中选择某个维度切换到其对应的父层级维度Parent,系统通过解析所述逻辑立方体Cube,通过路径查找算法找出最优计算方法并产生结果。
2.如权利要求1所述的基于业务对象的多维数据分析系统,其特征在于,所述步骤1.4)中,对于数据的存储和形态没有任何要求,只需要确认业务之间数据存在逻辑上的立方体概念即可。
3.如权利要求1所述的基于业务对象的多维数据分析系统,其特征在于,所述步骤2.1)中,系统自动识别多维数据分析过程中需要使用到的维度关系,基于所有表的数据粒度、数据大小、数据量、计算时间等信息,综合选择计算时间最短或者消耗资源最少的事实表或者聚合表来计算数据。
4.如权利要求1所述的基于业务对象的多维数据分析系统,其特征在于,所述步骤2.3)中的最优计算方法是指采用基于所有表的数据粒度、数据大小、数据量、计算时间等信息,综合选择计算时间最短或者消耗资源最少的事实表或者聚合表来计算数据的方法。
5.如权利要求1所述的基于业务对象的多维数据分析系统,其特征在于,所述步骤2.3)后还包括路径分析,也就是将解析后的结果转换成为维度加度量1和维度加度量N,对两者根据优化规则进行路径优化,得到计算结果。
6.如权利要求1所述的基于业务对象的多维数据分析系统,其特征在于,将任何一个所述多维数据转换成为一系列的维度和度量之间的组合查询,每个组合均利用所述路径查找的方法生成最合理的路径。
7.如权利要求1所述的基于业务对象的多维数据分析系统,其特征在于,如果所述系统已有现成的立方体,系统可以最优先使用到它,如果没有,系统把一个功能拆分成多个步骤完成数据计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510210670.0A CN104794221B (zh) | 2015-04-29 | 2015-04-29 | 一种基于业务对象的多维数据分析系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510210670.0A CN104794221B (zh) | 2015-04-29 | 2015-04-29 | 一种基于业务对象的多维数据分析系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104794221A true CN104794221A (zh) | 2015-07-22 |
CN104794221B CN104794221B (zh) | 2018-05-01 |
Family
ID=53559013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510210670.0A Expired - Fee Related CN104794221B (zh) | 2015-04-29 | 2015-04-29 | 一种基于业务对象的多维数据分析系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104794221B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104992190A (zh) * | 2015-07-23 | 2015-10-21 | 苏州国云数据科技有限公司 | 基于业务对象的数据聚类分析系统及方法 |
CN106997386A (zh) * | 2017-03-28 | 2017-08-01 | 上海跬智信息技术有限公司 | 一种olap预计算模型、自动建模方法及自动建模系统 |
CN107016001A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 一种数据查询方法及装置 |
CN108241692A (zh) * | 2016-12-26 | 2018-07-03 | 北京国双科技有限公司 | 数据的查询方法及装置 |
CN105095436B (zh) * | 2015-07-23 | 2018-07-17 | 苏州国云数据科技有限公司 | 数据源数据自动建模方法 |
CN108804459A (zh) * | 2017-05-02 | 2018-11-13 | 杭州海康威视数字技术股份有限公司 | 数据查询方法及装置 |
CN110413708A (zh) * | 2019-07-23 | 2019-11-05 | 杭州城市大数据运营有限公司 | 一种面向业务术语的数据分析系统 |
CN113268491A (zh) * | 2021-03-19 | 2021-08-17 | 广州天越电子科技有限公司 | 一种通用型实现数据上卷下钻的方法 |
CN114168624A (zh) * | 2021-12-08 | 2022-03-11 | 掌阅科技股份有限公司 | 数据分析方法、计算设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222082A (zh) * | 2019-03-19 | 2019-09-10 | 武汉轻工大学 | 一种多维数据分析系统和多维数据分析方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6205447B1 (en) * | 1997-06-30 | 2001-03-20 | International Business Machines Corporation | Relational database management of multi-dimensional data |
CN102521417A (zh) * | 2011-12-30 | 2012-06-27 | 南京柏梭信息科技有限公司 | 一种基于虚拟数据立方体的多维数据处理方法及其系统 |
CN104268275A (zh) * | 2014-10-16 | 2015-01-07 | 苏州国云数据科技有限公司 | 一种对数据做业务抽象和路径查找分析的方法 |
-
2015
- 2015-04-29 CN CN201510210670.0A patent/CN104794221B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6205447B1 (en) * | 1997-06-30 | 2001-03-20 | International Business Machines Corporation | Relational database management of multi-dimensional data |
CN102521417A (zh) * | 2011-12-30 | 2012-06-27 | 南京柏梭信息科技有限公司 | 一种基于虚拟数据立方体的多维数据处理方法及其系统 |
CN104268275A (zh) * | 2014-10-16 | 2015-01-07 | 苏州国云数据科技有限公司 | 一种对数据做业务抽象和路径查找分析的方法 |
Non-Patent Citations (2)
Title |
---|
曾瑞等: "运用面向对象的方法设计多维立方体", 《云南师范大学学报》 * |
邹逸江: "空间数据立方体多维信息空间分析实例", 《计算机应用研究》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095436B (zh) * | 2015-07-23 | 2018-07-17 | 苏州国云数据科技有限公司 | 数据源数据自动建模方法 |
CN104992190A (zh) * | 2015-07-23 | 2015-10-21 | 苏州国云数据科技有限公司 | 基于业务对象的数据聚类分析系统及方法 |
CN104992190B (zh) * | 2015-07-23 | 2019-01-08 | 苏州国云数据科技有限公司 | 基于业务对象的数据聚类分析系统及方法 |
CN107016001B (zh) * | 2016-01-28 | 2020-10-16 | 创新先进技术有限公司 | 一种数据查询方法及装置 |
CN107016001A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 一种数据查询方法及装置 |
CN108241692A (zh) * | 2016-12-26 | 2018-07-03 | 北京国双科技有限公司 | 数据的查询方法及装置 |
CN108241692B (zh) * | 2016-12-26 | 2020-08-11 | 北京国双科技有限公司 | 数据的查询方法及装置 |
WO2018176623A1 (zh) * | 2017-03-28 | 2018-10-04 | 上海跬智信息技术有限公司 | 一种olap预计算模型、自动建模方法及自动建模系统 |
CN106997386B (zh) * | 2017-03-28 | 2019-12-27 | 上海跬智信息技术有限公司 | 一种olap预计算模型、自动建模方法及自动建模系统 |
CN106997386A (zh) * | 2017-03-28 | 2017-08-01 | 上海跬智信息技术有限公司 | 一种olap预计算模型、自动建模方法及自动建模系统 |
CN108804459A (zh) * | 2017-05-02 | 2018-11-13 | 杭州海康威视数字技术股份有限公司 | 数据查询方法及装置 |
CN108804459B (zh) * | 2017-05-02 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 数据查询方法及装置 |
CN110413708A (zh) * | 2019-07-23 | 2019-11-05 | 杭州城市大数据运营有限公司 | 一种面向业务术语的数据分析系统 |
CN113268491A (zh) * | 2021-03-19 | 2021-08-17 | 广州天越电子科技有限公司 | 一种通用型实现数据上卷下钻的方法 |
CN114168624A (zh) * | 2021-12-08 | 2022-03-11 | 掌阅科技股份有限公司 | 数据分析方法、计算设备及存储介质 |
CN114168624B (zh) * | 2021-12-08 | 2022-09-20 | 掌阅科技股份有限公司 | 数据分析方法、计算设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104794221B (zh) | 2018-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104794221A (zh) | 一种基于业务对象的多维数据分析系统 | |
CN105183917B (zh) | 一种用于多级存储数据的多维分析方法 | |
Solihin et al. | Multiple representation approach to achieve high-performance spatial queries of 3D BIM data using a relational database | |
CN103699689B (zh) | 事件知识库的构建方法及装置 | |
CN110059264B (zh) | 基于知识图谱的地点检索方法、设备及计算机存储介质 | |
CN106933833B (zh) | 一种基于空间索引技术的位置信息快速查询方法 | |
CN104965886B (zh) | 数据维度处理方法 | |
CN102867066B (zh) | 数据汇总装置和数据汇总方法 | |
CN110866123A (zh) | 基于数据模型构建数据图谱的方法及构建数据图谱的系统 | |
CN110263043A (zh) | 数据存储方法、数据查询方法、装置及存储介质 | |
US10296626B2 (en) | Graph | |
CN103559303A (zh) | 一种对数据挖掘算法的评估与选择方法 | |
CN105205864A (zh) | 基于多源数据的地质结构面三维模型自动建模方法和系统 | |
CN113535788A (zh) | 一种面向海洋环境数据的检索方法、系统、设备及介质 | |
Guo et al. | An event-driven dynamic updating method for 3D geo-databases | |
Kudryavtseva et al. | Modeling cluster development using programming methods: Case of Russian arctic regions | |
Zhou et al. | Efficient approaches to k representative g-skyline queries | |
CN103077255B (zh) | 核电站3d模型识别方法和系统 | |
CN109857822A (zh) | 基于图数据库的元模型转换方法及管理系统 | |
Gopalakrishnan et al. | Big Data in building information modeling research: survey and exploratory text mining | |
Nguyen et al. | DBSTexC: Density-based spatio-textual clustering on twitter | |
CN105574188A (zh) | 一种数据分维度分层次管理的方法及系统 | |
CN114385627A (zh) | 一种基于gis地图的数据分析方法、装置及存储介质 | |
CN104199924B (zh) | 选择具有快照关系的网络表格的方法及装置 | |
CN106815320B (zh) | 基于拓展三维直方图的调研大数据可视化建模方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180501 Termination date: 20200429 |