CN108763282A - 基于数据立方体的bi筛选改进算法 - Google Patents

基于数据立方体的bi筛选改进算法 Download PDF

Info

Publication number
CN108763282A
CN108763282A CN201810327776.2A CN201810327776A CN108763282A CN 108763282 A CN108763282 A CN 108763282A CN 201810327776 A CN201810327776 A CN 201810327776A CN 108763282 A CN108763282 A CN 108763282A
Authority
CN
China
Prior art keywords
data
dimension
data cube
cube
screens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810327776.2A
Other languages
English (en)
Other versions
CN108763282B (zh
Inventor
胡泽平
刘宝
吴磊
夏宇
孙勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tuo Bao Software Co Ltd
Original Assignee
Shenzhen Tuo Bao Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tuo Bao Software Co Ltd filed Critical Shenzhen Tuo Bao Software Co Ltd
Priority to CN201810327776.2A priority Critical patent/CN108763282B/zh
Publication of CN108763282A publication Critical patent/CN108763282A/zh
Application granted granted Critical
Publication of CN108763282B publication Critical patent/CN108763282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据处理技术领域，特别是涉及BI筛选算法，具体地提供了一种基于数据立方体的BI筛选改进算法，其包括以下步骤：加载需要处理的数据立方体；对所述数据立方体进行预处理；将所述数据立方体的每个维度的数据按顺时针方向组织均匀分布在一个虚拟圆环上，得到多维空间数据模型；请求筛选数据，在所述多维空间数据模型进行筛选，获取返回的筛选结果；将筛选结果以行列的二维或三维显示模型进行显示。本发明能够对多维模型多视角多层次的数据组织形式进行筛选，使筛选运算更加有效率；能够保证数据点之间的独立性，提高筛选的容错性和可扩展性，解决数据倾斜问题；提高了筛选分析的灵活性，满足了不同筛选分析的需求。

Description

基于数据立方体的BI筛选改进算法
技术领域
本发明涉及数据处理技术领域，特别是涉及BI(Business Intelligence，商业智能)筛选算法，具体地提供了一种基于数据立方体的BI筛选改进算法。
背景技术
在现代企业决策过程中，利用大数据分析，将企业中现有的数据转化为知识并帮助企业做出明智的业务经营决策的工具被越来越广泛地采用。BI(BusinessIntelligence)又称为商业智能，能够用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值，其主要是对商业信息的搜集、管理和分析过程，它的实现主要涉及到软件、硬件、咨询服务及应用，常见的系统有Cognos、Tableau、SAP BO、帆软FineBI和微软Power BI等。
随着大数据采集和应用技术的发展，能够让用户从多个角度探索和分析数据集，从而常常用很多个维度来构建数据立方体，数据立方体可以看作是二维表格的多维扩展，其本身并不局限于三个维度，可以组合更多的维度。现有技术中，有专利CN200910210654.6公开了一种商业智能BI产品构件的封装方法，预先定义业务分析主题，包括：根据所述业务分析主题对前端展现内容所对应的组件进行封装，获取所述封装后的组件对应的数据仓库的库表结构，将所述获取的库表结构进行封装，所述每个库表结构包含至少一个立方体，将按照所述封装的库表结构从数据库中进行数据抽取的设计进行封装，所述将按照封装的库表结构从数据库中进行数据抽取的设计进行封装包括：查找所述封装的库表结构中每个立方体对应的数据抽取设计，将所有立方体对应的数据抽取设计进行封装，所述封装后的数据抽取设计对应同一业务分析主题；也有专利CN201010522056.5公开了一种基于立方体棱边共享等值点的加速改进算法，包括如下步骤：1)用一个全局数组变量保存一个立方体的每条棱边的相关信息，包括该条棱边是否有等值点，以及等值点的坐标值和法向量；2)计算等值点的坐标值，包括如下步骤：a)在计算等值点之前，先判断此棱边是否有等值点，如果此棱边有等值点，则直接把已经存在数组里的数据提取出来用于计算三角面片；如果此棱边没有等值点，跳到步骤b)；b)通过线性插值计算等值点的坐标和法向量，把当前体素的棱边的等值点记录下来，以及对共享这条棱边的其他体素的棱边的等值点给予赋值；3)计算三角面片，并通过GPU加速图像处理软件处理生成的三角面片，绘制得到三维图形；还有专利CN201310300558.7公开了一种大规模信息网络中数据语义信息的处理方法，包括以下步骤：(1)高维数据规格化，(2)数据分区，(3)数据区归整划分，(4)数据映射，(5)数据处理，(6)数据搜索，步骤(3)包括：首先将每个数据聚集区归整为高维数据空间内的多维超立方体，并为每一个超立方体确定一个立方体数j，然后以超立方体中心为顶点，数据聚集区的(d-1)维超平面作为基，将每个d维数据聚集区(超立方体)划分为2d个金字塔，并为每个金字塔赋予一个金字塔值i；这些专利从不同角度基于数据立方体进行处理，但是仍然在同时处理大量数据时存在数据需要转移、系统负载不均衡、时间效率和空间效率都较低等缺点。
发明内容
本发明所要解决的技术问题是针对现有技术存在的诸多缺点，提供一种基于数据立方体的BI筛选改进算法。
本发明解决其技术问题所采取的技术方案是：基于数据立方体的BI筛选改进算法，其特征在于，包括以下步骤：
步骤S1：加载需要处理的数据立方体，获取所述数据立方体的维度和测度；
步骤S2:对所述数据立方体进行预处理，所述预处理包括检查其中的维度和测度，并定义所述维度和所述测度之间的关系，以及定义所述测度引用所述维度的集合关系；
步骤S3:将经过预处理的所述数据立方体的每个维度的数据按顺时针方向组织均匀分布在一个虚拟圆环上，得到具有多个虚拟圆环的多维空间数据模型；
步骤S4：请求筛选数据，获得维度和测度信息，所述维度和测度信息在所述多维空间数据模型进行筛选，获取返回的筛选结果；
步骤S5：将筛选结果以行列的二维或三维显示模型进行显示。
优选地，所述数据立方体为至少三个维度的数据立方体。
优选地，步骤S2在所述检查其中的维度和测度时对所述数据立方体进行多维分析操作，具体包括钻取、上卷、切片、切块和旋转。
优选地，步骤S2中的所述检查其中的维度和测度包括检查维度的名称、维度与数据库表字段的对应关系、维度的属性、维度的级别划分、测度的名称、测度的类型、测度的自定义计算公司和测度是否可以聚集。
优选地，步骤S3在当虚拟圆环上的某个数据需要更改时，返回步骤S2。
优选地，步骤S4中的所述维度和测度信息在所述多维空间数据模型进行筛选时应用一致性哈希算法，所述维度和测度信息按顺时针方向被定位在对应的虚拟圆环上的最近数据点。
更优选地，当对应的虚拟圆环上的最近数据点发生错误时，该数据点上已经定位的所述维度和测度信息被重新定位到按顺时针方向的最近的下一个数据点。
更优选地，将虚拟圆环上分布的数据进行哈希计算得到多个哈希，每个计算结果定义为虚拟数据点。
优选地，所述二维显示模型为二维界面，所述三维显示模型为动态的三维显示图像
本发明由于采取了上述技术方案，其具有如下有益效果：
本发明所述的基于数据立方体的BI筛选改进算法，能够对多维模型多视角多层次的数据组织形式进行筛选，让数据的展示更加直观，使得对百万千万甚至上亿数量级的筛选运算更加有效率；也能够进行数据更新，保证数据的准确性，能够保证数据点之间的独立性，从而避免相邻数据点之间彼此的影响，提高筛选的容错性和可扩展性，解决数据倾斜问题；还可以从不同的角度和层面来观察数据，提高了筛选分析的灵活性，满足了不同筛选分析的需求。
附图说明
图1为本发明所述的基于数据立方体的BI筛选改进算法的流程示意图；
图2为本发明所述的数据立方体的示例图。
具体实施方式
以下结合附图对本发明的内容作进一步说明。
如图1所示，本发明所述的基于数据立方体的BI筛选改进算法，其特征在于，包括以下步骤：
步骤S1：加载需要处理的数据立方体，获取所述数据立方体的维度和测度；
在本发明中，数据立方体是作为多维模型的一个形象的说法，如图2所示的数据立方体为三维数据立方体；但可以理解的是，本发明所述的数据立方体还可以为组合更多维度的多维数据立方体。并且，所述数据立方体的加载可以从数据库或者文件中进行，也可以实时创建。
步骤S2:对所述数据立方体进行预处理，所述预处理包括检查其中的维度和测度，并定义所述维度和所述测度之间的关系，以及定义所述测度引用所述维度的集合关系；
其中，所述检查其中的维度和测度时可以对所述数据立方体进行多维分析操作，具体包括钻取、上卷、切片、切块和旋转等操作。
所述检查其中的维度和测度包括检查维度的名称、维度与数据库表字段的对应关系、维度的属性、维度的级别划分、测度的名称、测度的类型、测度的自定义计算公司和测度是否可以聚集等内容。
步骤S3:将经过预处理的所述数据立方体的每个维度的数据按顺时针方向组织均匀分布在一个虚拟圆环上，得到具有多个虚拟圆环的多维空间数据模型；
在本发明中，当虚拟圆环上的某个数据需要更改时，返回步骤S2，进行更改后，继续进行步骤S3，从而进行数据更新，保证数据的准确性。
步骤S4：请求筛选数据，获得维度和测度信息，所述维度和测度信息在所述多维空间数据模型进行筛选，获取返回的筛选结果；
其中，所述维度和测度信息在所述多维空间数据模型进行筛选时应用一致性哈希算法，所述维度和测度信息按顺时针方向被定位在对应的虚拟圆环上的最近数据点；优选地，当对应的虚拟圆环上的最近数据点发生错误时，该数据点上已经定位的所述维度和测度信息被重新定位到按顺时针方向的最近的下一个数据点；这样能够保证数据点之间的独立性，从而避免相邻数据点之间彼此的影响，提高筛选的容错性和可扩展性。
同时，由于存在某个虚拟圆环上分布的数据较少的可能，在进行筛选时，某个数据点上可能被定位的维度和测度信息较多，造成筛选结果分布不均衡而存在数据倾斜问题，本发明优选将该虚拟圆环上分布的数据进行哈希计算得到多个哈希，每个计算结果定义为虚拟数据点，从而通过增加虚拟数据点来解决数据倾斜问题，从而实现数据分布均匀。
步骤S5：将筛选结果以行列的二维或三维显示模型进行显示；
其中，所述二维显示模型可以为简单的二维界面，所述三维显示模型可以为动态的三维显示图像。本发明所述的基于数据立方体的BI筛选改进算法通过步骤S1-S5能够对多维模型多视角多层次的数据组织形式进行筛选，让数据的展示更加直观，使得对百万千万甚至上亿数量级的筛选运算更加有效率，还可以从不同的角度和层面来观察数据，提高了筛选分析的灵活性，满足了不同筛选分析的需求。
以上内容是对本发明所述的基于数据立方体的BI筛选改进算法作出的进一步详细说明，并非对本发明的范围进行限定，在不脱离本发明构思的前提下，本领域普通技术人员依据本发明的技术方案做出的各种变形和改进，均应视为属于本发明的保护范围。

Claims (9)

1.基于数据立方体的BI筛选改进算法，其特征在于，包括以下步骤：
步骤S1：加载需要处理的数据立方体，获取所述数据立方体的维度和测度；
步骤S2:对所述数据立方体进行预处理，所述预处理包括检查其中的维度和测度，并定义所述维度和所述测度之间的关系，以及定义所述测度引用所述维度的集合关系；
步骤S3:将经过预处理的所述数据立方体的每个维度的数据按顺时针方向组织均匀分布在一个虚拟圆环上，得到具有多个虚拟圆环的多维空间数据模型；
步骤S4：请求筛选数据，获得维度和测度信息，所述维度和测度信息在所述多维空间数据模型进行筛选，获取返回的筛选结果；
步骤S5：将筛选结果以行列的二维或三维显示模型进行显示。
2.根据权利要求1所述的基于数据立方体的BI筛选改进算法，其特征在于：所述数据立方体为至少三个维度的数据立方体。
3.根据权利要求1所述的基于数据立方体的BI筛选改进算法，其特征在于：步骤S2在所述检查其中的维度和测度时对所述数据立方体进行多维分析操作，具体包括钻取、上卷、切片、切块和旋转。
4.根据权利要求1所述的基于数据立方体的BI筛选改进算法，其特征在于：步骤S2中的所述检查其中的维度和测度包括检查维度的名称、维度与数据库表字段的对应关系、维度的属性、维度的级别划分、测度的名称、测度的类型、测度的自定义计算公司和测度是否可以聚集。
5.根据权利要求1所述的基于数据立方体的BI筛选改进算法，其特征在于：步骤S3在当虚拟圆环上的某个数据需要更改时，返回步骤S2。
6.根据权利要求1所述的基于数据立方体的BI筛选改进算法，其特征在于：步骤S4中的所述维度和测度信息在所述多维空间数据模型进行筛选时应用一致性哈希算法，所述维度和测度信息按顺时针方向被定位在对应的虚拟圆环上的最近数据点。
7.根据权利要求6所述的基于数据立方体的BI筛选改进算法，其特征在于：当对应的虚拟圆环上的最近数据点发生错误时，该数据点上已经定位的所述维度和测度信息被重新定位到按顺时针方向的最近的下一个数据点。
8.根据权利要求6所述的基于数据立方体的BI筛选改进算法，其特征在于：将虚拟圆环上分布的数据进行哈希计算得到多个哈希，每个计算结果定义为虚拟数据点。
9.根据权利要求1所述的基于数据立方体的BI筛选改进算法，其特征在于：所述二维显示模型为二维界面，所述三维显示模型为动态的三维显示图像。
CN201810327776.2A 2018-04-12 2018-04-12 基于数据立方体的bi筛选改进算法 Active CN108763282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810327776.2A CN108763282B (zh) 2018-04-12 2018-04-12 基于数据立方体的bi筛选改进算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810327776.2A CN108763282B (zh) 2018-04-12 2018-04-12 基于数据立方体的bi筛选改进算法

Publications (2)

Publication Number Publication Date
CN108763282A true CN108763282A (zh) 2018-11-06
CN108763282B CN108763282B (zh) 2023-04-18

Family

ID=63981721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810327776.2A Active CN108763282B (zh) 2018-04-12 2018-04-12 基于数据立方体的bi筛选改进算法

Country Status (1)

Country Link
CN (1) CN108763282B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825769A (zh) * 2019-10-11 2020-02-21 苏宁金融科技(南京)有限公司 一种数据指标异常的查询方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295792A1 (en) * 2010-05-27 2011-12-01 Oracle International Corporation Data mart automation
CN102521417A (zh) * 2011-12-30 2012-06-27 南京柏梭信息科技有限公司 一种基于虚拟数据立方体的多维数据处理方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295792A1 (en) * 2010-05-27 2011-12-01 Oracle International Corporation Data mart automation
CN102521417A (zh) * 2011-12-30 2012-06-27 南京柏梭信息科技有限公司 一种基于虚拟数据立方体的多维数据处理方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张红军: "多维数据集中高维数据可视化算法研究", 《微电子学与计算机》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825769A (zh) * 2019-10-11 2020-02-21 苏宁金融科技(南京)有限公司 一种数据指标异常的查询方法和系统

Also Published As

Publication number Publication date
CN108763282B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
Westenberg et al. Volumetric attribute filtering and interactive visualization using the max-tree representation
Eick et al. Visual scalability
US5448686A (en) Multi-resolution graphic representation employing at least one simplified model for interactive visualization applications
Bracci et al. HexaLab. net: An online viewer for hexahedral meshes
Schmidt et al. VAICo: Visual analysis for image comparison
Ma Visualizing time-varying volume data
von Landesberger et al. Visual analysis of large graphs.
US20140168230A1 (en) Asynchronous compute integrated into large-scale data rendering using dedicated, separate computing and rendering clusters
US9892555B2 (en) Systems and methods for creating a three-dimensional texture atlas
CN107194864A (zh) 基于异构平台的ct图像三维重建加速方法及其装置
US20230267660A1 (en) Generating simplified map shapes
Gribble et al. A coherent grid traversal approach to visualizing particle-based simulation data
EP1442395A2 (en) Programs and method for the display, analysis and manipulation of multi-dimensional data
Comparato et al. Visualization, exploration, and data analysis of complex astrophysical data
US9001117B2 (en) Selective flow visualization of traced particles
CN108763282A (zh) 基于数据立方体的bi筛选改进算法
US9342923B2 (en) Systems and methods for creating a three-dimensional texture atlas
Balzer et al. Exploring relations within software systems using treemap enhanced hierarchical graphs
Barequet et al. Efficient perspective-accurate silhouette computation
Ma et al. Parallel visualization of large-scale aerodynamics calculations: A case study on the cray t3e
CN105551002A (zh) 一种图像形态学滤波方法
Jang et al. Fast collision detection using the A-buffer
Bin et al. Quantitative analysis of Flabellophyton from the Ediacaran Lantian Biota, South China: application of geometric morphometrics in Precambrian fossil research
Scholz et al. Level of Detail for Real-Time Volumetric Terrain Rendering.
CN105301652A (zh) 一种三维地震数据固定轴向切片动态判断体绘制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant