CN104217032B - 数据库维度的处理方法及装置 - Google Patents
数据库维度的处理方法及装置 Download PDFInfo
- Publication number
- CN104217032B CN104217032B CN201410510719.XA CN201410510719A CN104217032B CN 104217032 B CN104217032 B CN 104217032B CN 201410510719 A CN201410510719 A CN 201410510719A CN 104217032 B CN104217032 B CN 104217032B
- Authority
- CN
- China
- Prior art keywords
- data
- dimension
- dimension table
- true
- warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 18
- 241001269238 Data Species 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013500 data storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000012517 data analytics Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库维度的处理方法及装置。其中，该方法包括：获取数据仓库中预先创建的第一维度表；获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据；获取第二维度表中的最大数值；获取数据仓库中的最大数值；判断数据仓库中的最大数值是否大于第二维度表中的最大数值；如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新，解决了对大维度进行加载数据处理时，处理效率低的问题，达到了提升维度表数据处理速度的效果。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据库维度的处理方法及装置。
背景技术
数据仓库是一种通用数据处理系统，可以存储一个应用领域的所有有关数据。数据库中的数据是为众多用户所共享其信息而建立的，已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据库中的数据，多个用户可以同时共享数据库中的数据资源，即不同的用户可以同时存取数据库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用户之间信息通信的要求。
数据分析服务器(SQL Services Analysis Services，简称为SSAS)为合并数据挖掘的解决方案提供一个集成的平台。在数据分析服务器中具有分析数据库，在分析数据库从数据仓库里加载完所有数据后，都会将维度的层次结构进行重建，这种重建就相当于对SQLServer数据库的一个大索引进行重建一样，性能会非常慢，对于上亿级别的维度做添加一条数据，也不可避免的会所有的维度成员值做维度层次结构的重建，都会耗时十多分钟以上，随着事实维度数据量的增加，维度的处理性能呈直线下降趋势。
针对相关技术中在对大维度进行加载数据处理时，处理效率低的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种数据库维度的处理方法及装置，以解决对大维度进行加载数据处理时，处理效率低的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种数据库维度的处理方法。
根据本发明的数据库维度的处理方法包括：获取数据仓库中预先创建的第一维度表；获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据；获取第二维度表中的最大数值；获取数据仓库中的最大数值；判断数据仓库中的最大数值是否大于第二维度表中的最大数值；如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新。
进一步地，获取数据仓库中预先创建的第一维度表包括：查找数据仓库中的事实表；获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据；将事实表中数据的数量级扩大至预设数量级；通过预先创建的数据表存储预设数量级的数据；将预先创建的数据表作为第一维度表。
进一步地，获取第二维度表中的最大数值包括：查找数据仓库中的事实表；获取事实表中的指标数据，其中，事实表用于存储数据仓库中所有的指标数据；将第二维度表中的成员值与事实表中的指标数据建立映射关系；通过映射关系在事实表中查找第二维度表中最大成员值数据。
进一步地，如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新包括：查找数据仓库中的事实表；获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据；将事实表中数据的数量级扩大至预设数量级；通过预先创建的数据表存储预设数量级的数据；将预先创建的数据表作为第一维度表；更新第一维度表数据。
进一步地，获取数据仓库中预先创建的第一维度表之前，方法还包括：检测数据仓库中不可预估的维度表；获取不可预估的维度表；在不可预估的维度表创建相应的代理键列；通过代理键列，创建第一维度表。
为了实现上述目的，根据本发明的另一方面，提供了一种数据库维度的处理装置。该装置包括：第一获取单元，用于获取数据仓库中预先创建的第一维度表；第二获取单元，用于获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据；第三获取单元，用于获取第二维度表中的最大数值；第四获取单元，用于获取数据仓库中的最大数值；判断单元，用于判断数据仓库中的最大数值是否大于第二维度表中的最大数值；更新单元，用于在数据仓库中的最大数值大于第二维度表中的最大数值的情况下，对第一维度表中数据进行更新。
进一步地，第一获取单元包括：第一查找模块，用于查找数据仓库中的事实表；第一获取模块，用于获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据；第一扩大模块，用于将事实表中数据的数量级扩大至预设数量级；第一存储模块，用于通过预先创建的数据表存储预设数量级的数据；第一处理模块，用于将预先创建的数据表作为第一维度表。
进一步地，第三获取单元包括：第二查找模块，用于查找数据仓库中的事实表；第二获取模块，用于获取事实表中的指标数据，其中，事实表用于存储数据仓库中所有的指标数据；建立模块，用于将第二维度表中的成员值与事实表中的指标数据建立映射关系；第三查找模块，用于通过映射关系在事实表中查找第二维度表中最大成员值数据。
进一步地，更新单元包括：第三查找模块，用于查找数据仓库中的事实表；第三获取模块，用于获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据；第二扩大模块，用于将事实表中数据的数量级扩大至预设数量级；第一存储模块，用于通过预先创建的数据表存储预设数量级的数据；第一处理模块，用于将预先创建的数据表作为第一维度表；第一更新模块，用于更新第一维度表数据。
进一步地，第一获取单元之前，装置还包括：检测模块，用于检测数据仓库中不可预估的维度表；第四获取模块，用于获取不可预估的维度表；第一创建模块，用于在不可预估的维度表创建相应的代理键列；第二创建模块，用于通过代理键列，创建第一维度表。
本发明提供的数据库维度的处理方法，通过获取数据仓库中预先创建的第一维度表；获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据；获取第二维度表中的最大数值；获取数据仓库中的最大数值；判断数据仓库中的最大数值是否大于第二维度表中的最大数值；如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新，解决了对大维度进行加载数据处理时，处理效率低的问题，进而达到了提升维度表数据处理速度的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的数据库维度的处理方法的第一实施例的流程图；
图2是根据本发明的数据库维度的处理方法的第二实施例的流程图；
图3是根据本发明的数据库维度的处理方法的第三实施例的流程图；
图4是根据本发明的数据库维度的处理装置的第一实施例的示意图；
图5是根据本发明的数据库维度的处理装置的第二实施例的示意图；以及
图6是根据本发明的数据库维度的处理装置的第三实施例的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是根据本发明的数据库维度的处理方法的第一实施例的流程图。如图1所示，该方法包括如下的步骤S101至步骤S106：
步骤S101，获取数据仓库中预先创建的第一维度表。
数据仓库，英文名称Data Warehouse，简称DW或DWH，数据仓库是为企业所有级别的决策制度过程提高支持的所有类型数据的战略。它是单个数据存储，成语分析性报告和决策支持的目的而创建，为企业提供需要业务智能来知道业务流程改进和监督时间、成本、质量和控制。
维度是指决策分析者分析数据的角度。数据仓库中的维度是主要对事实指标进行过滤和重新组织提供指导，可以对用户对事实的查询结果按照维度指标进行筛选，只允许与维度指标相关的数据返给用户。维度一般具有如下特性，可以形成一个维度体系，包括一个完整的维度体系编码，关键词以及相关的表示，可以映射到用户所需要的信息的列，在物理数据仓库中是较小的表，可以对前台用户的应用程序进行数据填充，或引用数据仓库分析。例如Product_name、Product_brand、Product_category、Product_department等，这些是常见的数据仓库中的维度。
维度表处理方式指的在SSAS在处理维度时的处理方式，对数据仓库中的维度以维度表处理方式进行处理，将数据转移至SSAS中。下次进行数据查询时，直接进入SSAS中查询，加快了查询速度。
在数据仓库中预先创建的第一维度表，获取第一维度表。
步骤S102，获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据。
SSAS中包含分析数据库，分析数据库可以对数据进行在线统计、数据在线分析、随即查询等发掘信息数据价值的工作，是数据库产品一个重要的分支。
维度表可以看作是用户来分析数据的窗口，维度表中包含事实数据表中事实记录的特性，有些特性提供描述性信息，有些特性指定如何汇总事实数据表数据，以便为分析者提供有用的信息，维度表包含帮助汇总数据的特性的层次结构。例如，包含产品信息的维度表通常包含将产品分为食品、饮料、非消费品等若干类的层次结构，这些产品中的每一类进一步多次细分，直到各产品达到最低级别。在维度表中，每个表都包含独立于其他维度表的事实特性，例如，客户维度表包含有关客户的数据。维度表中的列字段可以将信息分为不同层次的结构级。维度表包含了事实表中指定属性的相关详细信息，比如，详细的产品，客户属性，存储信息等。
在分析数据库中的第二维度表是根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据，获取分析数据库中的第二维度表。
步骤S103，获取第二维度表中的最大数值。
事实表编辑每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务。所产生的数据，事实数据表通常包含大量的行。事实数据表的主要特点是包含数字数据，并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性维度表的主键，而维度表包含事实记录的特性。事实数据表不应该包含描述性的信息，也不应该包含除数字度量字段及使事实与维度表中对应项的相关索引字段之外的任何数据。包含在事实数据表中的“度量值”有两种：一种是可以累计的度量值，另一种是非累计的度量值。最有用的度量值是可累计的度量值，其累计起来的数字是非常有意义的。用户可以通过累计度量值获得汇总信息，例如，可以汇总具体时间段内一组商店的特定商品的销售情况。非累计的度量值也可以用于事实数据表，单汇总结果一般是没有意义的，例如，在一座大厦的不同位置测量温度时，如果将大厦中所有不同位置的温度累加是没有意义的，但是求平均值是有意义的。
一般来说，一个事实数据表都要和一个或多个维度表相关联，用户在利用事实数据表创建多维数据集时，可以使用一个或多个维度表。
映射指两个元素的集之间元素相互“对应”的关系，亦指“形成对应关系”。将获取事实表中指标与第二维度表建立映射关系，通过维度表与指标建立对应关系，在第二维度中获取第二维度的最大数值，通过维度表能够相应的映射到其对应的指标数据，从而成功返回最大数值。
步骤S104，获取数据仓库中的最大数值。
通过数据仓库中维度表与指标建立对应关系，在数据仓库中获取数据仓库的最大数值，通过维度表能够相应的映射到其对应的指标数据，从而成功返回最大数值。
步骤S105，判断数据仓库中的最大数值是否大于第二维度表中的最大数值。
步骤S106，如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新。
在数据仓库中的最大数值大于第二维度表中的最大数值的情况，对第一维度表中数据进行更新处理。具体的，通过查找数据仓库中的事实表；获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据；将事实表中数据的数量级扩大至预设数量级；通过预先创建的数据表存储预设数量级的数据；将预先创建的数据表作为第一维度表。
本发明提供的数据库维度的处理方法，通过获取数据仓库中预先创建的第一维度表；获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据；获取第二维度表中的最大数值；获取数据仓库中的最大数值；判断数据仓库中的最大数值是否大于第二维度表中的最大数值；如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新，解决了对大维度进行加载数据处理时，处理效率低的问题，进而达到了提升维度表数据处理速度的效果。
本实施例一中的步骤S101，获取数据仓库中预先创建的第一维度表。之前还包括：
查找数据仓库中的事实表。
获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据。
具体地，一种实现获取事实表数据的数量级的代码如下所示：
WITH L0AS(SELECT1AS c UNION ALL SELECT1)，
L1AS(SELECT1AS c FROM L0AS A，L0AS B)，
L2AS(SELECT1AS c FROM L1AS A，L1AS B)，
L3AS(SELECT1AS c FROM L2AS A，L2AS B)，
L4AS(SELECT1AS c FROM L3AS A，L3AS B)，
L5AS(SELECT1AS c FROM L4AS A，L4AS B)，
Nums AS(SELECT ROW_NUMBER()OVER(ORDER BY c)AS num FROM L5)
SELECT MAX(num)FROM Nums
通过此操作，获取事实表中数据的数量级。
将事实表中数据的数量级扩大至预设数量级。
比如Session为1-9亿范围，则此视图提供10亿个数字，若Session为10-99亿，则提供100亿个数字。这样可以保证此视图在每个Session的数量级内保持不变，即只需要每个数量级，对此维度做一次ProcessAdd处理即可。
应该是扩展到FactSession的数量级或是更高一个数量级，具体根据各产品在生产时怎样部署决定的，即究竟是想预处理多少数据量。
通过预先创建的数据表存储预设数量级的数据。
将预先创建的数据表作为第一维度表。
图2是根据本发明的数据库维度的处理方法的第二实施例的流程图。如图2所示，该方法包括如下的步骤S201至步骤S209：
步骤S201，获取数据仓库中预先创建的第一维度表。
该步骤同上述步骤S101。
步骤S202，获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据。
该步骤同上述步骤S102。
步骤S203，查找数据仓库中的事实表。
查找数据仓库中的事实表，其中，事实表编辑每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务。所产生的数据，事实数据表通常包含大量的行。事实数据表的主要特点是包含数字数据，并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性维度表的主键，而维度表包含事实记录的特性。事实数据表不应该包含描述性的信息，也不应该包含除数字度量字段及使事实与维度表中对应项的相关索引字段之外的任何数据。包含在事实数据表中的“度量值”有两种：一种是可以累计的度量值，另一种是非累计的度量值。最有用的度量值是可累计的度量值，其累计起来的数字是非常有意义的。用户可以通过累计度量值获得汇总信息，例如，可以汇总具体时间段内一组商店的特定商品的销售情况。非累计的度量值也可以用于事实数据表，单汇总结果一般是没有意义的，例如，在一座大厦的不同位置测量温度时，如果将大厦中所有不同位置的温度累加是没有意义的，但是求平均值是有意义的。
一般来说，一个事实数据表都要和一个或多个维度表相关联，用户在利用事实数据表创建多维数据集时，可以使用一个或多个维度表。
步骤S204，获取事实表中的指标数据，其中，事实表用于存储数据仓库中所有的指标数据。
步骤S205，将第二维度表中的成员值与事实表中的指标数据建立映射关系。
映射指两个元素的集之间元素相互“对应”的关系，亦指“形成对应关系”。将获取事实表中指标与第二维度表建立映射关系。
通过维度表与指标建立对应关系，在第二维度中获取第二维度的最大数值，通过维度表能够相应的映射到其对应的指标数据，从而成功返回最大数值。
步骤S206，通过映射关系在事实表中查找第二维度表中最大成员值数据。
步骤S207，获取数据仓库中的最大数值。
该步骤同上述步骤S104。
步骤S208，判断数据仓库中的最大数值是否大于第二维度表中的最大数值。
该步骤同上述步骤S105。
步骤S209，如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新。
该步骤同上述步骤S106。
本发明提供的数据库维度的处理方法，通过获取数据仓库中预先创建的第一维度表；获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据；查找数据仓库中的事实表；获取事实表中的指标数据，其中，事实表用于存储数据仓库中所有的指标数据；将第二维度表中的成员值与事实表中的指标数据建立映射关系；通过映射关系在事实表中查找第二维度表中最大成员值数据；获取数据仓库中的最大数值；判断数据仓库中的最大数值是否大于第二维度表中的最大数值；如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新，解决了对大维度进行加载数据处理时，处理效率低的问题，进而达到了提升维度表数据处理速度的效果。
图3是根据本发明的数据库维度的处理方法的第三实施例的流程图。如图3所示，该方法包括如下的步骤S301至步骤S312：
步骤S301，获取数据仓库中预先创建的第一维度表。
该步骤同上述步骤S101。
步骤S302，获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据。
该步骤同上述步骤S102。
步骤S303，获取第二维度表中的最大数值。
该步骤同上述步骤S103。
步骤S304，获取数据仓库中的最大数值。
该步骤同上述步骤S104。
步骤S305，判断数据仓库中的最大数值是否大于第二维度表中的最大数值。
该步骤同上述步骤S105。
步骤S306，如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新。
该步骤同上述步骤S106。
步骤S307，查找数据仓库中的事实表。
步骤S308，获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据。
步骤S309，将事实表中数据的数量级扩大至预设数量级。
步骤S310，通过预先创建的数据表存储预设数量级的数据。
步骤S311，将预先创建的数据表作为第一维度表。
步骤S312，更新第一维度表数据。
本发明提供的数据库维度的处理方法，通过获取数据仓库中预先创建的第一维度表；获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据；获取第二维度表中的最大数值；获取数据仓库中的最大数值；判断数据仓库中的最大数值是否大于第二维度表中的最大数值；如果数据仓库中的最大数值大于第二维度表中的最大数值，对第一维度表中数据进行更新，查找数据仓库中的事实表；获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据；将事实表中数据的数量级扩大至预设数量级；通过预先创建的数据表存储预设数量级的数据；将预先创建的数据表作为第一维度表；更新第一维度表数据，解决了对大维度进行加载数据处理时，处理效率低的问题，进而达到了提升维度表数据处理速度的效果。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图4是根据本发明的数据库维度的处理装置的第一实施例的示意图。该装置包括：第一获取单元10、第二获取单元20、第三获取单元30、第四获取单元40、判断单元50和更新单元60。
第一获取单元10，用于获取数据仓库中预先创建的第一维度表。
第二获取单元20，用于获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据。
第三获取单元30，用于获取第二维度表中的最大数值。
第四获取单元40，用于获取数据仓库中的最大数值。
判断单元50，用于判断数据仓库中的最大数值是否大于第二维度表中的最大数值。
更新单元60，用于在数据仓库中的最大数值大于第二维度表中的最大数值的情况下，对第一维度表中数据进行更新。
本发明提供的数据库维度的处理装置，通过第一获取单元10获取数据仓库中预先创建的第一维度表；第二获取单元20获取分析数据库中创建的第二维度表，其中，第二维度表用于根据第一维度表进行更新以存储与第一维度表中存储的数据相同的数据；第三获取单元30获取第二维度表中的最大数值；第四获取单元40获取数据仓库中的最大数值；判断单元50判断数据仓库中的最大数值是否大于第二维度表中的最大数值；更新单元60在数据仓库中的最大数值大于第二维度表中的最大数值情况下，对第一维度表中数据进行更新，解决了对大维度进行加载数据处理时，处理效率低的问题，进而达到了提升维度表数据处理速度的效果。
图5是根据本发明的数据库维度的处理装置的第二实施例的示意图。该装置包括：第一获取单元10、第二获取单元20、第三获取单元30、第四获取单元40、判断单元50和更新单元60。其中第三获取单元30包括：第二查找模块301、第二获取模块302、建立模块303和第三查找模块304。
第一获取单元10、第二获取单元20、第三获取单元30、第四获取单元40、判断单元50和更新单元60的作用与上述实施例中作用相同，在此不再赘述。
第二查找模块301，用于查找数据仓库中的事实表。
第二获取模块302，用于获取事实表中的指标数据，其中，事实表用于存储数据仓库中所有的指标数据。
建立模块303，用于将第二维度表中的成员值与事实表中的指标数据建立映射关系。
第三查找模块304，用于通过映射关系在事实表中查找第二维度表中最大成员值数据。
图6是根据本发明的数据库维度的处理装置的第三实施例的示意图。该装置包括：第一获取单元10、第二获取单元20、第三获取单元30、第四获取单元40、判断单元50和更新单元60。其中，更新单元60包括：第三查找模块601、第三获取模块602、第二扩大模块603、第一存储模块604、第一处理模块605和第一更新模块606。
第一获取单元10、第二获取单元20、第三获取单元30、第四获取单元40、判断单元50和更新单元60的作用与上述实施例中作用相同，在此不再赘述。
第三查找模块601，用于查找数据仓库中的事实表。
第三获取模块602，用于获取事实表中数据的数量级，其中，事实表用于存储数据仓库中所有的指标数据。
第二扩大模块603，用于将事实表中数据的数量级扩大至预设数量级。
第一存储模块604，用于通过预先创建的数据表存储预设数量级的数据。
第一处理模块605，用于将预先创建的数据表作为第一维度表。
第一更新模块606，用于更新第一维度表数据。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据库维度的处理方法，其特征在于，包括：
获取数据仓库中预先创建的第一维度表，其中，所述第一维度表中存储的数据的数量级大于所述数据仓库中事实表中数据的数量级；
获取分析数据库中创建的第二维度表，其中，所述第二维度表用于根据所述第一维度表进行更新以存储与所述第一维度表中存储的数据相同的数据；
获取所述第二维度表中的最大数值；
获取所述数据仓库中的最大数值；
判断所述数据仓库中的最大数值是否大于所述第二维度表中的最大数值；以及
如果所述数据仓库中的最大数值大于所述第二维度表中的最大数值，对所述第一维度表中数据进行更新。
2.根据权利要求1所述的方法，其特征在于，获取数据仓库中预先创建的第一维度表包括：
查找所述数据仓库中的事实表；
获取所述事实表中数据的数量级，其中，所述事实表用于存储所述数据仓库中所有的指标数据；
将所述事实表中数据的数量级扩大至预设数量级；
通过预先创建的数据表存储所述预设数量级的数据；以及
将所述预先创建的数据表作为所述第一维度表。
3.根据权利要求1所述的方法，其特征在于，获取所述第二维度表中的最大数值包括：
查找所述数据仓库中的事实表；
获取所述事实表中的指标数据，其中，所述事实表用于存储所述数据仓库中所有的指标数据；
将所述第二维度表中的成员值与所述事实表中的指标数据建立映射关系；以及
通过所述映射关系在所述事实表中查找所述第二维度表中最大成员值数据。
4.根据权利要求1所述的方法，其特征在于，如果所述数据仓库中的最大数值大于所述第二维度表中的最大数值，对所述第一维度表中数据进行更新包括：
查找所述数据仓库中的事实表；
获取所述事实表中数据的数量级，其中，所述事实表用于存储所述数据仓库中所有的指标数据；
将所述事实表中数据的数量级扩大至预设数量级；
通过预先创建的数据表存储所述预设数量级的数据；
将所述预先创建的数据表作为所述第一维度表；以及
更新所述第一维度表数据。
5.根据权利要求1所述的方法，其特征在于，获取数据仓库中预先创建的第一维度表之前，所述方法还包括：
检测所述数据仓库中不可预估的维度表；
获取所述不可预估的维度表；
在所述不可预估的维度表创建相应的代理键列；以及
通过所述代理键列，创建所述第一维度表。
6.一种数据库维度的处理装置，其特征在于，包括：
第一获取单元，用于获取数据仓库中预先创建的第一维度表，其中，所述第一维度表中存储的数据的数量级大于所述数据仓库中事实表中数据的数量级；
第二获取单元，用于获取分析数据库中创建的第二维度表，其中，所述第二维度表用于根据所述第一维度表进行更新以存储与所述第一维度表中存储的数据相同的数据；
第三获取单元，用于获取所述第二维度表中的最大数值；
第四获取单元，用于获取所述数据仓库中的最大数值；
判断单元，用于判断所述数据仓库中的最大数值是否大于所述第二维度表中的最大数值；以及
更新单元，用于在所述数据仓库中的最大数值大于所述第二维度表中的最大数值的情况下，对所述第一维度表中数据进行更新。
7.根据权利要求6所述的装置，其特征在于，所述第一获取单元包括：
第一查找模块，用于查找所述数据仓库中的事实表；
第一获取模块，用于获取所述事实表中数据的数量级，其中，所述事实表用于存储所述数据仓库中所有的指标数据；
第一扩大模块，用于将所述事实表中数据的数量级扩大至预设数量级；
第一存储模块，用于通过预先创建的数据表存储所述预设数量级的数据；以及
第一处理模块，用于将所述预先创建的数据表作为所述第一维度表。
8.根据权利要求6所述的装置，其特征在于，所述第三获取单元包括：
第二查找模块，用于查找所述数据仓库中的事实表；
第二获取模块，用于获取所述事实表中的指标数据，其中，所述事实表用于存储所述数据仓库中所有的指标数据；
建立模块，用于将所述第二维度表中的成员值与所述事实表中的指标数据建立映射关系；以及
第三查找模块，用于通过所述映射关系在所述事实表中查找所述第二维度表中最大成员值数据。
9.根据权利要求6所述的装置，其特征在于，所述更新单元包括：
第三查找模块，用于查找所述数据仓库中的事实表；
第三获取模块，用于获取所述事实表中数据的数量级，其中，所述事实表用于存储所述数据仓库中所有的指标数据；
第二扩大模块，用于将所述事实表中数据的数量级扩大至预设数量级；
第一存储模块，用于通过预先创建的数据表存储所述预设数量级的数据；
第一处理模块，用于将所述预先创建的数据表作为所述第一维度表；以及
第一更新模块，用于更新所述第一维度表数据。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
检测模块，用于检测所述数据仓库中不可预估的维度表；
第四获取模块，用于获取所述不可预估的维度表；
第一创建模块，用于在所述不可预估的维度表创建相应的代理键列；以及
第二创建模块，用于通过所述代理键列，创建所述第一维度表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410510719.XA CN104217032B (zh) | 2014-09-28 | 2014-09-28 | 数据库维度的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410510719.XA CN104217032B (zh) | 2014-09-28 | 2014-09-28 | 数据库维度的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104217032A CN104217032A (zh) | 2014-12-17 |
| CN104217032B true CN104217032B (zh) | 2017-10-03 |
Family
ID=52098521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410510719.XA Active CN104217032B (zh) | 2014-09-28 | 2014-09-28 | 数据库维度的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104217032B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897303B (zh) * | 2015-12-18 | 2020-09-15 | 北京国双科技有限公司 | 数据查询方法及装置 |
| CN109062992A (zh) * | 2018-07-03 | 2018-12-21 | 深圳市前海数据服务有限公司 | 一种经济数据分析方法及系统 |
| CN115455149B (zh) * | 2022-09-20 | 2023-05-30 | 城云科技（中国）有限公司 | 基于编码查询方式的数据库构建方法及其应用 |
| CN116431736B (zh) * | 2023-02-06 | 2023-10-20 | 北京三维天地科技股份有限公司 | 一种在线数据仓库模型的构建方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2425033A1 (en) * | 2003-04-08 | 2004-10-08 | Ibm Canada Limited - Ibm Canada Limitee | Multi-level locking hierarchy in a database with multi-dimensional clustering |
| CN1774711A (zh) * | 2003-04-18 | 2006-05-17 | 国际商业机器公司 | 管理递归可缩放模板实例中的删除操作的数据表中的系统和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7185279B2 (en) * | 2000-01-07 | 2007-02-27 | Master Mine Software, Inc. | Data mining and reporting |
| US20050278281A1 (en) * | 2004-05-28 | 2005-12-15 | Samson Frederick E | Multi-dimensional data editor |
-
2014
- 2014-09-28 CN CN201410510719.XA patent/CN104217032B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2425033A1 (en) * | 2003-04-08 | 2004-10-08 | Ibm Canada Limited - Ibm Canada Limitee | Multi-level locking hierarchy in a database with multi-dimensional clustering |
| CN1774711A (zh) * | 2003-04-18 | 2006-05-17 | 国际商业机器公司 | 管理递归可缩放模板实例中的删除操作的数据表中的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104217032A (zh) | 2014-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8868535B1 (en) | Search engine optimizer | |
| EP2924594B1 (en) | Data encoding and corresponding data structure in a column-store database | |
| Hong et al. | Large-scale order batching in parallel-aisle picking systems | |
| CN102855309B (zh) | 一种基于用户行为关联分析的信息推荐方法及装置 | |
| US11200223B2 (en) | System and method for dependency analysis in a multidimensional database environment | |
| CN104217032B (zh) | 数据库维度的处理方法及装置 | |
| US8805767B1 (en) | Machine learning memory management and distributed rule evaluation | |
| EP3217296A1 (en) | Data query method and apparatus | |
| Catak et al. | Fuzzy analytic hierarchy based DBMS selection in Turkish national identity card management project | |
| CN104182544B (zh) | 分析数据库的维度剖析方法及装置 | |
| Lin et al. | Integer nonlinear programming and optimized weighted-average approach for mobile hotel recommendation by considering travelers’ unknown preferences | |
| CN104182546B (zh) | 数据库的数据查询方法及装置 | |
| Kvet et al. | Concept of temporal data retrieval: Undefined value management | |
| US9875278B2 (en) | Modified data query function instantiations | |
| US20210004360A1 (en) | Indexing structured data with security information | |
| CN104462480B (zh) | 基于典型性的评论大数据挖掘方法 | |
| Singh et al. | Nonreplicated Static Data Allocation in Distributed Databases Using Biogeography‐Based Optimization | |
| Alwahaishi et al. | Analysis of the dblp publication classification using concept lattices | |
| Barquero et al. | Trading Accuracy for Performance in Data Processing Applications. | |
| Wenwen | [Retracted] Building an Urban Smart Community System Based on Association Rule Algorithms | |
| KR20180119104A (ko) | 무정형 빅데이터의 개인정보 비식별화 처리 방법 | |
| WO2021024966A1 (ja) | 企業類似度算出サーバ及び企業類似度算出方法 | |
| Martinez-Llario et al. | Improving dissolve spatial operations in a simple feature model | |
| Kakkar et al. | Interactive analysis of big geospatial data with high‐performance computing: A case study of partisan segregation in the United States | |
| Drakopoulos et al. | Comparing algorithmic principles for fuzzy graph communities over Neo4j |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and device for processing database dimensions Effective date of registration: 20190531 Granted publication date: 20171003 Pledgee: Shenzhen Black Horse World Investment Consulting Co.,Ltd. Pledgor: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Registration number: 2019990000503 |
|
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Patentee after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Patentee before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| PP01 | Preservation of patent right |
Effective date of registration: 20240604 Granted publication date: 20171003 |