CN108268536A - 数据库聚合处理方法及装置 - Google Patents

数据库聚合处理方法及装置 Download PDF

Info

Publication number
CN108268536A
CN108268536A CN201611265816.2A CN201611265816A CN108268536A CN 108268536 A CN108268536 A CN 108268536A CN 201611265816 A CN201611265816 A CN 201611265816A CN 108268536 A CN108268536 A CN 108268536A
Authority
CN
China
Prior art keywords
index
dimension
equivalent
inquiry
querying condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611265816.2A
Other languages
English (en)
Inventor
洪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201611265816.2A priority Critical patent/CN108268536A/zh
Publication of CN108268536A publication Critical patent/CN108268536A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据库聚合处理方法及装置。该方法包括:获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件;查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表;根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表;以及使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。通过本申请,解决了相关技术中在数据库中进行数据查询时引起表连接开销,影响查询效率的问题。

Description

数据库聚合处理方法及装置
技术领域
本申请涉及数据库查询技术领域,具体而言,涉及一种数据库聚合处理方法及装置。
背景技术
在现有产品中,许多数据会记录在前端的原始的数据表中,因此导致原始的数据表太大。当在原始的数据表中进行数据查询时,会导致性能开销较大、查询过程缓慢,查询效率较低。为加速前端的数据查询,通常会通过预聚合表来进行加速。然而当使用这些预聚合表上的指标时,是需要将预聚合表上的所有内部指标呈现给前端,前端调用者需要根据原始数据库中的指标从预聚合表上的所有内部指标中选择指标,然后根据原始数据库中的指标可能会引入一些额外的预聚合表,从而造成更多的表连接开销。
针对相关技术中在数据库中进行数据查询时引起表连接开销,影响查询效率的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据库聚合处理方法及装置,以解决相关技术中在数据库中进行数据查询时引起表连接开销,影响查询效率的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种数据库聚合处理方法。该方法包括:获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件;查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表;根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表,其中,目标聚合表中包括:查询条件中的所有指标对应的等值指标以及查询条件中的维度;以及使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
进一步地,在未查找到目标聚合表的情况下,该方法还包括:对于每个指标查找对应的等值指标;对于查找到的等值指标,判断等值指标所在的聚合表中是否包括查询条件中的维度;在判断结果为是的情况下,使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
进一步地,在查询条件中一个指标对应多个等值指标的情况下,使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询包括:从多个等值指标中选择等值指标所在的聚合表数据量开销最小的等值指标;使用等值指标和维度在数据量开销最小的聚合表中进行查询。
进一步地,在查询条件中一个指标对应多个等值指标的情况下,使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询包括:将多个等值指标所在的聚合表按照数据量开销从小到大进行排序;从数据量开销最小的聚合表开始判断是否包括查询条件的维度,在判断结果为是的情况下,在数据量开销最小的聚合表中进行查询;在判断结果为否的情况下,依次再判断下一个聚合表中是否包括查询条件中的维度。
进一步地,指标对应的等值指标为预先配置的,等值指标与其对应的指标相等。
进一步地,在目标聚合表为多个的情况下,使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询包括:从多个目标聚合表中选择数据量开销最小的聚合表;使用等值指标和维度在数据量开销最小的聚合表中进行查询。
进一步地,目标聚合表的预定粒度的数据记录行中添加了预定粒度下层粒度数据的汇总列。
为了实现上述目的,根据本申请的另一方面,提供了一种数据库聚合处理装置。该装置包括:获取单元,用于获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件;第一查找单元,用于查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表,第二查找单元,用于根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表,其中,目标聚合表中包括:查询条件中的所有指标对应的等值指标以及查询条件中的维度;以及第一查询单元,用于使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
进一步地,该装置还包括:判断单元,用于在未查找到所述目标聚合表的情况下,对于查找到的等值指标,判断所述等值指标所在的聚合表中是否包括所述查询条件中的维度;第二查询单元,用于在判断结果为是的情况下,使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
进一步地,第二查询单元包括:选择模块,用于在查询条件中一个指标对应多个等值指标的情况下,从多个等值指标中选择等值指标所在的聚合表数据量开销最小的等值指标;查询模块,用于使用等值指标和维度在数据量开销最小的聚合表中进行查询。
通过本申请,采用以下步骤:获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件;查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表;根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表,其中,目标聚合表中包括:查询条件中的所有指标对应的等值指标以及查询条件中的维度;以及使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果,解决了相关技术中在数据库中进行数据查询时引起表连接开销,影响查询效率的问题。通过查找包括查询条件中的所有指标对应的等值指标以及查询条件中的维度的目标聚合表,在目标聚合表进行查询,从而避免了表连接的性能开销,进而达到了提升在数据库中进行数据查询效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的数据库聚合处理方法的流程图;以及
图2是根据本申请实施例提供的数据库聚合处理装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请的实施例,提供了一种数据库聚合处理方法。
图1是根据本申请实施例的数据库聚合处理方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件。
例如,获取到的用于查询数据库的查询条件为第一季度对产品A的订单量和访问量,第一季度和产品A作为限制查询内容的限制条件,订单量和访问量作为查询的内容。也即,维度为第一季度和产品A,指标为订单量和访问量。
步骤S102,查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表。
查询条件中每个指标为原始的数据表中的指标,等值指标为聚合表中的指标。查找查询条件中每个指标对应的等值指标,例如,查找在查询条件中的订单量对应的等值指标。
可选地,在本申请实施例提供的数据库聚合处理方法中,指标对应的等值指标为预先配置的,等值指标与其对应的指标相等。也即,通过查询条件中的指标在原始的数据表中进行查询与采用其对应的等值指标在聚合表中进行查询,返回查询后得到的结果是相同的。通过等价指标的动态替换的方法,查找查询条件中每个指标对应的等值指标。
需要说明的是,在本申请中的聚合表为对原始的数据表按照预设条件进行聚合得到的表。例如,聚合表只包含有限的维度列和指标,因此使得在聚合表中的数据查询效率更快。
步骤S103,根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表。
需要说明的是,目标聚合表中包括:查询条件中的所有指标对应的等值指标以及查询条件中的所有维度。
为了避免在数据库中进行数据查询时引起表连接的性能开销,在本申请中,获取包括查询条件中的所有指标对应的等值指标以及查询条件中的所有维度的目标聚合表。
步骤S104,使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
由于目标聚合表包括查询条件中的所有指标对应的等值指标以及查询条件中的维度,因此,在目标聚合表进行查询即可,因此,避免了在根据查询条件中的所有指标对应的等值指标以及查询条件中的维度进行查询时会引起多张数据表连接,在多张数据表中进行查询效率较低的问题。
可选地,在本申请实施例提供的数据库聚合处理方法中,在未查找到目标聚合表的情况下,该方法还包括:对于查找到的等值指标,判断等值指标所在的聚合表中是否包括查询条件中的维度;在判断结果为是的情况下,使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
在未查找到目标聚合表的情况下,对每个指标查找对应的等值指标,对于查找到的等值指标,判断等值指标所在的聚合表中是否包括查询条件中的维度,例如,查找到在查询条件中的订单量对应的等值指标,判断订单量对应的等值指标所在的聚合表中是否包括查询条件中的维度(也即,第一季度和产品A)。如果订单量对应的等值指标所在的聚合表中包括查询条件中的第一季度和产品A,使用订单量对应的等值指标和维度在聚合表中进行查询,并返回查询后得到的结果。
由于在本申请中的聚合表为对原始的数据表按照预设条件进行聚合得到的表。聚合表只包含有限的维度列和指标,因此使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询,数据查询效率更快。
可选地,在本申请实施例提供的数据库聚合处理方法中,在查询条件中一个指标对应多个等值指标的情况下,使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询包括:从多个等值指标中选择等值指标所在的聚合表数据量开销最小的等值指标;使用等值指标和维度在数据量开销最小的聚合表中进行查询。
例如,在订单量(查询条件中的某个指标)对应的多个等值指标的情况下,从订单量对应的多个等值指标中选择等值指标所在的聚合表数据量开销最小的等值指标,以及使用订单量对应的等值指标和维度在数据量开销最小的聚合表中进行查询。
可选地,在本申请实施例提供的数据库聚合处理方法中,在查询条件中一个指标对应多个等值指标的情况下,使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询包括:将多个等值指标所在的聚合表按照数据量开销从小到大进行排序;从数据量开销最小的聚合表开始判断是否包括查询条件的维度,在判断结果为是的情况下,在数据量开销最小的聚合表中进行查询;在判断结果为否的情况下,依次再判断下一个聚合表中是否包括查询条件中的维度。
例如,在订单量对应的多个等值指标的情况下,根据多个等值指标所在的聚合表按照数据量开销,选择数据量开销最小的聚合表,从数据量开销最小的聚合表开始判断是否包括查询条件的维度(也即,第一季度和产品A),在数据量开销最小的聚合表包括查询条件的第一季度和产品A的情况下,在数据量开销最小的聚合表中进行查询。如果数据量开销最小的聚合表不包括查询条件的第一季度和产品A,依次再判断下一个聚合表中是否包括查询条件中的第一季度和产品A,直到确定某个聚合表中包括查询条件中的第一季度和产品A的情况下,在该聚合表中进行查询。
通过从开销最小的预聚合表上进行数据查询,保证查询效果的同时也达到加速数据查询的效果。
可选地,在本申请实施例提供的数据库聚合处理方法中,在目标聚合表为多个的情况下,使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询包括:从多个目标聚合表中选择数据量开销最小的聚合表;使用等值指标和维度在数据量开销最小的聚合表中进行查询。
在目标聚合表为多个的情况下,从多个目标聚合表中选择数据量开销最小的聚合表;使用等值指标和维度在数据量开销最小的聚合表中进行查询,保证查询效果的同时也达到加速数据查询的效果。
可选地,在本申请实施例提供的数据库聚合处理方法中,目标聚合表的预定粒度的数据记录行中添加了预定粒度下层粒度数据的汇总列。
在本申请中的目标聚合表可以具有几个数据粒度级别,类似于访客,会话,页面浏览(一个访客可以有多个会话,一个会话又有多个页面浏览,这样就有不同的粒度,且不同粒度可以进行表连接,即为雪花型),在预定粒度上面添加统计字段,例如在访客的数据记录行里,添加其对应的会话数汇总列,页面浏览数汇总列,分别可以用于计算会话数和页面浏览数这两个指标。
针对在预定粒度的目标聚合表上添加其下层更细粒度的所有可累加的指标列聚合而得到的数据列,在查询层的元数据配置里,将这些新增加的数据列进行等值指标的配置。
通过在预定粒度的粒度表上添加更细粒度的所有可能或经常被查询到的指标聚合列,以达到减少表连接的目的,在查询层做等值指标替换前,优先判断是否可以从一张开销最小的表上面查询到所有的指标,并且该表有相关的维度列,以此达到减少表查询数量,减少表连接开销的效果。
本申请实施例提供的数据库聚合处理方法,通过获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件;查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表;根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表,其中,目标聚合表中包括:查询条件中的所有指标对应的等值指标以及查询条件中的维度;以及使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果,解决了相关技术中在数据库中进行数据查询时引起表连接开销,影响查询效率的问题。通过查找包括查询条件中的所有指标对应的等值指标以及查询条件中的维度的目标聚合表,在目标聚合表进行查询,从而避免了表连接的性能开销,进而达到了提升在数据库中进行数据查询效率的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据库聚合处理装置,需要说明的是,本申请实施例的数据库聚合处理装置可以用于执行本申请实施例所提供的用于数据库聚合处理方法。以下对本申请实施例提供的数据库聚合处理装置进行介绍。
图2是根据本申请实施例的数据库聚合处理装置的示意图。如图2所示,该装置包括:获取单元10、第一查找单元20、第二查找单元30和第一查询单元40。
获取单元10,用于获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件。
第一查找单元20,用于查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表。
第二查找单元30,用于根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表,其中,目标聚合表中包括:查询条件中的所有指标对应的等值指标以及查询条件中的维度。
第一查询单元40,用于使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
本申请实施例提供的数据库聚合处理装置,通过获取单元10获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件;第一查找单元20查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表;第二查找单元30根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表,其中,目标聚合表中包括:查询条件中的所有指标对应的等值指标以及查询条件中的维度;第一查询单元40使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果,解决了相关技术中在数据库中进行数据查询时引起表连接开销,影响查询效率的问题,通过第二查找单元30查找包括查询条件中的所有指标对应的等值指标以及查询条件中的维度的目标聚合表,第一查询单元40在目标聚合表进行查询,从而避免了表连接的性能开销,进而达到了提升在数据库中进行数据查询效率的效果。
可选地,在本申请实施例提供的数据库聚合处理装置中,该装置还包括:判断单元,用于在未查找到所述目标聚合表的情况下,对于查找到的等值指标,判断所述等值指标所在的聚合表中是否包括所述查询条件中的维度;第二查询单元,用于在判断结果为是的情况下,使用每个指标对应的等值指标和维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
可选地,在本申请实施例提供的数据库聚合处理装置中,第二查询单元包括:选择模块,用于在查询条件中一个指标对应多个等值指标的情况下,从多个等值指标中选择等值指标所在的聚合表数据量开销最小的等值指标;查询模块,用于使用等值指标和维度在数据量开销最小的聚合表中进行查询。
所述数据库聚合处理装置包括处理器和存储器,上述获取单元10、第一查找单元20、第二查找单元30和第一查询单元40等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元实现相应功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数处理数据库聚合。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品的实施例,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:获取用于查询数据库的查询条件中的维度和指标,其中,指标为查询的内容,维度为限制查询内容的限制条件;查找查询条件中的每个指标对应的等值指标,其中,等值指标为聚合表中的指标,聚合表为对原始的数据表进行聚合得到的表;根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表,其中,目标聚合表中包括:查询条件中的所有指标对应的等值指标以及查询条件中的维度;以及使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据库聚合处理方法,其特征在于,包括:
获取用于查询数据库的查询条件中的维度和指标,其中,所述指标为查询的内容,所述维度为限制查询内容的限制条件;
查找所述查询条件中的每个指标对应的等值指标,其中,所述等值指标为聚合表中的指标,所述聚合表为对原始的数据表进行聚合得到的表;
根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表;以及
使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
2.根据权利要求1所述的方法,其特征在于,在未查找到所述目标聚合表的情况下,所述方法还包括:
对于查找到的等值指标,判断所述等值指标所在的聚合表中是否包括所述查询条件中的维度;
在判断结果为是的情况下,使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
3.根据权利要求2所述的方法,其特征在于,在所述查询条件中一个指标对应多个等值指标的情况下,使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询包括:
从所述多个等值指标中选择等值指标所在的聚合表数据量开销最小的等值指标;
使用所述等值指标和所述维度在所述数据量开销最小的聚合表中进行查询。
4.根据权利要求2所述的方法,其特征在于,在所述查询条件中一个指标对应多个等值指标的情况下,使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询包括:
将所述多个等值指标所在的聚合表按照数据量开销从小到大进行排序;
从所述数据量开销最小的聚合表开始判断是否包括所述查询条件的维度,在判断结果为是的情况下,在所述数据量开销最小的聚合表中进行查询;
在判断结果为否的情况下,依次再判断下一个聚合表中是否包括所述查询条件中的维度。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述指标对应的等值指标为预先配置的,所述等值指标与其对应的指标相等。
6.根据权利要求1至4中任一项所述的方法,其特征在于,在所述目标聚合表为多个的情况下,使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询包括:
从多个所述目标聚合表中选择数据量开销最小的聚合表;
使用所述等值指标和所述维度在所述数据量开销最小的聚合表中进行查询。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述目标聚合表的预定粒度的数据记录行中添加了所述预定粒度下层粒度数据的汇总列。
8.一种数据库聚合处理装置,其特征在于,包括:
获取单元,用于获取用于查询数据库的查询条件中的维度和指标,其中,所述指标为查询的内容,所述维度为限制查询内容的限制条件;
第一查找单元,用于查找所述查询条件中的每个指标对应的等值指标,其中,所述等值指标为聚合表中的指标,所述聚合表为对原始的数据表进行聚合得到的表,所述指标为所述原始的数据表中的指标;
第二查找单元,用于根据所述每个指标对应的等值指标以及所述维度,查找目标聚合表,其中,所述目标聚合表中包括:所述查询条件中的所有指标对应的等值指标以及所述查询条件中的维度;以及
第一查询单元,用于使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
判断单元,用于在未查找到所述目标聚合表的情况下,对于查找到的等值指标,判断所述等值指标所在的聚合表中是否包括所述查询条件中的维度;
第二查询单元,用于在判断结果为是的情况下,使用所述每个指标对应的等值指标和所述维度在所述目标聚合表中进行查询,并返回查询后得到的结果。
10.根据权利要求9所述的装置,其特征在于,所述第二查询单元包括:
选择模块,用于在所述查询条件中一个指标对应多个等值指标的情况下,从所述多个等值指标中选择等值指标所在的聚合表数据量开销最小的等值指标;
查询模块,用于使用所述等值指标和所述维度在所述数据量开销最小的聚合表中进行查询。
CN201611265816.2A 2016-12-30 2016-12-30 数据库聚合处理方法及装置 Pending CN108268536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611265816.2A CN108268536A (zh) 2016-12-30 2016-12-30 数据库聚合处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611265816.2A CN108268536A (zh) 2016-12-30 2016-12-30 数据库聚合处理方法及装置

Publications (1)

Publication Number Publication Date
CN108268536A true CN108268536A (zh) 2018-07-10

Family

ID=62771163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611265816.2A Pending CN108268536A (zh) 2016-12-30 2016-12-30 数据库聚合处理方法及装置

Country Status (1)

Country Link
CN (1) CN108268536A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955654A (zh) * 2018-09-26 2020-04-03 北京国双科技有限公司 多维度的指标计算方法及装置
CN113742341A (zh) * 2021-08-25 2021-12-03 杭州安恒信息技术股份有限公司 时序数据聚合方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011140770A1 (zh) * 2010-05-11 2011-11-17 中兴通讯股份有限公司 报表处理方法、装置及web服务器
CN102521374A (zh) * 2011-12-20 2012-06-27 南京捷梭软件科技有限公司 基于关系型联机分析处理的智能数据聚集方法及其系统
CN102682118A (zh) * 2012-05-15 2012-09-19 北京久其软件股份有限公司 一种多维数据模型访问方法及装置
CN103927346A (zh) * 2014-03-28 2014-07-16 浙江大学 基于数据量的查询连接方法
CN105138686A (zh) * 2015-09-17 2015-12-09 国家电网公司 一种用于多级存储数据的即时应用方法
CN105243162A (zh) * 2015-10-30 2016-01-13 方正国际软件有限公司 基于关系型数据库存储的对象化数据模型查询方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011140770A1 (zh) * 2010-05-11 2011-11-17 中兴通讯股份有限公司 报表处理方法、装置及web服务器
CN102521374A (zh) * 2011-12-20 2012-06-27 南京捷梭软件科技有限公司 基于关系型联机分析处理的智能数据聚集方法及其系统
CN102682118A (zh) * 2012-05-15 2012-09-19 北京久其软件股份有限公司 一种多维数据模型访问方法及装置
CN103927346A (zh) * 2014-03-28 2014-07-16 浙江大学 基于数据量的查询连接方法
CN105138686A (zh) * 2015-09-17 2015-12-09 国家电网公司 一种用于多级存储数据的即时应用方法
CN105243162A (zh) * 2015-10-30 2016-01-13 方正国际软件有限公司 基于关系型数据库存储的对象化数据模型查询方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
大圆那些事: "Mondrian中聚合表的应用", 《HTTPS://WWW.CNBLOGS.COM/PANFENG412/ARCHIVE/2012/03/25/MONDRIAN-AGGREGATE-TABLE.HTML》 *
胡雅颖 等: ""基于物化视图的查询系统研究与实现"", 《计算机工程与科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955654A (zh) * 2018-09-26 2020-04-03 北京国双科技有限公司 多维度的指标计算方法及装置
CN110955654B (zh) * 2018-09-26 2023-10-31 北京国双科技有限公司 多维度的指标计算方法及装置
CN113742341A (zh) * 2021-08-25 2021-12-03 杭州安恒信息技术股份有限公司 时序数据聚合方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN104580027B (zh) 一种OpenFlow报文转发方法及设备
US20180239800A1 (en) Data query method and apparatus
CN104217031B (zh) 一种根据服务器搜索日志数据进行用户分类的方法和装置
CN105989373B (zh) 利用训练模型实现的获取设备指纹方法及装置
CN105528407B (zh) 一种获取l个具有最佳传播影响力用户的方法和装置
EP2732416A2 (en) System and method for advertisement placement
CN104408640B (zh) 应用软件推荐方法及装置
CN102298650B (zh) 一种海量数字信息的分布式推荐方法
CN104268295A (zh) 一种数据查询方法及装置
CN106850750A (zh) 一种实时推送信息的方法和装置
CN108268523A (zh) 数据库聚合处理方法及装置
CN107832444A (zh) 基于搜索日志的事件发现方法及装置
CN110276060A (zh) 数据处理的方法以及装置
CN110532273A (zh) 数据表的处理方法及装置、存储介质、电子装置
CN108241692A (zh) 数据的查询方法及装置
CN109885651A (zh) 一种问题推送方法和装置
CN108268536A (zh) 数据库聚合处理方法及装置
CN106126544A (zh) 一种互联网内容的投放方法及装置
CN104253754B (zh) 一种acl快速匹配的方法和设备
CN109783678B (zh) 一种图像搜索的方法及装置
CN108154024A (zh) 一种数据检索方法、装置及电子设备
CN103810210B (zh) 搜索结果显示方法及装置
TWI313983B (en) A method for processing multiple continuous top-k queries
CN104125146B (zh) 一种业务处理方法及装置
CN105589873B (zh) 数据搜索方法、终端及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180710