CN108052522B - 一种对olap预计算模型进行动态优化的方法及系统 - Google Patents

一种对olap预计算模型进行动态优化的方法及系统 Download PDF

Info

Publication number
CN108052522B
CN108052522B CN201711065734.8A CN201711065734A CN108052522B CN 108052522 B CN108052522 B CN 108052522B CN 201711065734 A CN201711065734 A CN 201711065734A CN 108052522 B CN108052522 B CN 108052522B
Authority
CN
China
Prior art keywords
query
new
information
calculation model
query information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711065734.8A
Other languages
English (en)
Other versions
CN108052522A (zh
Inventor
史少峰
韩卿
刘凯歌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kyligence Information Technology Co ltd
Original Assignee
Shanghai Kyligence Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kyligence Information Technology Co ltd filed Critical Shanghai Kyligence Information Technology Co ltd
Priority to CN201711065734.8A priority Critical patent/CN108052522B/zh
Publication of CN108052522A publication Critical patent/CN108052522A/zh
Application granted granted Critical
Publication of CN108052522B publication Critical patent/CN108052522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种对OLAP预计算模型进行动态优化的方法及系统，该方法包括：接收用户输入的查询语句；分析查询语句中使用的查询信息；根据预定义引擎规则，从特征查询信息中查找出当前OLAP预计算模型不支持的特征查询信息，将不支持的特征查询信息转换成新的虚拟查询信息；将新的虚拟查询信息添加到原始查询表中，形成新的查询表；根据新的查询表和新的虚拟查询信息，创建新的OLAP预计算模型。还涉及一种系统，还系统包括：查询统计分析器、模型优化器、规则引擎库、统计数据库。通过本发明创建新的OLAP预计算模型，这样可以提升查询效率，减少存储空间，对用户透明，且更高效地应对大数据上灵活复杂的分析场景。

Description

一种对OLAP预计算模型进行动态优化的方法及系统
技术领域
本发明属于OLAP预计算领域，尤其涉及一种对OLAP预计算模型进行动态优化的方法及系统。
背景技术
在现有的OLAP解决方案中，为了更加快速地对选定维度进行分析，会对OLAPCube进行物化，即提前通过预计算将OLAPCube上每个节点的度量进行聚合，并把结果保存起来。当业务分析人员执行查询时，系统可以直接对预计算结果进行返回。把O(N)级别的聚合运算转化成O(1)的结果查询。
但是，在遇到所需要分析的内容无法从这些已知的维度直接获取时，分析结果便不能根据OLAPCube的方式进行预先计算了。比如我们假设time这个维度记录的是订单生成的详细日期，分析订单时我们需要对比分析每个月的不同周的销售情况，那么在查询时我们就要对该time维度进行逻辑计算，获取该日期在当月的第几周内。由于预计算是在日期这个粒度上进行的，所以我们在查询时，需要先将之前在日期粒度上计算的结果查出，然后再根据日期计算出的周数进行汇总。这是基于预计算的OLAP技术方案在处理包含业务逻辑计算的复杂查询时的常见问题。无法对业务逻辑进行预先计算，在查询时，还需要在数据立方体上进行再次扫描，实时的对业务逻辑进行二次计算，这大大降低了查询效率。
目前大多是通过创建视图或者抽取、转换、加载(ETL)等方式将包含业务逻辑的计算变换成一个或者多个列，预计算时使用转换后的列作为预计算的维度，充分利用预计算的优势，达到提高查询效率的目的。
但是这样的方式会导致由于原始业务逻辑已经通过创建视图或者ETL转换成新的列，当与客户端集成时，对应的查询语句也需要发生变化，查询需要被改写成使用新创建的列的查询，而非原始查询。这对于使用工具生成查询语句的系统来说，集成的成本非常高，需要对工具进行二次开发或者改写。对于使用第三方商业软件进行查询的系统来说，甚至是无法集成。
通常来说，业务逻辑是会发生变化的。当业务逻辑发生变化时，通过创建视图或者ETL转换的列也要进行一定的改动。这势必会使得视图会被频繁的改写，或者ETL的实现代码不断的被修改。该技术方案并不能灵活应对业务逻辑的变化，带来了较高的维护成本。
另外，在提高查询效率的同时也需要消耗成本，因此并不是预先计算的内容越多越好。通常来说，我们对那些频繁被查询到的内容才进行预计算。那么对于使用创建视图和ETL转换的方案来说，难以正确区分频繁查询到的内容与偶尔查询的内容，无法对所有的情况进行通用的处理，这样也大大增加了预计算的成本。
发明内容
本发明所要解决的技术问题是：现有的OLAP查询方式，其效率比较低，预计算成本比较高，通用性差，灵活性差。
为解决上面的技术问题，本发明提供了一种对OLAP预计算模型进行动态优化的方法，该方法包括：
S1，接收用户输入的查询语句；
S2，根据预定义引擎规则分析所述查询语句中使用的查询信息，判断所述查询信息中是否有与所述预定义引擎规则中的查询规则相匹配的特征查询信息；
S3，若匹配，则统计所述特征查询信息的出现次数，并将所述特征查询信息存储到统计数据库中；
S4，根据所述预定义引擎规则，从所述特征查询信息中查找出当前OLAP预计算模型不支持的特征查询信息，将所述不支持的特征查询信息转换成新的虚拟查询信息；
S5，将所述新的虚拟查询信息添加到原始查询表中，形成新的查询表；
S6，根据所述新的查询表和所述新的虚拟查询信息，创建新的OLAP预计算模型，并用所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
本发明的有益效果：通过上述对OLAP预计算模型进行优化的方法，创建新的OLAP预计算模型，这样可以提升查询效率，减少存储空间，对用户透明，且生成新的OLAP预计算模型，使得用户的查询无需再修改，该新的OLAP预计算模型动态解析查询，并将其转换成对新模型的访问，从而更高效地应对大数据上灵活复杂的分析场景。
进一步地，所述查询信息包括：数据表格信息、维度信息、度量信息、查过滤条件信息、计算表达式信息、查询语句出现的次数和概率。
进一步地，所述预定义引擎规则中的查询规则包括：查询语句中的数据计算公式规则、数据字段拼接规则、数据格式转换规则和数据比较条件规则。
进一步地，所述S6中具体包括：
S61，复制一个所述当前OLAP预计算模型；
S62，根据所述新的查询表和所述新的虚拟查询信息，对复制的当前OLAP预计算模型进行创建，得到新的OLAP预计算模型；
S63，对所述新的OLAP预计算模型进行计算优化，将优化后的所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
进一步地，所述新的查询表是真实存在的查询信息表或者在加载查询信息时动态创建的虚拟表。
进一步地，该方法还包括：
S7，重新获取新的查询语句，对所述新的查询语句进行识别，查找出所述新的查询语句中的所述不支持的特征查询信息；
S8，将所述不支持的特征查询信息转换成所述新的虚拟查询信息；
S9，将所述新的虚拟查询信息输入到所述新的OLAP预计算模型进行统计计算。
上述进一步地有益效果：将识别查询中的低效率的计算逻辑，转换成对新的虚拟的查询信息，这样既不需要改变查询语句，还大大提高了模型的查询效率，也提高了模型的实用性。
本发明还涉及一种对OLAP预计算模型进行动态优化的系统，该系统包括：查询统计分析器、模型优化器、规则引擎库、统计数据库；
所述规则引擎库，用于预定义引擎规则，以及将所述预定义引擎规则提供给所述查询统计分析器以便查询统计分析器在查询语句时使用；
所述查询统计分析器，用于接收用户输入的查询语句，根据预定义引擎规则分析所述查询语句中使用的查询信息，判断所述查询信息中是否有与所述预定义引擎规则中的查询规则相匹配的特征查询信息；
还用于当所述查询信息中有与所述预定义引擎规则中的查询规则相匹配的特征查询信息时，统计所述特征查询信息的出现次数，并将所述特征查询信息存储到所述统计数据库中；
所述模型优化器，用于根据所述预定义引擎规则，从所述特征查询信息中查找出当前OLAP预计算模型不支持的特征查询信息，将所述不支持的特征查询信息转换成新的虚拟查询信息；
还用于将所述新的虚拟查询信息添加到原始查询表中，形成新的查询表；以及还用于根据所述新的查询表和所述新的虚拟查询信息，创建新的OLAP预计算模型，并用所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
本发明的有益效果：通过上述对OLAP预计算模型进行优化的系统，创建新的OLAP预计算模型，这样可以提升查询效率，减少存储空间，对用户透明，且生成新的OLAP预计算模型，使得用户的查询无需再修改，该新的OLAP预计算模型动态解析查询，并将其转换成对新模型的访问，从而更高效地应对大数据上灵活复杂的分析场景。
进一步地，所述查询信息包括：数据表格信息、维度信息、度量信息、查过滤条件信息、计算表达式信息、查询语句出现的次数和概率。
进一步地，所述预定义引擎规则中的查询规则包括：查询语句中的数据计算公式规则、数据字段拼接规则、数据格式转换规则和数据比较条件规则。
进一步地，所述模型优化器，用于根据所述新的查询表和新的虚拟查询信息，创建新的OLAP预计算模型，并将所述新的OLAP预计算模型替换所述当前OLAP预计算模型时，其具体用于复制一个所述当前OLAP预计算模型；根据所述新的查询表和所述新的虚拟查询信息，对复制的当前OLAP预计算模型进行创建，得到新的OLAP预计算模型；对所述新的OLAP预计算模型进行计算优化，并用优化后的所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
上述进一步地有益效果：将识别查询中的低效率的计算逻辑，转换成对新的虚拟的查询信息，这样既不需要改变查询语句，还大大提高了模型的查询效率，也提高了模型的实用性。
附图说明
图1为本发明实施例1中的一种对OLAP预计算模型进行动态优化的方法的流程图；
图2为实施例4中另一种对OLAP预计算模型进行动态优化的方法的流程图；
图3为实施例6中另一种对OLAP预计算模型进行动态优化的方法的流程图；
图4为本发明实施例7一种对OLAP预计算模型进行动态优化的系统的结构示意图；
图5为实施例10另一种对OLAP预计算模型进行动态优化的系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明实施例1中提供的是一种对OLAP预计算模型进行动态优化的方法，该方法包括：
S1，接收用户输入的查询语句；
S2，根据预定义引擎规则分析所述查询语句中使用的查询信息，判断所述查询信息中是否有与所述预定义引擎规则中的查询规则相匹配的特征查询信息；
S3，若匹配，则统计所述特征查询信息的出现次数，并将所述特征查询信息存储到统计数据库中；
S4，根据所述预定义引擎规则，从所述特征查询信息中查找出当前OLAP预计算模型不支持的特征查询信息，将所述不支持的特征查询信息转换成新的虚拟查询信息；
S5，将所述新的虚拟查询信息添加到原始查询表中，形成新的查询表；
S6，根据所述新的查询表和所述新的虚拟查询信息，创建新的OLAP预计算模型，并用所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
需要说明的是，在本实施例1中是持续不断地收集和分析用户输入的查询语句，在规则引擎服务器(用于给管理员管理和扩充引擎规则的)中预先定义了引擎规则，查询统计分析器在获取到用户输入的查询语句后，就会调用存储在规则引擎服务器中预定义引擎规则对查询语句中使用的查询信息进行分析，再判断该查询信息中是否有与该预定义引擎规则中的查询规则相匹配的特征查询信息，比如：查询年龄段50-60岁，在查询规则中是否存在这样的50-60岁年龄段。
当检查到是匹配的时候，统计这些特征查询信息的出现次数，还要将这些特征查询信息存储进到统计数据库中，以便后续的使用，这个统计数据库是为了方便给系统管理员对数据进行可以管理或者扩充的。
接着，模型优化器就会根据统计分析器收集的信息，对在查询中频繁出现的、但没有直接被现有模型支持的特征查询信息进行转换(比如：查询使用的语句时50-60岁年龄段，而实际查询使用的是50岁，现有模型不支持50-60岁年龄段)，将它们转换成新的虚拟属性，添加到新的查询表中；新的查询表可以是一张真实存在的表，也可以是一张在加载数据时动态创建的虚拟表；随后，基于当前OLAP预计算模型，使用新表和新属性，创建更新优化的模型。新模型创建后，通知OLAP平台对新模型加载并计算，完成后，替换当前OLAP预计算模型。
在本实施例1中通过上述对OLAP预计算模型进行优化的方法，创建新的OLAP预计算模型，这样可以提升查询效率，减少存储空间，对用户透明，且生成新的OLAP预计算模型，使得用户的查询无需再修改，该新的OLAP预计算模型动态解析查询，并将其转换成对新模型的访问，从而更高效地应对大数据上灵活复杂的分析场景。
可选地，在另一实施例2中所述查询信息包括：数据表格信息、维度信息、度量信息、查过滤条件信息、计算表达式信息、查询语句出现的次数和概率。
需要说明的是，本实施例2是对上述实施例1中的查询信息的细化说明如：1)查询用到的数据表格；2)查询用到的维度及其它信息；3)查询用到的度量及其它信息；4)查询用到的过滤条件；5)查询中的计算表达式；6)出现次数和概率；7)其它可能的信息。
可选地，在另一实施例3中所述预定义引擎规则中的查询规则包括：查询语句中的数据计算公式规则、数据字段拼接规则、数据格式转换规则和数据比较条件规则。
需要说明的是，本实施例3是对上述实施例1或者实施例2的基础上进行的进一步地说明，预定义规则引擎规则是存储于规则库中，其可以添加和删除，而这些规则可能的规则包含但不局限于：数据计算，如sum(a*b+c)；字段拼接,如concat(a,b)；数据格式转换,如substr(a,1,10)；复杂比较条件,如age>30andage<50；其它可能的查询模式。
可选地，如图2所示，在另一实施例4中所述S6中具体包括：
S61，复制一个所述当前OLAP预计算模型；
S62，根据所述新的查询表和所述新的虚拟查询信息，对复制的当前OLAP预计算模型进行创建，得到新的OLAP预计算模型；
S63，对所述新的OLAP预计算模型进行计算优化，将优化后的所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
需要说明的是，本实施例4是在上述实施例1或者实施例2的基础上进行的进一步地说明，将当前OLAP预计算模型进行复制，得到一个新的OLAP预计算模型，主要是复制该OLAP预计算模型的定义和维度，然后用根据之前重新制作的查询表和虚拟查询信息，对这个复制模型进行创建，新模型创建后，通知OLAP平台对新模型加载并计算优化，将优化后的所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
例如：某在线交易网站要以性别、年龄、城市等属性分析用户订单信息。
于是创建了如下模型A：
输入表：ORDER,USER
维度：性别(sex)，年龄(age)，省(province)，市(city)
度量：订单数，消费总金额
期望的查询语句样例如下：
SELECTsex,casewhenage>50then'Old'elsethen'Young'endasage_level,province,city,count(*),sum(price)fromORDERinnerjoinUSERonORDER_USER_ID＝USER.IDgroupbysex,age,province,city；
查询统计分析器发现，用户的大部分是这样的：
SELECTsex,casewhenage>50then'Old'elsethen'Young'endasage_level,province,city,count(*),sum(price)fromORDERinnerjoinUSERonORDER_USER_ID＝USER.IDgroupbysex,age,province,city；
这样的查询虽然也能够被模型A回答，但是由于有后计算，因而效率较低。模型优化器从规则引擎处发现此规则适用于模型优化，因此基于老模型和规则引擎，生成了改进后的模型A`，它使用USER`为输入表，替换了USER表；在USER`中，有age_level列，定义为上面的casewhen转换表达式:输入表：ORDER,USER`
维度：性别(sex)，年龄层(age_level)，省(province)，市(city)；
度量：订单数，消费总金额；
模型A`相比较于模型A，使用age_level维度替换了age维度。
可选地，在另一实施例5中所述新的查询表是真实存在的查询信息表或者在加载查询信息时动态创建的虚拟表。
需要说明的是，本实施例5是在上述实施例1或者实施例2上的进行的进一步说明的。
可选地，如图3所示，在另一实施例6中该方法还包括：
S7，重新获取新的查询语句，对所述新的查询语句进行识别，查找出所述新的查询语句中的所述不支持的特征查询信息；
S8，将所述不支持的特征查询信息转换成所述新的虚拟查询信息；
S9，将所述新的虚拟查询信息输入到所述新的OLAP预计算模型进行统计计算。
需要说明的是，本实施例6是在上述实施例1或者实施例2上的进行的进一步说明的，本实施例6是重新获取新的查询语句，查询改写器就会对这部分进行检测，当检测到新的查询语句已经在查询优化器改写，那么自动替换查询中这部分特征信息，将这部分特征信息为改写成新的虚拟查询信息，并将这些新的虚拟查询信息发送给新的OLAP模型。
通过上述实施例6的方法，将识别查询中的低效率的计算逻辑，转换成对新的虚拟的查询信息，这样既不需要改变查询语句，还大大提高了模型的查询效率，也提高了模型的实用性。
实施例7
如图4所示，本发明实施例7还涉及一种对OLAP预计算模型进行动态优化的系统，该系统包括：查询统计分析器、模型优化器、规则引擎库、统计数据库；
所述规则引擎库，用于预定义引擎规则，以及将所述预定义引擎规则提供给所述查询统计分析器以便查询统计分析器在查询语句时使用；
所述查询统计分析器，用于接收用户输入的查询语句，根据预定义引擎规则分析所述查询语句中使用的查询信息，判断所述查询信息中是否有与所述预定义引擎规则中的查询规则相匹配的特征查询信息；
还用于当所述查询信息中有与所述预定义引擎规则中的查询规则相匹配的特征查询信息时，统计所述特征查询信息的出现次数，并将所述特征查询信息存储到所述统计数据库中；
所述模型优化器，用于根据所述预定义引擎规则，从所述特征查询信息中查找出当前OLAP预计算模型不支持的特征查询信息，将所述不支持的特征查询信息转换成新的虚拟查询信息；
还用于将所述新的虚拟查询信息添加到原始查询表中，形成新的查询表；以及还用于根据所述新的查询表和所述新的虚拟查询信息，创建新的OLAP预计算模型，并用所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
需要说明的是，在本实施例7中是持续不断地收集和分析用户输入的查询语句，在规则引擎服务器(用于给管理员管理和扩充引擎规则的)中预先定义了引擎规则，查询统计分析器在获取到用户输入的查询语句后，就会调用存储在规则引擎服务器中预定义引擎规则对查询语句中使用的查询信息进行分析，再判断该查询信息中是否有与该预定义引擎规则中的查询规则相匹配的特征查询信息，比如：查询年龄段50-60岁，在查询规则中是否存在这样的50-60岁年龄段。
当检查到是匹配的时候，统计这些特征查询信息的出现次数，还要将这些特征查询信息存储进到统计数据库中，以便后续的使用，这个统计数据库是为了方便给系统管理员对数据进行可以管理或者扩充的。
接着，模型优化器就会根据统计分析器收集的信息，对在查询中频繁出现的、但没有直接被现有模型支持的特征查询信息进行转换(比如：查询使用的语句时50-60岁年龄段，而实际查询使用的是50岁，现有模型不支持50-60岁年龄段)，将它们转换成新的虚拟属性，添加到新的查询表中；新的查询表可以是一张真实存在的表，也可以是一张在加载数据时动态创建的虚拟表；随后，基于当前OLAP预计算模型，使用新表和新属性，创建更新优化的模型。新模型创建后，通知OLAP平台对新模型加载并计算，完成后，替换当前OLAP预计算模型。
通过本实施例7中的对OLAP预计算模型进行优化的系统，创建新的OLAP预计算模型，这样可以提升查询效率，减少存储空间，对用户透明，且生成新的OLAP预计算模型，使得用户的查询无需再修改，该新的OLAP预计算模型动态解析查询，并将其转换成对新模型的访问，从而更高效地应对大数据上灵活复杂的分析场景。
可选地，在另一实施例8中所述查询信息包括：数据表格信息、维度信息、度量信息、查过滤条件信息、计算表达式信息、查询语句出现的次数和概率。
需要说明的是，本实施例8是对上述实施例7中的查询信息的细化说明如：1)查询用到的数据表格；2)查询用到的维度及其它信息；3)查询用到的度量及其它信息；4)查询用到的过滤条件；5)查询中的计算表达式；6)出现次数和概率；7)其它可能的信息。
可选地，在另一实施例9中所述预定义引擎规则中的查询规则包括：查询语句中的数据计算公式规则、数据字段拼接规则、数据格式转换规则和数据比较条件规则。
需要说明的是，本实施例9是对上述实施例7或者实施例8的基础上进行的进一步地说明，预定义规则引擎规则是存储于规则库中，其可以添加和删除，而这些规则可能的规则包含但不局限于：数据计算，如sum(a*b+c)；字段拼接,如concat(a,b)；数据格式转换,如substr(a,1,10)；复杂比较条件,如age>30andage<50；其它可能的查询模式
可选地，在另一实施例10中所述模型优化器，用于根据所述新的查询表和新的虚拟查询信息，创建新的OLAP预计算模型，并将所述新的OLAP预计算模型替换所述当前OLAP预计算模型时，其具体用于复制一个所述当前OLAP预计算模型；根据所述新的查询表和所述新的虚拟查询信息，对复制的当前OLAP预计算模型进行创建，得到新的OLAP预计算模型；对所述新的OLAP预计算模型进行计算优化，并用优化后的所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
需要说明的是，如图5所示，本实施例10是在上述实施例7或者实施例8上的进行的进一步说明的，本实施例10是重新获取新的查询语句，查询改写器就会对这部分进行检测，当检测到新的查询语句已经在查询优化器改写，那么自动替换查询中这部分特征信息，将这部分特征信息为改写成新的虚拟查询信息，并将这些新的虚拟查询信息发送给新的OLAP模型
通过上述实施例10的系统，将识别查询中的低效率的计算逻辑，转换成对新的虚拟的查询信息，这样既不需要改变查询语句，还大大提高了模型的查询效率，也提高了模型的实用性。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对OLAP预计算模型进行动态优化的方法，其特征在于,该方法包括：
S1，接收用户输入的查询语句；
S2，根据预定义引擎规则分析所述查询语句中使用的查询信息，判断所述查询信息中是否有与所述预定义引擎规则中的查询规则相匹配的特征查询信息；
S3，若匹配，则统计所述特征查询信息的出现次数，并将所述特征查询信息存储到统计数据库中；
S4，根据所述预定义引擎规则，从所述特征查询信息中查找出当前OLAP预计算模型不支持的特征查询信息，将所述不支持的特征查询信息转换成新的虚拟查询信息；
S5，将所述新的虚拟查询信息添加到原始查询表中，形成新的查询表；
S6，根据所述新的查询表和所述新的虚拟查询信息，创建新的OLAP预计算模型，并用所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
2.根据权利要求1所述的方法，其特征在于，所述查询信息包括：数据表格信息、维度信息、度量信息、查过滤条件信息、计算表达式信息、查询语句出现的次数和概率。
3.根据权利要求1或2所述的方法，其特征在于，所述预定义引擎规则中的查询规则包括：查询语句中的数据计算公式规则、数据字段拼接规则、数据格式转换规则和数据比较条件规则。
4.根据权利要求1或2所述的方法，其特征在于，所述S6中具体包括：
S61，复制一个所述当前OLAP预计算模型；
S62，根据所述新的查询表和所述新的虚拟查询信息，对复制的当前OLAP预计算模型进行创建，得到新的OLAP预计算模型；
S63，对所述新的OLAP预计算模型进行计算优化，并用优化后的所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
5.根据权利要求1或2所述的方法，其特征在于，所述新的查询表是真实存在的查询信息表或者在加载查询信息时动态创建的虚拟表。
6.根据权利要求1或2所述的方法，其特征在于，该方法还包括：
S7，重新获取新的查询语句，对所述新的查询语句进行识别，查找出所述新的查询语句中的所述不支持的特征查询信息；
S8，将所述不支持的特征查询信息转换成所述新的虚拟查询信息；
S9，将所述新的虚拟查询信息输入到所述新的OLAP预计算模型进行统计计算。
7.一种对OLAP预计算模型进行动态优化的系统，其特征在于,该系统包括：查询统计分析器、模型优化器、规则引擎库、统计数据库；
所述规则引擎库，用于预定义引擎规则，以及将所述预定义引擎规则提供给所述查询统计分析器以便查询统计分析器在查询语句时使用；
所述查询统计分析器，用于接收用户输入的查询语句，根据预定义引擎规则分析所述查询语句中使用的查询信息，判断所述查询信息中是否有与所述预定义引擎规则中的查询规则相匹配的特征查询信息；
还用于当所述查询信息中有与所述预定义引擎规则中的查询规则相匹配的特征查询信息时，统计所述特征查询信息的出现次数，并将所述特征查询信息存储到所述统计数据库中；
所述模型优化器，用于根据所述预定义引擎规则，从所述特征查询信息中查找出当前OLAP预计算模型不支持的特征查询信息，将所述不支持的特征查询信息转换成新的虚拟查询信息；
还用于将所述新的虚拟查询信息添加到原始查询表中，形成新的查询表；以及还用于根据所述新的查询表和所述新的虚拟查询信息，创建新的OLAP预计算模型，并用所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
8.根据权利要求7所述的系统，其特征在于，所述查询信息包括：数据表格信息、维度信息、度量信息、查过滤条件信息、计算表达式信息、查询语句出现的次数和概率。
9.根据权利要求7或8所述的系统，其特征在于，所述预定义引擎规则中的查询规则包括：查询语句中的数据计算公式规则、数据字段拼接规则、数据格式转换规则和数据比较条件规则。
10.根据权利要求7或8所述的系统，其特征在于，所述模型优化器，用于根据所述新的查询表和新的虚拟查询信息，创建新的OLAP预计算模型，并将所述新的OLAP预计算模型替换所述当前OLAP预计算模型时，其具体用于复制一个所述当前OLAP预计算模型；根据所述新的查询表和新的虚拟查询信息，对复制的当前OLAP预计算模型进行创建，得到新的OLAP预计算模型；对所述新的OLAP预计算模型进行计算优化，并用优化后的所述新的OLAP预计算模型替换所述当前OLAP预计算模型。
CN201711065734.8A 2017-11-02 2017-11-02 一种对olap预计算模型进行动态优化的方法及系统 Active CN108052522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711065734.8A CN108052522B (zh) 2017-11-02 2017-11-02 一种对olap预计算模型进行动态优化的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711065734.8A CN108052522B (zh) 2017-11-02 2017-11-02 一种对olap预计算模型进行动态优化的方法及系统

Publications (2)

Publication Number Publication Date
CN108052522A CN108052522A (zh) 2018-05-18
CN108052522B true CN108052522B (zh) 2020-08-25

Family

ID=62119891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711065734.8A Active CN108052522B (zh) 2017-11-02 2017-11-02 一种对olap预计算模型进行动态优化的方法及系统

Country Status (1)

Country Link
CN (1) CN108052522B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232055B (zh) * 2019-05-08 2021-07-02 跬云(上海)信息科技有限公司 Olap数据分析迁移方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716167B2 (en) * 2002-12-18 2010-05-11 International Business Machines Corporation System and method for automatically building an OLAP model in a relational database
CN104391928B (zh) * 2014-11-21 2018-08-28 用友网络科技股份有限公司 动态构建多维模型定义的装置和方法
CN106600067B (zh) * 2016-12-19 2020-11-03 广州视源电子科技股份有限公司 多维立方体模型的优化方法和装置
CN106997386B (zh) * 2017-03-28 2019-12-27 上海跬智信息技术有限公司 一种olap预计算模型、自动建模方法及自动建模系统

Also Published As

Publication number Publication date
CN108052522A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
CN106997386B (zh) 一种olap预计算模型、自动建模方法及自动建模系统
CN108304505B (zh) 一种sql语句的处理方法、装置、服务器及存储介质
US9020910B2 (en) Storing tables in a database system
US8160999B2 (en) Method and apparatus for using set based structured query language (SQL) to implement extract, transform, and load (ETL) splitter operation
US10210236B2 (en) Storing and retrieving data of a data cube
KR20200106950A (ko) Ｓｑｌ 질의 플랜들을 최적화하기 위한 차원 콘텍스트 전파 기술들
Chakaravarthy et al. Efficiently linking text documents with relevant structured information
US8108367B2 (en) Constraints with hidden rows in a database
US9747349B2 (en) System and method for distributing queries to a group of databases and expediting data access
Yang et al. Lenses: An on-demand approach to etl
US9129010B2 (en) System and method of partitioned lexicographic search
US20180144061A1 (en) Edge store designs for graph databases
US20140046928A1 (en) Query plans with parameter markers in place of object identifiers
CN110555035A (zh) 一种对查询语句进行优化的方法、装置
US11720543B2 (en) Enforcing path consistency in graph database path query evaluation
US8438153B2 (en) Performing database joins
US20180357278A1 (en) Processing aggregate queries in a graph database
US20180357330A1 (en) Compound indexes for graph databases
WO2023115833A1 (zh) 一种流式文档的生成方法、计算装置以及计算机可读介质
CN118696308A (zh) 数据库缓存中的被查询数据的延迟物化
CN110720097A (zh) 图数据库中元组和边的功能性等价
CN110569243A (zh) 一种数据查询方法、数据查询插件和数据查询服务器
CN108052522B (zh) 一种对olap预计算模型进行动态优化的方法及系统
US20190303478A1 (en) Path query evaluation in graph databases
US10191942B2 (en) Reducing comparisons for token-based entity resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Shi Shaofeng

Inventor after: Han Qing

Inventor after: Liu Kaige

Inventor before: Shi Shaofeng

Inventor before: Han Qing

Inventor before: Liu Kaige