CN109710700A - 一种olap语义缓存方法 - Google Patents

一种olap语义缓存方法 Download PDF

Info

Publication number
CN109710700A
CN109710700A CN201811395559.3A CN201811395559A CN109710700A CN 109710700 A CN109710700 A CN 109710700A CN 201811395559 A CN201811395559 A CN 201811395559A CN 109710700 A CN109710700 A CN 109710700A
Authority
CN
China
Prior art keywords
equivalence class
data
bound
inquiry
lower bound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811395559.3A
Other languages
English (en)
Other versions
CN109710700B (zh
Inventor
游进国
易振睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201811395559.3A priority Critical patent/CN109710700B/zh
Publication of CN109710700A publication Critical patent/CN109710700A/zh
Application granted granted Critical
Publication of CN109710700B publication Critical patent/CN109710700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种OLAP语义缓存方法，属于数据挖掘和数据分析领域。本发明步骤包括：通过用户提交的查询数据分析用户查询模式；数据先在具有语义的缓存中查询结果，如果不命中则在底层的数据库中查询结果；利用在数据库中查询到的结果动态生成缓存项；在缓存项生成的同时还对其进行分析，以期推导出潜在的数据单元；依据缓存项的响应能力，设置合理的缓存替换策略，保留一定数量的缓存项在内存中；设置合理的索引以提高检索速度。本发明能够在保留语义的前提下压缩缓存项中的数据，并且能动态地更新缓存项，结合用户的查询模式和缓存项的响应能力为缓存替换策略提供事实依据，能有效改善响应时间并提高命中率。

Description

一种OLAP语义缓存方法
技术领域
本发明涉及一种OLAP语义缓存方法，是一种计算机数据缓存技术，属于数据挖掘和数据分析领域。
背景技术
随着信息技术的发展和移动通信的普及，产生的数据呈指数级增长。如何处理、分析、利用这些数据成为信息科学领域的热门话题。
OLAP(联机分析处理)技术是解决这一问题的一种方式，它包括数据清理、数据集成、数据变换。OLAP工具能对不同粒度的多维数据进行交互分析，进而泛化数据和分析数据。常见的关联、分类、预测和聚类等数据分析手段都能和OLAP操作相结合。数据立方体是OLAP技术中的一种重要的数据模型，不同于关系型数据库的二维表，数据立方体能表达多维数据之间的关系。在“大数据”的背景下，操作和分析数据立方体都面临着许多挑战。为了更加高效的操作和分析数据立方体，学术界已经提出了一系列诸如冰山立方体、封闭立方体、商立方体等数据立方体的压缩以及物化模型。
一个设计良好的OLAP系统需要考虑很多方面，其中缓存的设计是关键的环节。按照缓存对象的不同可分为：页面缓存、元组缓存、语义缓存。页面缓存管理的对象是页面，数据粒度比较大。S.Dar等(Semantic Data Caching and Replacement,Proc.VLDB Conf.,pp.330-341,1996.)指出页面缓存是基于缺页的，丢失的页面不是预先确定的，而是在查询处理过程中从服务器请求它们。因此，频繁地在客户端和服务器之间传输页面会带来较大通信开销。元组缓存管理的数据粒度小，但会导致较大内存开销。语义缓存的客户端不仅会保存查询结果，还会维护查询结果对应的SQL谓词的语义关系，因此，只需要比较缓存项与查询数据对应的SQL谓词的连接词的析取就能判断是否能被命中。Q Ren等(Semanticcaching and query processing[J].IEEE Trans on Knowledge and Data Engineering,2003,15(1):192–210.)提出了基于SQL语句中Where子句的语义缓存模型，它通过分析缓存项与查询数据的SQL谓词的关系来确定缓存是否能部分回答、完全回答或不能回答查询数据。但该方法忽视OLAP环境下适应性，以及缓存系统应当具有数据压缩的功能。
发明内容
为解决上述问题，本发明提供一种OLAP语义缓存方法，在大批量查询数据时改善缓存系统的命中率和响应时间。
本发明采用的技术方案是：一种OLAP语义缓存方法，包括如下步骤：
Step1加载用户提交的查询数据集并分析用户的查询模式，具体为计算查询数据集中每条查询数据的频率；
Step2在缓存中查询结果，先通过建立的索引找到相关等价类，比较查询数据和等价类上下界的关系，判断等价类能否响应查询数据；索引的建立是依据等价类中下界的层号建立的，即索引号为等价类中下界的层号，下界的层号为下界数据单元中不等于*的个数，能够响应查询数据的等价类的索引号小于或等于该查询数据中不等于*的个数，找到相关的等价类后再比较查询数据和其上下界的关系，判断等价类能否响应查询数据，如果某个等价类的下界能覆盖到查询数据上，且查询数据能覆盖到该等价类的上界，则该等价类能响应查询数据。覆盖的定义为，设有数据单元u和数据单元v，对于两者中任意相同位置的ui和vi如果满足(a)ui≠*，且ui＝vi，(b)ui＝*，vi为任意内容，则数据单元u覆盖数据单元v。
Step3如果能响应查询数据，则执行Step 9，否则继续执行Step 4-Step 8；
Step4在底层数据库中查询到结果；
Step5利用在数据库返回的结果，动态地生成或更新等价类；假设某个等价类E的上下界均由数据单元c构成，如果查询数据q和等价类E的度量值相同，则判断两者之间是否存在上卷或者下钻关系，如果不存在则生成新的等价类，如果存在则对等价类E进行更新，包括4种类型：①查询数据q被等价类E的上界覆盖，此时用查询数据q代替等价类E的上界的数据单元c；②查询数据q覆盖等价类E的上界，但不被等价类E的下界覆盖，此时在等价类E中增加一个由查询数据q构成的下界；③等价类E的下界覆盖查询数据q，但查询数据q不覆盖等价类E的上界，此时在等价类E中增加一个由查询数据q构成的上界；④查询数据q覆盖等价类E的下界的，此时用查询数据q代替等价类E的下界数据单元c。
Step6分析等价类中数据单元的特点，利用已知的数据单元来推导出潜在的数据单元；在等价类中，将多个上界推导出一个共同的上界，推导完的等价类会形成一个上界和多个下界。
Step7根据等价类是凸集的性质和集合的容斥原理，评估等价类的响应能力；响应能力计算如下：
①一个等价类中只有一个上界和一个下界，其响应能力为：
Ca＝2|lu-ll|
其中lu表示上界的层号，ll表示下界的层号；
②一个等价类中有一个上界和多于一个的下界，等价类中数据单元出现交集，
c1＝{(d11,d12,...d1i...,d1n)}
c2＝{(d21,d22,...d2i...,d2n)}
c1∩c2＝{(d1,...di...,dn)|di取d1i和d2i中不为*的}
根据集合的容斥原理来计算其响应能力：
其中A1、A2...Am为等价类的上界分别和下界对应组成的数据单元集，m为所形成的数据单元集的个数，|A1∪A2∪...∪Am|表示等价类的响应能力，|Aj|为单个数据单元集的响应能力，|Aj∩Ak|为两个数据单元集的交集的响应能力，|Aj∩Ak∩Ah|为三个数据单元集的交集的响应能力，前述响应能力参照等价类中只有一个上界和一个下界的情况进行计算。
Step8依据用户查询模式和响应能力，决定哪些等价类保留在缓存中；设缓存中数据单元的最大个数为k，有r个等价类，对于任意等价类Si，f(Si)表示等价类的用户查询模式即频率，Sz(Si)表示其包含的数据单元的个数，Ca(Si)表示其响应能力，当缓存中数据单元超过k时就需要淘汰等价类，使得保留下的等价类的Ca(Si)·f(Si)值为当前状态下较大的，对应目标函数如下：
其中xi为0-1函数，表示等价类Si是否在缓存中。
Step9返回查询数据的结果。
本发明的有益效果是：
利用商立方体能保留语义和压缩数据的性质，在缓存生成和更新过程中既能保证内存中数据单元数量较少，又能保证能响应更多的查询项。由于用户提交地查询在一定程度上能反应用户思考的过程，因此预先分析用户的查询模式，能保证用户经常查询的数据能保留在缓存中，使得在下一次查询时直接响应。分析缓存项内部数据单元之间的关系，能利用已知的数据单元推导出潜在的数据单元。依据缓存项(等价类)是凸集的性质以及集合的容斥原理，能评估出缓存项的响应能力。为了提高查询数据的速度，按照查询项和缓存项的特点建立了合理的索引。
附图说明
图1是本发明一种基于商立方体的OLAP缓存方法的总体流程图；
图2是本发明中商立方体数据模型的一个实例，虚线圈出的为等价类；
图3是本发明中更新缓存项的示意图；
图4是本发明中由已知数据单元推导潜在数据的示意图；
图5是本发明与传统的LRU和LFU算法的实验对比图，输入不重复的查询数据，缓存大小设置9,000，分别对比命中率和响应时间。
图6是本发明与传统的LRU和LFU算法的实验对比图，输入不重复的查询数据，缓存大小设置为无限大，分别对比命中率和压缩率。
图7是本发明与传统的LRU和LFU算法的实验对比图，缓存大小设置为8,000，查询数据固定为30,000条，横坐标为查询数据中重复数据的占比，分别对比命中率和响应时间。
具体实施方式
为了更详细的描述本发明和便于本领域人员的理解，下面结合附图以及实施例对本发明做进一步的描述，本部分的实施例用于解释说明本发明，便于理解的目的，不以此来限制本发明。
实施例1：如图1所示，一种OLAP语义缓存方法，包括如下步骤：
Step1加载用户提交的查询数据集并分析用户的查询模式，具体为计算查询数据集中每条查询数据的频率；设用户提交的查询数据集为：
{q1(s1,p1,t1:0),q2(s1,p2,t1:0),q3(s2,p1,t2:0),q4(s1,p1,*:0),q5(s1,*,t1:0),q6(*,p1,t1:0),q7(s1,p2,*:0),q8(*,p2,t1:0),q9(s2,p1,*:0),q7(s1,p2,*:0),q10(s2,*,t2:0),q3(s2,p1,t2:0),q11(*,p1,t2:0),q10(s2,*,t2:0),q12(s1,*,*:0),q13(*,p1,*:0),q3(s2,p1,t2:0),q14(*,*,t1:0),q7(s1,p2,*:0),q15(*,p2,*:0),q16(s2,*,*:0),q10(s2,*,t2:0),q14(*,*,t1:0),q7(s1,p2,*:0),q17((*,*,t2:0))。这里的每一条查询数据都会对应到一条SQL语句上。假设有一个含有3个维度(D1，D2，D3)，一个度量值(M)的关系表R。那么，q1对应的SQL语句为select sum(M)from R where D1＝s1and D2＝p1and D3＝t1；q8对应的SQL语句为select sum(M)from R where D2＝p2and D3＝t1。分号后面的0表示度量值，由于是查询数据，度量值未知，因此用0表示。
分析用户查询模式：该查询数据集中共有25条查询数据，计算查询数据的频率：
f(q1(s1,p1,t1:0))＝0.04；f(q2(s1,p2,t1:0))＝0.04；f(q3(s2,p1,t2:0))＝0.12；f(q4(s1,p1,*:0))＝0.04；
f(q5(s1,*,t1:0))＝0.04；f(q6(*,p1,t1:0))＝0.04；f(q7(s1,p2,*:0))＝0.16；f(q8(*,p2,t1:0))＝0.04；
f(q9(s2,p1,*:0))＝0.04；f(q10(s2,*,t2:0))＝0.12；f(q11(*,p1,t2:0))＝0.04；f(q12(s1,*,*:0))＝0.04；
f(q13(*,p1,*:0))＝0.04；f(q14(*,*,t1:0))＝0.08；f(q15(*,p2,*:0))＝0.04；f(q16((s2,*,*:0))＝0.04；
f(q17((*,*,t2:0))＝0.04.
Step2在缓存中查询结果，先通过建立的索引找到相关等价类，比较查询数据和等价类上下界的关系，判断等价类能否响应查询数据；索引的建立是依据等价类中下界的层号建立的，即索引号为等价类中下界的层号，下界的层号为下界数据单元中不等于*的个数，能够响应查询数据的等价类的索引号小于或等于该查询数据中不等于*的个数，例如，如图2所示，假设缓存中有C1、C2、C3、C4、C5共5个缓存项。其中，C1的索引号为2，C2、C3、C4、C5的索引号为1，查询数据q17的维度中非星号的个数为1，因此，可以直接从索引号为1的缓存项进行查询匹配。找到相关的等价类后再比较查询数据和其上下界的关系，判断等价类能否响应查询数据，如果某个等价类的下界能覆盖到查询数据上，且查询数据能覆盖到该等价类的上界，则该等价类能响应查询数据。覆盖的定义为，设有数据单元u和数据单元v，对于两者中任意相同位置的ui和vi如果满足(a)ui≠*，且ui＝vi，(b)ui＝*，vi为任意内容，则数据单元u覆盖数据单元v。假设内存中有一个缓存项C＝{(s2,p1,t2:30),(s2,*,*:30),(*,*,t2:30)}，则能直接响应查询数据q3,q9,q10,q11,q16,q17，获得它们的度量值为30。因为等价类具有保留语义和压缩数据的作用，只需要在内存中保留较少的数据单元，就能响应较多的查询数据。
Step3如果能响应查询数据，则执行Step 9，否则继续执行Step 4-Step 8。
Step4在底层数据库中查询到结果；如果不能在缓存中命中，则需要到数据库中查询结果，由数据库返回度量值。
Step5利用在数据库返回的结果，动态地生成或更新等价类；在动态更新缓存项时存在5种情况，如图3(b)-3(f)所示。假设某个等价类E的上下界均由数据单元c构成，，如图3(a)所示。查询数据q在数据库获得度量值后用来更新缓存，如果查询数据q和等价类E的度量值相同，则判断两者之间是否存在上卷或者下钻关系，如果不存在则生成新的等价类，如图3(f)所示。如果存在则对等价类E进行更新，包括4种类型：①查询数据q被等价类E的上界覆盖，此时用查询数据q代替等价类E的上界的数据单元c，如图3(b)所示；②查询数据q覆盖等价类E的上界，但不被等价类E的下界覆盖，此时在等价类E中增加一个由查询数据q构成的下界，如图3(c)所示；③等价类E的下界覆盖查询数据q，但查询数据q不覆盖等价类E的上界，此时在等价类E中增加一个由查询数据q构成的上界，如图3(d)所示；④查询数据q覆盖等价类E的下界的，此时用查询数据q代替等价类E的下界数据单元c，如图3(e)所示。这种动态更新缓存项的过程能在保留缓存项语义的同时还起到压缩数据的作用。
Step6分析等价类中数据单元的特点，利用已知的数据单元来推导出潜在的数据单元；在等价类中，可以利用较泛化地单元推导出较特殊地单元，多个上界一定能推导出一个共同的上界，这样不仅能减少缓存中数据单元的数量，还能提高查询的命中率，如图4所示，已知一个等价类中有(s2,*,*)和(*,*,t2)两个数据单元，可以推导出一定存在数据单元(s2,*,t2)。推导完的等价类会形成一个上界、多个下界的情况，这为Step7中评估等价类的响应能力提供基础。
Step7根据等价类是凸集的性质和集合的容斥原理，评估等价类的响应能力；响应能力计算如下：
①一个等价类中只有一个上界和一个下界，其响应能力为：
Ca＝2|lu-ll|(1)
其中lu表示上界的层号，ll表示下界的层号；如图2所示，等价类C2由上界(s1,p2,t1:20)和下界(*,p2,*:20)构成，由公式(1)可得响应能力Ca为4。
②一个等价类中有一个上界和多于一个的下界，等价类中数据单元出现交集，
c1＝{(d11,d12,...d1i...,d1n)}
c2＝{(d21,d22,...d2i...,d2n)}
c1∩c2＝{(d1,...di...,dn)|di取d1i和d2i中不为*的}
例如，(s2,*,*:30)和(*,*,t2:30)的交集为(s2,*,t2:30)。如果单纯的按照公式(1)来计算等价类的响应能力会计算到重复的数据单元，因此需要根据集合的容斥原理来计算，集合容斥原理的计算公式如下：
其中A1、A2...Am为等价类的上界分别和下界对应组成的数据单元集，m为所形成的数据单元集的个数，|A1∪A2∪...∪Am|表示等价类的响应能力，|Aj|为单个数据单元集的响应能力，|Aj∩Ak|为两个数据单元集的交集的响应能力，|Aj∩Ak∩Ah|为三个数据单元集的交集的响应能力，前述响应能力参照等价类中只有一个上界和一个下界的情况即公式(1)进行计算。
如图2等价类C3中上界为(s2,p1,t2:30)，下界为(s2,*,*:30)和(*,*,t2:30)，它们能构成2个集合m1:{(s2,p1,t2:30):(s2,*,*:30)}，m2:{(s2,p1,t2:30):(*,*,t2:30)}。计算响应能力的过程如下：
m1∩m2＝{(s2,p1,t2:30):(s2,*,t2:30)}
Ca＝|m1|+|m2|-|m1∩m2|＝2|3-1|+2|3-1|-2|3-2|＝6
Step8依据用户查询模式和响应能力，决定哪些等价类保留在缓存中；内存空间是有限的资源，需要在保证命中率的同时，设计合理的缓存替换策略，通过分析用户查询模式和计算等价类的响应能力能为缓存替换提供事实依据。设缓存中数据单元的最大个数为k，有r个等价类，对于任意等价类Si，f(Si)表示等价类的用户查询模式即频率，Sz(Si)表示其包含的数据单元的个数，Ca(Si)表示其响应能力，当缓存中数据单元超过k时就需要淘汰等价类，使得保留下的等价类的Ca(Si)·f(Si)值为当前状态下较大的，对应目标函数如下：
其中xi为0-1函数，表示等价类Si是否在缓存中。
Step9返回查询数据的结果，最终从缓存或数据库返回查询数据的度量值。
实施例2：本实施例中按照实施例1中的方法进行了实验，同时和传统的LRU和LFU算法进行比较，总共设计了3组对比实验。实验的关系表为购物篮数据集Food Mart，取其中的10个维度，1个度量值，聚集函数为SUM。如图5所示，本组实验中输入的查询数据均为不重复的，缓存大小设置为9,000，由于SOC_MaxCa算法存在语义，在查询不重复的数据时，依然能够命中，并且在响应时间上能够优于LRU和LFU算法。如图6所示，为了体现出SOC_MaxCa算法能够压缩数据的特性，输入查询数据均为不重复的且缓存大小设置为无限大，可以看出，随着查询数据的增多，数据的压缩率不断增大，并且命中率没有随着压缩率的增大而降低。如图7所示，对比了查询数据有重复时的命中率和响应时间，缓存大小设置为8,000，SOC_MaxCa算法相对于LRU和LFU算法，在命中率和响应时间上均具有较大优势。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.一种OLAP语义缓存方法，其特征在于：包括如下步骤：
Step1加载用户提交的查询数据集并分析用户的查询模式，具体为计算查询数据集中每条查询数据的频率；
Step2在缓存中查询结果，先通过建立的索引找到相关等价类，比较查询数据和等价类上下界的关系，判断等价类能否响应查询数据；
Step3如果能响应查询数据，则执行Step 9，否则继续执行Step 4-Step 8；
Step4在底层数据库中查询到结果；
Step5利用在数据库返回的结果，动态地生成或更新等价类；
Step6分析等价类中数据单元的特点，利用已知的数据单元来推导出潜在的数据单元；
Step7根据等价类是凸集的性质和集合的容斥原理，评估等价类的响应能力；
Step8依据用户查询模式和响应能力，决定哪些等价类保留在缓存中；
Step9返回查询数据的结果。
2.根据权利要求1所述的OLAP语义缓存方法，其特征在于：所述Step2中索引的建立是依据等价类中下界的层号建立的，即索引号为等价类中下界的层号，下界的层号为下界数据单元中不等于*的个数，能够响应查询数据的等价类的索引号小于或等于该查询数据中不等于*的个数，找到相关的等价类后再比较查询数据和其上下界的关系，判断等价类能否响应查询数据，如果某个等价类的下界能覆盖到查询数据上，且查询数据能覆盖到该等价类的上界，则该等价类能响应查询数据。
3.根据权利要求2所述的OLAP语义缓存方法，其特征在于：所述覆盖的定义为，设有数据单元u和数据单元v，对于两者中任意相同位置的ui和vi如果满足(a)ui≠*，且ui＝vi，(b)ui＝*，vi为任意内容，则数据单元u覆盖数据单元v。
4.根据权利要求1所述的OLAP语义缓存方法，其特征在于：所述Step5的具体过程为：假设某个等价类E的上下界均由数据单元c构成，如果查询数据q和等价类E的度量值相同，则判断两者之间是否存在上卷或者下钻关系，如果不存在则生成新的等价类，如果存在则对等价类E进行更新，包括4种类型：①查询数据q被等价类E的上界覆盖，此时用查询数据q代替等价类E的上界的数据单元c；②查询数据q覆盖等价类E的上界，但不被等价类E的下界覆盖，此时在等价类E中增加一个由查询数据q构成的下界；③等价类E的下界覆盖查询数据q，但查询数据q不覆盖等价类E的上界，此时在等价类E中增加一个由查询数据q构成的上界；④查询数据q覆盖等价类E的下界的，此时用查询数据q代替等价类E的下界数据单元c。
5.根据权利要求1所述的OLAP语义缓存方法，其特征在于：所述Step6的具体过程为：在等价类中，将多个上界推导出一个共同的上界，推导完的等价类会形成一个上界和多个下界。
6.根据权利要求1所述的OLAP语义缓存方法，其特征在于：所述Step7中等价类的响应能力计算如下：
①一个等价类中只有一个上界和一个下界，其响应能力为：
Ca＝2|lu-ll|
其中lu表示上界的层号，ll表示下界的层号；
②一个等价类中有一个上界和多于一个的下界，等价类中数据单元出现交集，
c1＝{(d11,d12,...d1i...,d1n)}
c2＝{(d21,d22,...d2i...,d2n)}
c1∩c2＝{(d1,...di...,dn)|di取d1i和d2i中不为*的}
根据集合的容斥原理来计算其响应能力：
其中A1、A2...Am为等价类的上界分别和下界对应组成的数据单元集，m为所形成的数据单元集的个数，|A1∪A2∪...∪Am|表示等价类的响应能力，|Aj|为单个数据单元集的响应能力，|Aj∩Ak|为两个数据单元集的交集的响应能力，|Aj∩Ak∩Ah|为三个数据单元集的交集的响应能力，前述响应能力参照等价类中只有一个上界和一个下界的情况进行计算。
7.根据权利要求1所述的OLAP语义缓存方法，其特征在于：所述Step8的具体过程如下：设缓存中数据单元的最大个数为k，有r个等价类，对于任意等价类Si，f(Si)表示等价类的用户查询模式即频率，Sz(Si)表示其包含的数据单元的个数，Ca(Si)表示其响应能力，当缓存中数据单元超过k时就需要淘汰等价类，使得保留下的等价类的Ca(Si)·f(Si)值为当前状态下较大的，对应目标函数如下：
其中xi为0-1函数，表示等价类Si是否在缓存中。
CN201811395559.3A 2018-11-22 2018-11-22 一种olap语义缓存方法 Active CN109710700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811395559.3A CN109710700B (zh) 2018-11-22 2018-11-22 一种olap语义缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811395559.3A CN109710700B (zh) 2018-11-22 2018-11-22 一种olap语义缓存方法

Publications (2)

Publication Number Publication Date
CN109710700A true CN109710700A (zh) 2019-05-03
CN109710700B CN109710700B (zh) 2022-09-09

Family

ID=66255100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811395559.3A Active CN109710700B (zh) 2018-11-22 2018-11-22 一种olap语义缓存方法

Country Status (1)

Country Link
CN (1) CN109710700B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114327A (zh) * 2022-07-28 2022-09-27 昆明理工大学 一种减少重复计算的数据库查询关系建模方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005103A1 (en) * 1998-06-15 2003-01-02 Narad Charles E. Cumulative status of arithmetic operations
US20130298002A1 (en) * 2012-05-07 2013-11-07 Patrick Viry Structuring and editing a recursively multi-dimensional spreadsheet
CN104333510A (zh) * 2014-11-24 2015-02-04 重庆邮电大学 命名数据网络中的标签交换转发策略
CN107301206A (zh) * 2017-06-01 2017-10-27 华南理工大学 一种基于预运算的分布式olap分析方法及系统
CN108021670A (zh) * 2017-12-06 2018-05-11 中国南方航空股份有限公司 多源异构数据融合系统及方法
CN108667874A (zh) * 2017-03-31 2018-10-16 微软技术许可有限责任公司 使用高速缓存和采样的有效云服务实例

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005103A1 (en) * 1998-06-15 2003-01-02 Narad Charles E. Cumulative status of arithmetic operations
US20130298002A1 (en) * 2012-05-07 2013-11-07 Patrick Viry Structuring and editing a recursively multi-dimensional spreadsheet
CN104333510A (zh) * 2014-11-24 2015-02-04 重庆邮电大学 命名数据网络中的标签交换转发策略
CN108667874A (zh) * 2017-03-31 2018-10-16 微软技术许可有限责任公司 使用高速缓存和采样的有效云服务实例
CN107301206A (zh) * 2017-06-01 2017-10-27 华南理工大学 一种基于预运算的分布式olap分析方法及系统
CN108021670A (zh) * 2017-12-06 2018-05-11 中国南方航空股份有限公司 多源异构数据融合系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI MAN 等: "Design and implementation of the OLAP cache mechanism based on incremental learning naive Bayesian algorithm", 《2016 FIRST IEEE INTERNATIONAL CONFERENCE ON COMPUTER COMMUNICATION AND THE INTERNET (ICCCI)》 *
涂建新: "基于商立方体的OLAP缓存研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114327A (zh) * 2022-07-28 2022-09-27 昆明理工大学 一种减少重复计算的数据库查询关系建模方法
CN115114327B (zh) * 2022-07-28 2024-05-28 昆明理工大学 一种减少重复计算的数据库查询关系建模方法

Also Published As

Publication number Publication date
CN109710700B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
Zhu et al. A hierarchical clustering approach based on three-dimensional gray relational analysis for clustering a large group of decision makers with double information
Wang et al. A survey of queries over uncertain data
Shen et al. Collaborative filtering-based recommendation system for big data
CN106874426B (zh) 基于Storm的RDF流式数据关键词实时搜索方法
Du Energy analysis of Internet of things data mining algorithm for smart green communication networks
Ahmad et al. Enhanced query processing over semantic cache for cloud based relational databases
CN105183809A (zh) 一种云平台数据查询方法
Sarwat et al. Database system support for personalized recommendation applications
Li et al. SKQAI: A novel air index for spatial keyword query processing in road networks
Yin et al. Efficient distributed skyline computation using dependency-based data partitioning
Tang et al. SMPKR: Search engine for Internet of Things
CN104809210B (zh) 一种基于分布式计算框架下海量数据加权top‑k查询方法
CN109710700A (zh) 一种olap语义缓存方法
Chen et al. An optimized distributed OLAP system for big data
Zhao et al. Research on attribute dimension partition based on SVM classifying and MapReduce
CN106649489A (zh) 一种地理文本信息数据中的连续skyline查询处理机制
Gavagsaz Parallel computation of probabilistic skyline queries using MapReduce
Mao et al. Efficient distance-based representative skyline computation in 2D space
CN109446294B (zh) 一种并行的相互子空间Skyline查询方法
Li et al. An efficient scheme for probabilistic skyline queries over distributed uncertain data
Liu et al. Feature data selection for improving the performance of entity similarity searches in the Internet of Things
Ding et al. Efficient k-dominant skyline query over incomplete data using MapReduce
Cen et al. Approximate indexing for top-k queries over massive spatio-textual data streams
Nikitopoulos et al. Pruning techniques for parallel processing of reverse top-k queries
Dai et al. Entropy-based scheduling policy for cross aggregate ranking workloads

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant