CN103020175A - 一种获取聚合数据的方法和装置 - Google Patents

Abstract

本发明是实施例公开一种获取聚合数据的方法和装置，涉及计算机领域，解决现有技术中存储成本高，用户体验差的技术问题。一种获取聚合数据的方法，包括，按照预设的第一周期获取数据库的查询日志；当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。本发明主要应用于数据查询和数据存储中。

Description

一种获取聚合数据的方法和装置

技术领域

本发明涉及计算机领域，特别涉及一种获取聚合数据的方法和装置。

背景技术

面对海量数据，用户大多数时候关心的是其中的一部分或者某几个部分，而对于其它的数据则并不十分在意。获取聚合数据的重要意义在于，从浩如烟海的数据中查找出与问题相关的数据，从而针对该问题，对查找出的数据进行有的放矢的分析，研究出科学理性的对策。

当前大致有如下两种方式查找与问题相关的数据：

方式一，尽可能多的罗列出用户关心的问题，针对这些问题，通过计算、整理等方式，在原始数据中，查找出与该问题相关的数据，并把这些数据存储在磁盘中。当用户需要访问与该问题相关的数据时，直接从磁盘读取即可。

方式二，利用数据库中的关键字把存储在数据库中的数据关联起来。当用户需要查询与问题相关的数据时，通过计算，对原始数据进行查找，从而找到这些数据，然后返回给用户。

在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：

1、对于方式一，需要预先存储查找出来的数据，占据磁盘空间大、存储成本高；当原始数据更新后，已经存储的查找出的数据不能实时更新。

2、对于方式二，需要先进行计算后，向用户返回数据，查询速度慢，用户体验差。

发明内容

本发明的实施例提供一种获取聚合数据的方法和装置，解决聚合数据存储成本高，不能对聚合数据及时更新的技术问题。

为达到上述目的，本发明的实施例提供如下技术方案：

第一方面，提供一种获取聚合数据的方法，包括：

按照预设的第一周期获取数据库的查询日志；所述查询日志记录有数据查询命令、数据查询命令的执行耗时和数据查询命令的执行频率；

当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。

结合第一方面，在第一方面的第一种可能的情况下，所述方法还包括：

当接收到所述数据查询命令时，判断所述数据库中是否存在符合查询命令的聚合数据；所述符合查询命令的聚合数据中包含所述数据查询命令所指定的数据；

当存在所述符合查询命令的聚合数据时，将所述符合查询命令的聚合数据中包含的所述数据查询命令所指定的数据返回给所述数据查询命令的发出方。

结合第一方面，在第一方面的第二种可能的情况下，所述方法还包括：所述查询日志还记录有：位于所述聚合数据中的被聚合数据的标识，以及所述被聚合数据的被查询时刻；

按照预设的第二周期读取所述被聚合数据的被查询时刻；

当所述被聚合数据相邻两次的被查询时刻的时间差超过预设的时间阈值时，将所述被聚合数据所在的聚合数据删除。

结合第一方面和第一方面的第一种可能的情况，在第一方面的第三种可能的情况下，当在所述数据库中删除原数据和/或增加新数据时，所述方法还包括：

删除所述原数据所在的聚合数据；和/或

根据所述新数据生成聚合数据。

第二方面，提供一种获取聚合数据的装置，包括：

查询日志获取单元，用于按照预设的第一周期获取数据库的查询日志；所述查询日志记录有数据查询命令、数据查询命令的执行耗时和数据查询命令的执行频率；

聚合数据生成单元，用于当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。

结合第二方面，在第二方面的第一种可能的情况下，所述装置还包括：

判断单元，用于当接收到所述数据查询命令时，判断所述数据库中是否存在符合查询命令的聚合数据；所述符合查询命令的聚合数据中包含所述数据查询命令所指定的数据；

返回数据单元，用于当存在所述符合查询命令的聚合数据时，将所述符合查询命令的聚合数据中包含的所述数据查询命令所指定的数据返回给所述数据查询命令的发出方。

结合第二方面，在第二方面的第二种可能的情况下，所述装置还包括：

读取单元，用于按照预设的第二周期读取所述被聚合数据的被查询时刻；

删除单元，用于当所述被聚合数据相邻两次的被查询时刻的时间差超过预设的时间阈值时，将所述被聚合数据所在的聚合数据删除。

结合第二方面和第二方面的第一种可能的情况，在第二方面的第三种可能的情况下，所述删除单元还用于当在所述数据库中删除原数据时，删除所述原数据所在的聚合数据；

所述聚合数据生成单元还用于当在所述数据库中增加新数据时，根据所述新数据生成聚合数据。

本发明的实施例提供一种获取聚合数据的方法和装置，首先，按照预设的第一周期获取数据库的查询日志；当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。通过上述方案，一方面，降低聚合数据的存储成本，及时更新聚合数据；另一方面，提升查询速度，提高用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中一种获取聚合数据的方法的流程图；

图2为本发明实施例2中另一种获取聚合数据的方法的流程图；

图3为本发明实施例2中聚合数据与数据库、存储介质、原始数据的关系的示意图；

图4为本发明实施例2中另一种获取聚合数据的方法的流程图；

图5为本发明实施例2中另一种获取聚合数据的方法的流程图；

图6为本发明实施例3中一种获取聚合数据的装置的框图；

图7为本发明实施例3中另一种获取聚合数据的装置的框图；

图8为本发明实施例3中另一种获取聚合数据的装置的框图；

图9为本发明实施例3中一种获取聚合数据的装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明的一个实施例提供一种获取聚合数据的方法，如图1所示，该方法包括如下步骤：

101、按照预设的第一周期获取数据库的查询日志；所述查询日志记录有数据查询命令、数据查询命令的执行耗时和数据查询命令的执行频率。

查询日志中记录的各项内容用于管理聚合数据，比如生成聚合数据，删除聚合数据，更新聚合数据等。数据查询命令的执行耗时是指根据数据查询命令从存储在存储介质中的数据库中查找到需要查找的数据后，向数据查询命令发出方返回该数据所消耗的时间，具体的可以是，接收到数据查询命令时系统的时刻与获得查询结果(可以是在数据库中找到了所需查找的数据，也可以是在数据库中没有找到所需查找的数据)时的系统时刻的时间差。

数据查询命令的执行频率是在单位时间内执行等同数据查询命令的次数。单位时间可以是12小时，24小时或15天等。

102、当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。

若执行一次数据查询命令的数据查询命令的执行耗时超过预设的时间阈值则说明：数据查询命令的发出方，在发出数据查询命令后，等待了过长时间，影响了用户体验。

当执行一个数据查询命令的执行频率超过预设的频率阈值时说明：用户对该条数据查询命令对应的数据的需求度较高，应该生成聚合数据，减少数据查询命令的执行耗时，提高查询速度，优化用户体验。

本实施例提供一种获取聚合数据的方法，首先，按照预设的第一周期获取数据库的查询日志；当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。通过上述方案，一方面，降低聚合数据的存储成本，及时更新聚合数据；另一方面，提升查询速度，提高用户体验。

实施例2

本发明的一个实施例提供一种获取聚合数据的方法，如图2所示，该方法包括如下步骤：

201、按照预设的第一周期获取数据库的查询日志。

202、当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。

203、接收数据查询命令。

204、判断所述数据库中是否存在符合查询命令的聚合数据；所述符合查询命令的聚合数据中包含所述数据查询命令所指定的数据。

205、当存在所述符合查询命令的聚合数据时，将所述符合查询命令的聚合数据中包含的所述数据查询命令所指定的数据返回给所述数据查询命令的发出方。

需要说明的是，根据查询日志生成聚合数据后，需要将聚合数据存储在存储介质中。当下一次执行数据查询命令时，首先在聚合数据中查找数据查询命令所指定的数据，成功找到数据查询命令所指定的数据后，将该数据返回给数据查询命令发出方。若在聚合数据中不能找到所需数据，则在数据库的原始数据中查找符合查询命令的数据。图3给出了原始数据，聚合数据，数据库，存储介质的关系。数据库包含原始数据和聚合数据，聚合数据由原始数据生成，聚合数据与原始数据都存储在存储介质中。

进一步的，如图4所示，本发明实施例提供的一种获取聚合数据的方法还包括以下步骤：

301、在查询日志中记录位于所述聚合数据中的被聚合数据的标识，以及所述被聚合数据的被查询时刻。

先举例说明步骤301中所述的位于所述聚合数据中的被聚合数据的标识：例1，设现有数据A、B、C、D，根据步骤201和202生成聚合数据A、B和聚合数据C、D。为便于管理，将聚合数据A、B命名为甲；将聚合数据C、D名为乙。则甲、乙为所述聚合数据中的被聚合数据的标识。所述的被聚合数据的被查询时刻是指当执行数据查询命令时，在甲中查找到数据查询命令所指定的数据A时，系统显示的具体时刻。

302、按照预设的第二周期读取所述被聚合数据的被查询时刻。

303、当所述被聚合数据相邻两次的被查询时刻的时间差超过预设的时间阈值时，将所述被聚合数据所在的聚合数据删除。

现详细说明步骤303，同样以例1为例：系统第一次执行数据查询命令α，并在甲中找到该数据查询命令所指定的数据A，此时系统的时间为2012年10月1日12点0分0秒，并将此时刻记录在查询日志中。系统第二次执行数据查询命令α并在甲中找到该数据查询命令所指定的数据A，此时系统的时间为2012年11月1日12点0分0秒，并将此时刻记录在查询日志中。系统在预设定的第二周期读取甲所对应的查询时刻，并计算相邻两次的被查询时刻的时间差(2012年10月1日12点0分0秒与2012年11月1日12点0分0秒之差)，为31日。若预设的时间阈值为3日，则因为31大于3，故将甲从存储介质中删除。

进一步的，如图5所示，还提供一种获取聚合数据的方法：

401、在数据库中删除原始数据和/或增加新数据。

当数据库中的原始数据发生变化(在原始数据中增加数据、删除数据和修改数据)时，重新生成聚合数据。能过触发该操作执行的事件包括但不限于：

原始数据发生变化后，在预定的时间点或按照预定的周期生成数据变化日志，系统按照预设定的周期读取该日志，从而生成聚合数据。

当数据库中原始数据发生变化时，自动生成数据变化日志，系统按照预设定的周期读取该日志，从而生成聚合数据。

当采用ELT(Extraction-Loading-Transformation，数据提取、加载和转换)工具更改数据时，数据完成更改后，触发系统生成聚合数据。

402、删除所述原数据所在的聚合数据。

将存储在存储介质中的聚合数据删除。

403、根据所述新数据生成聚合数据。

生成新的聚合数据后，将聚合数据存储在存储介质中。

本实施例提供一种获取聚合数据的方法，首先，按照预设的第一周期获取数据库的查询日志；然后将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库，当在聚合数据不存在需要的数据时，从原始数据中查找并返回；还提供维护聚合数据的方法，删除长时间没有使用的聚合数据，及时更新聚合数据。通过上述方案，一方面，降低聚合数据的存储成本，及时更新聚合数据；另一方面，提升查询速度，提高用户体验。

实施例3

本发明的一个实施例提供一种获取聚合数据的装置，如图6所示，该装置包括：

查询日志获取单元51，用于按照预设的第一周期获取数据库的查询日志；所述查询日志记录有数据查询命令、数据查询命令的执行耗时和数据查询命令的执行频率。

聚合数据生成单元52，用于当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。

进一步的，如图7所示，所述装置还包括：

判断单元53，用于当接收到所述数据查询命令时，判断所述数据库中是否存在符合查询命令的聚合数据；所述符合查询命令的聚合数据中包含所述数据查询命令所指定的数据。

返回数据单元54，用于当存在所述符合查询命令的聚合数据时，将所述符合查询命令的聚合数据中包含的所述数据查询命令所指定的数据返回给所述数据查询命令的发出方。

进一步的，如图8所示，所述装置还包括：

读取单元55，用于按照预设的第二周期读取所述被聚合数据的被查询时刻。

删除单元56，用于当所述被聚合数据相邻两次的被查询时刻的时间差超过预设的时间阈值时，将所述被聚合数据所在的聚合数据删除；当在所述数据库中删除原数据时，删除所述原数据所在的聚合数据。

进一步的，所述聚合数据生成单元52，还用于：

当在所述数据库中删除原数据和/或增加新数据时，根据所述新数据生成聚合数据。

需要指出的是，查询日志获取单元51，聚合数据生成单元52，判断单元53，返回数据单元54，读取单元55，删除单元56可以集成在处理器中。

本发明实施例还提供一种获取聚合数据的装置，如图9所示，该装置包括：

接收器601用于接收数据查询命令。

发送器602用于当存在所述符合查询命令的聚合数据时，将所述符合查询命令的聚合数据中包含的所述数据查询命令所指定的数据返回给所述数据查询命令的发出方。

处理器603用于：按照预设的第一周期获取数据库的查询日志；所述查询日志记录有数据查询命令、数据查询命令的执行耗时和数据查询命令的执行频率；当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库；除此之外，当接收到所述数据查询命令时，判断所述数据库中是否存在符合查询命令的聚合数据；所述符合查询命令的聚合数据中包含所述数据查询命令所指定的数据；还用于按照预设的第二周期读取所述被聚合数据的被查询时刻；当所述被聚合数据相邻两次的被查询时刻的时间差超过预设的时间阈值时，将所述被聚合数据所在的聚合数据删除；当在所述数据库中删除原数据时，删除所述原数据所在的聚合数据；当在所述数据库中增加新数据时，根据所述新数据生成聚合数据。

本实施例提供一种获取聚合数据的方法，首先，按照预设的第一周期获取数据库的查询日志；然后将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库，当在聚合数据找不到需要的数据时，从原始数据中查找并返回；还提供维护聚合数据的方法，删除长时间没有使用的聚合数据，及时更新聚合数据。通过上述方案，一方面，降低聚合数据的存储成本，及时更新聚合数据；另一方面，提升查询速度，提高用户体验。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在可读取的存储介质中，如移动接入终端硬盘或存储卡等，包括若干指令用以使得一台移动接入终端设备(可以是个人平板电脑，手机等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种获取聚合数据的方法，其特征在于，包括：

按照预设的第一周期获取数据库的查询日志；所述查询日志记录有数据查询命令、数据查询命令的执行耗时和数据查询命令的执行频率；

当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接收到所述数据查询命令时，判断所述数据库中是否存在符合查询命令的聚合数据；所述符合查询命令的聚合数据中包含所述数据查询命令所指定的数据；

当存在所述符合查询命令的聚合数据时，将所述符合查询命令的聚合数据中包含的所述数据查询命令所指定的数据返回给所述数据查询命令的发出方。

3.根据权利要求1所述的方法，其特征在于，所述查询日志还记录有：位于所述聚合数据中的被聚合数据的标识，以及所述被聚合数据的被查询时刻；

所述方法还包括：

按照预设的第二周期读取所述被聚合数据的被查询时刻；

当所述被聚合数据相邻两次的被查询时刻的时间差超过预设的时间阈值时，将所述被聚合数据所在的聚合数据删除。

4.根据权利要求1或2所述的方法，其特征在于，当在所述数据库中删除原数据和/或增加新数据时，所述方法还包括：

删除所述原数据所在的聚合数据；和/或

根据所述新数据生成聚合数据。

5.一种获取聚合数据的装置，其特征在于，包括：

查询日志获取单元，用于按照预设的第一周期获取数据库的查询日志；所述查询日志记录有数据查询命令、数据查询命令的执行耗时和数据查询命令的执行频率；

聚合数据生成单元，用于当所述数据查询命令的执行耗时超过预设的时间阈值，或所述数据查询命令的执行频率超过预设的频率阈值时，将满足所述数据查询命令的数据组合作为聚合数据存储入所述数据库。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

判断单元，用于当接收到所述数据查询命令时，判断所述数据库中是否存在符合查询命令的聚合数据；所述符合查询命令的聚合数据中包含所述数据查询命令所指定的数据；

返回数据单元，用于当存在所述符合查询命令的聚合数据时，将所述符合查询命令的聚合数据中包含的所述数据查询命令所指定的数据返回给所述数据查询命令的发出方。

7.根据权利要求5所述的装置，其特征在于，所述查询日志还记录有：位于所述聚合数据中的被聚合数据的标识，以及所述被聚合数据的被查询时刻；

所述装置还包括：

读取单元，用于按照预设的第二周期读取所述被聚合数据的被查询时刻；

删除单元，用于当所述被聚合数据相邻两次的被查询时刻的时间差超过预设的时间阈值时，将所述被聚合数据所在的聚合数据删除。

8.根据权利要求5或6所述的装置，其特征在于，所述删除单元还用于当在所述数据库中删除原数据时，删除所述原数据所在的聚合数据；

所述聚合数据生成单元还用于当在所述数据库中增加新数据时，根据所述新数据生成聚合数据。

Images