CN103455560A

CN103455560A - 一种数据查询方法及系统

Info

Publication number: CN103455560A
Application number: CN2013103476547A
Authority: CN
Inventors: 宋怀明; 苗艳超; 刘新春; 邵宗有
Original assignee: Dawning Information Industry Co Ltd
Current assignee: Dawning Information Industry Co Ltd
Priority date: 2013-08-12
Filing date: 2013-08-12
Publication date: 2013-12-18

Abstract

本发明公开了一种数据查询方法，接收到用户的查询请求，该查询请求中包括查询条件，将查询请求中的查询条件与历史查询条件进行比较，如果历史查询结果中存在可复用结果，那么就进行增量查询。本发明还公开了一种数据查询系统。采用本发明的技术方案，通过对查询结果的复用，可以显著提高数据库系统的查询处理性能，降低单个查询处理的系统资源占用率，节省计算资源，提高整个系统的吞吐率。

Description

一种数据查询方法及系统

技术领域

本发明涉及数据查询统计技术领域，尤其涉及一种数据查询方法及系统。

背景技术

在数据库系统中，用户在不同时刻提交的查询请求往往含有一些共同的特征，比如不同时刻提交的查询含有相同或者类似的查询条件。通常对于业务系统的查询业务是相对固定的，用户在这些业务模式下提交的查询语句形式上是一致的，可能存在部分查询条件的差异。针对这些相似的查询，数据库在进行查询处理时大部分的计算是重复的，比如对北京地区气温数据库中进行如下两个查询：

1)统计北京地区7月份每天的平均温度；

2)统计北京地区夏季(7～9月份)每天的平均温度。

不难发现，第二个查询中包含了第一个查询的结果。现有的数据库系统的查询优化设计，每次都会对指定的数据集合按照指定的查询条件进行完全计算，忽略了历史查询中存在的可用的结果。而每次都忽略这些查询请求之间的相似性，将每个查询处理孤立看待，就会存在很多重复的计算，这很显然是一种计算资源的浪费。

发明内容

本发明旨在针对现有技术存在的以上问题，提供一种数据查询方法及系统，可有效提高历史查询结果的利用率，从而提高查询处理的性能。

为达到上述目的，本发明提出了一种数据查询方法，包括以下步骤：

接收用户的查询请求，所述查询请求包括查询条件；

将所述查询条件与历史查询条件进行比较；

当历史查询结果中存在可复用结果时，进行增量查询，所述历史查询结果是指与所述历史查询条件相应的查询结果。

所述历史查询结果中存在可复用结果，具体是指用户发送的查询请求中的查询条件与所述历史查询条件存在交集。

所述进行增量查询具体为：对所述查询条件中不存在可复用结果的其余查询条件执行查询操作，得到其余查询条件的查询结果；并利用所述其余查询条件的查询结果以及所述可复用结果获得最终查询结果。

所述方法还包括：将所述最终查询结果进行切分，形成多个查询子结果并保存。

所述切分，具体是按范围条件切分，或者按列表条件切分。

所述保存具体为：将查询子结果保存在磁盘文件中，内存中保存查询子结果的入口地址，所述入口地址指向对应的磁盘文件存储地址。

本发明还提出了一种数据查询系统，主要技术方案如下：

接收单元，用于接收用户的查询请求，所述查询请求包括查询条件；

比较单元，用于将所述查询条件与历史查询条件进行比较；

查询单元，用于当历史查询结果中存在可复用结果时，进行增量查询，所述历史查询结果是指与所述历史查询条件相应的查询结果。

所述查询单元的增量查询具体为：对所述查询条件中不存在可复用结果的其余查询条件执行查询操作，得到其余查询条件的查询结果。

所述查询单元还用于，利用所述其余查询条件的查询结果以及所述可复用结果获得最终查询结果。

所述系统还包括：切分单元，用于将所述最终查询结果进行切分，形成多个查询子结果并保存。

本发明提供的数据查询方法及数据查询系统，通过对查询结果的复用，可以显著提高数据库系统的查询处理性能，还可以降低单个查询处理的系统资源占用率，进一步节省计算资源，从而提高整个系统的吞吐率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

图1为现有技术中关系表示示意图；

图2为本发明实施例的方法流程图；

图3为本发明实施例的结果存储示意图；

图4为本发明实施例的系统结构示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。

通常情况下，对数据进行查询得到的查询结果之间会有以下三种关系：无关、相交和包含。三种关系表示如图1所示，A、B分别为两个查询结果。(a)无关、表示这两个查询结果之间不存在交集，(b)相交、表示两个查询结果存在共同部分，而(c)包含则表示一个查询结果是另一查询结果的一部分，即如图1所示，A是B的一部分。当然，对于(b)相交和(c)包含这两种情况，还有一种理解方式，也就是，包含是相交的一种特殊情况，包含则表示两个查询结果的交集是其中一个查询结果，也即图1中所示的A。

本发明实施例主要是针对上述说明中相交和包含这两种场景，提出了一种数据查询方法，利用前后查询之间的条件关系，充分利用历史查询结果，降低重复计算，从而提高查询效率。

本发明实施例提出的数据查询方法主要是利用查询结果的复用，具体方法的实现过程，如图2所示，包括以下步骤：

S101、用户通过数据库SQL语句发送查询请求；

S102、查询引擎接收用户发送的查询请求，其中，该查询请求中携带有用户的查询条件。

S103、查询引擎对用户的查询请求进行分析，由于一段时间内的查询通常具有一定的相似性，本发明实施例通过将查询请求中查询条件与历史查询进行比较，进一步计算用户本次的查询条件与历史查询条件之间的相似关系。

其中，历史查询结果保存在数据库的结果集暂存区中。计算相似关系的方法可采用现有技术中的相似关系算法，本发明在此不做赘述。

比如：历史查询记录有“北京7月平均温度”的查询结果，用户本次的查询条件为“北京7月到9月平均温度”，那么经过计算重叠部分为北京7月的平均温度。

S104、根据上述相似关系进一步判断历史查询结果中是否存在可以复用的查询结果，如果存在可复用的查询结果，则执行步骤S104；否则，根据用户的查询条件进行完整的查询处理，并形成最终的结果集，保存到结果集暂存区内。

其中，这里所说的历史查询结果，指的是与历史查询条件相对应的查询结果。

用户本次的查询条件与历史查询条件之间，如果是存在部分交集或者本次查询条件包含历史查询条件时，本发明实施例认为历史查询结果中存在可复用的查询结果。

如上面举例情况，由于重叠部分为北京7月的平均温度，则本发明实施例认为历史查询结果中存在可复用的查询结果，该可复用的查询结果即为北京7月平均温度。

S105、对于用户的查询条件，在历史查询结果中不存在可复用的查询结果的那部分，执行增量查询操作，得到不存在可复用结果那部分的查询结果，也即增量部分的查询结果。

对于上述举例中，查询条件中不存在可复用结果的其余查询条件指的就是北京8月平均温度以及北京9月平均温度，本发明实施例分别对“北京8月平均温度”和“北京9月平均温度”进行查询后得到查询条件中不存在可复用结果的其余查询条件的查询结果，当然也可以直接对“北京8月到9月平均温度”等查询条件进行查询。

S106、将上述其余查询条件的查询结果与历史查询结果中存在的可复用的查询结果进行合并，形成最终的结果集，并保存到结果集暂存区。

对于上述举例，也就是，将历史查询结果“北京7月平均温度”和其余条件的查询结果“北京8月平均温度”、“北京9月平均温度”求和后再除以3(7月到9月为3个查询子结果)，形成最终的结果集“北京7月到9月平均温度”，存储到结果集暂存区。

本发明实施例提出的数据查询方法中，对每次的查询结果的保存操作，也即S106结果保存步骤，包括对最终结果保存或者对增量结果保存。对结果的保存采用的是分块缓存，是对查询结果按照查询条件进行细粒度的切分保存，而不是按照整个查询结果进行保存。采用这样的保存方式，同样有助于查询请求相似性的比较。针对按照查询条件对查询结果进行细粒度切分，本发明实施例提供了两种查询结果切分方法，分别是范围条件切分和列表条件切分。下面分别对二者进行详细说明：

一)范围条件切分

查询语句的where条件中带有不等号条件的关键字，包括大于号(“＞”)、大于等于号(“≥”)、小于号(“＜”)、小于等于号(“≤”)。比如：

Where coll＞1000；

Where date≥‘2012-05-01’and date＜‘2013-04-30’；

如果查询结果集为RS，也即RS{key₁，key₂，key3...key_Max}，那么按照一定的取值(该取值可以根据需要设置)进行范围切分，切分后表示的结果集区间可以分别为如下的情况：

RS1：coll＜Key₁(即查询结果中满足coll＜Key₁的部分)；

RS2：Key₁≤coll＜Key₂(即查询结果中coll满足大于等于Key₁而又小于Key₂的部分)；

…

RS_m：Key_m-1≤coll＜Key_Max；

在用户的查询条件中，由于范围条件可能不存在上下边界，即，无法判断RS₁和RS_m的结果的上下边界。因此，在结果保存时，可以将最高部分和最低部分的结果子集剔除，只保留RS₂～RS_m-1这几个子集的结果。

上述内容只是给出本发明实施例的一个切分示例，具体的切分粒度大小可以根据实际应用的特征进行设置。比如说，在某交易系统中，用户常常是按照月为单位进行交易统计的，那么，在对查询结果切分时，可以考虑切分粒度是以月为单位的。

如：由于对天气的平均温度查询常常以月份为单位，那么，对于“北京7月到9月平均温度”这一最终查询结果，可以采用范围条件切分，切分为“北京7月平均温度”、“北京8月平均温度”、“北京9月平均温度”。当然，也可以设置成以其他时间为单位的切分，比如按天或者按上午下午来切分。对于增量查询结果“北京8月到9月平均温度”可以切分为“北京8月平均温度”、“北京9月平均温度”。

二)列表条件切分

查询语句的where条件中含有in或者等号“＝”的关键字信息。比如：

1)where city in(北京，上海，天津，重庆)；

2)where city＝北京or city＝上海or city＝天津or city＝重庆；

在对列表条件进行切分时，可以按照属性列的每个取值进行切分，也即，按照每个取值的结果区分开，这样就可以将一个完整的结果集合拆分成了多个细分的子结果集保存。当后续的查询中有相同的列表，或者列表中出现重复的值时，可以将列表与现有的结果集进行比对，然后缩减后进行查询。

对于按列表条件切分，可以举例如下：同样是“北京7月到9月平均温度”可以切分为“海淀区7月到9月平均温度”、“朝阳区7月到9月平均温度”等等。

根据上述的切分方法，将查询结果切分成多个查询子结果以后，需要对查询子结果进行保存。对于查询子结果的保存如图3所示，查询子结果的数据保存在磁盘文件中，内存中保存查询子结果入口的地址，这个地址是指向对应的文件存储地址的，表示某一个列表值的结果保存的位置。其中，地址可以采用一个含有三个参数的向量进行描述，如{文件名，起始位置，数据长度}，来表示该列表所对应的结果在某个文件中的具体位置。该结果描述方式同时也表明，多个列表值的结果可以保存在同一个文件中的不同位置，避免因为过多的小文件引起的性能瓶颈。上述结果保存方式同样适用于按照范围条件切分的情况。

将查询结果进行切分后，则有利于对后续用户的查询进行增量的查询，以达到结果复用、节省计算资源的目的。可以假设已保存的结果集中的表示的是属性值列表集合是A，而新的查询中的属性值列表是B。那么，新的查询的列表集合可以表示为B-A，也就是需要查询的列表值除掉已经包含结果的列表值。而查询执行完成后，需要将这部分已有的结果与查询结果进行合并。具体可以分解为以下三个步骤：

1)计算增量查询部分的列表值B-A；

2)计算增量查询部分的结果Q(B-A)；

3)将增量查询部分的结果与已有结果进行合并Q(B-A)+Q(B∩A)；

不难证明合并后的结果即为需要的最终结果，即：

Q(B)＝Q(B-A)+Q(B∩A)。

比如，查询第四季度(10月、11月、12月)用户的消费总额，历史查询结果中包括有10月份的消费总额，假设10月份的消费总额为15亿元，那么增量查询部分为一季度消费总额减去1月份的消费总额，即11月及12月的消费总额。假设系统查询得到11月及12月的消费总额为46.5亿元，也即增量查询部分的结果为46.5亿元。那么，最终的查询结果应为15亿元+46.5亿元，即61.5亿元。

当然，最终结果的计算还可以根据查询条件进行其他进一步的计算，比如，查询条件是计算平均值，那么最终结果计算公式可以为：

Q(B)＝【Q(B-A)*增量结果切分的子结果数+Q(B∩A)*已有结果切分的子结果数】/查询子结果的总个数

比如，查询一年(12个月)的月平均营业额。假设系统对查询结果的切分是以季度为单位进行切分的，也就是说，每个季度的数据作为一块。历史查询结果中包括有一季度的月平均营业额，假设一季度的月平均营业额为3.5亿元，那么增量查询部分为一年减去一季度的月平均营业额，即二季度、三季度以及四季度的月平均营业额。假设系统查询得到二季度、三季度以及四季度(切分后子结果数量为3)的月平均营业额为4.5亿元，也即增量查询部分的结果为4.5亿元。那么，最终的查询结果应为(3.5亿+4.5亿*3)/4＝4.25亿元。

本发明实施例对历史可复用结果与增量查询部分结果的合并操作仅给出了如上所述的“计算总额”与“计算平均值”这两种计算方式，实际应用过程中可根据需要利用不同的计算公式或计算方法来实现二者的合并。本领域技术人员在了解本发明的思想基础上可以有其他的计算公式或计算方法，显然，这些计算公式或计算方法也应在本发明的保护范围之内。

基于同一发明构思，本发明实施例还提供了一种数据查询系统，如图4所示，包括：接收单元201，用于接收用户的查询请求，该请求中至少包括有用户当前的查询条件。比较单元202，用于将接收单元201接收到的用户当前的查询条件与历史查询条件进行比较，并得到相应的比较结果。其中，历史查询条件保存在系统历史记录中。具体的比较方法可以采用现有技术中的相似计算方法，本发明对此不作限制。比较结果可能是用户当前的查询条件与历史查询条件没有交集，也就是说不存在可复用结果；比较结果还可能是用户当前的查询条件与历史查询条件有交集，交集可以是包含或相交，不管是包含和相交哪种情况都代表历史查询结果中存在可复用结果。

查询单元203，根据上面比较单元202得到的比较结果，进行相应的查询。当历史查询结果中不存在可复用结果时，查询单元203执行完整查询操作；该完整查询为现有技术中一般的查询操作，本发明实施例在此不做赘述。而当历史查询结果中存在可复用结果时，则进行增量查询。其中，历史查询结果是指与历史查询条件相应的查询结果，保存在结果集暂存区中。

历史查询结果中存在可复用结果，指的是用户发送的当前查询条件与历史查询条件存在交集，也即，历史查询结果中存在部分或全部用户当前所要查询的结果。

上面所说的查询单元203进行增量查询，具体操作过程为：首先对当前查询条件中不存在可复用结果的其余查询条件执行查询操作，得到其余查询条件的查询结果；然后再利用得到的其余查询条件的查询结果以及历史查询结果中可复用结果，来获得最终的查询结果。

本发明实施例提供的数据查询系统还包括：切分单元204，用于切分查询结果。本发明实施例中的切分单元204可以将最终的查询结果进行切分，切分成多个查询子结果以后进行保存，具体切分后的查询子结果可以保存在结果集暂存区中。当然，切分单元204也可以用于切分增量查询的其他条件的查询结果。

本发明实施例的切分单元204，将查询结果进行切分后，有利于对后续用户的查询进行增量的查询，以达到结果复用、节省计算资源的目的。而其中具体的切分方法可参考本发明实施例所提供的数据查询方法中所描述的切分部分的技术内容。

本发明提出的查询结果复用方法，主要是利用历史查询的计算结果来减少当前查询处理的计算量。由于一段时期内的查询通常具有一定的相似性，一次查询的结果很有可能在之前的查询处理中已经计算过或者部分计算过。因此，采用本发明提供的方法可以显著提高数据库系统的查询处理性能。另外，对查询结果的复用，也能降低单个查询处理的系统资源占用率，节省计算资源，提高整个系统的吞吐率。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，本领域技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围内。

Claims

1.一种数据查询方法，其特征在于，包括以下步骤：

接收用户的查询请求，所述查询请求包括查询条件；

将所述查询条件与历史查询条件进行比较；

2.如权利要求1所述的数据查询方法，其特征在于，所述历史查询结果中存在可复用结果，具体是指用户发送的查询请求中的查询条件与所述历史查询条件存在交集。

3.如权利要求1所述的数据查询方法，其特征在于，所述进行增量查询具体为：对所述查询条件中不存在可复用结果的其余查询条件执行查询操作，得到其余查询条件的查询结果；并利用所述其余查询条件的查询结果以及所述可复用结果获得最终查询结果。

4.如权利要求3所述的数据查询方法，其特征在于，所述方法还包括：将所述最终查询结果进行切分，形成多个查询子结果并保存。

5.如权利要求4所述的数据查询方法，其特征在于，所述切分，具体是按范围条件切分，或者按列表条件切分。

6.如权利要求4所述的数据查询方法，其特征在于，所述保存具体为：将查询子结果保存在磁盘文件中，内存中保存查询子结果的入口地址，所述入口地址指向对应的磁盘文件存储地址。

7.一种数据查询系统，其特征在于，包括：

比较单元，用于将所述查询条件与历史查询条件进行比较；

8.如权利要求7所述的数据查询系统，其特征在于，所述查询单元的增量查询具体为：对所述查询条件中不存在可复用结果的其余查询条件执行查询操作，得到其余查询条件的查询结果。

9.如权利要求8所述的数据查询系统，其特征在于，所述查询单元还用于，利用所述其余查询条件的查询结果以及所述可复用结果获得最终查询结果。

10.如权利要求9所述的数据查询系统，其特征在于，所述系统还包括：切分单元，用于将所述最终查询结果进行切分，形成多个查询子结果并保存。