CN102799651A - 查询处理装置和查询处理方法 - Google Patents

Abstract

本发明提供了一种查询处理装置，包括：按查询维度和时间维度从业务表中提取数据，生成查询表，记录所述数据的装置；至少部分地将所述查询表作为查询数据源，执行极值查询操作的装置；在特定的时间根据所述业务表更新所述查询表的装置。本发明还提出一种查询处理方法。通过本发明的技术方案，可以准确、高效地进行数据查询。

Description

查询处理装置和查询处理方法

技术领域

本发明涉及数据查询技术领域，具体而言，涉及一种查询处理装置和一种查询处理方法。

背景技术

在大数据量OLTP（联机事务处理）系统中，根据给定的某些维度查询某一极值数据，如最新值、最小值，是非常占用系统资源，容易造成效率问题的操作。尤其在给定的维度不能够很好地对数据库表中的数据进行过滤时，效率问题会非常明显。

例如，在某ERP系统中，一张存放采购订单数据的表中有1000万条记录，某项业务操作中，要根据物料、供应商、采购组织三个维度查询最新（按订单日期）的一条采购价格记录，仅查询SQL语句在数据库系统中执行的时间就会达到10多秒钟。而这个查询只是本项业务操作的一个环节，整个过程下来，会发生较长时间等待，用户体验很差。

造成效率低的原因主要有：

1、表中的数据量大，一般都在千万级以上；

2、查询的维度不能够有效过滤数据，造成数据库系统要在整个表中进行扫描搜索相关数据；

3、数据库系统要对扫描出的数据再进行排序。

为提高这种查询操作的效率，当今主要的解决方案有以下几种：

1、在数据库表中添加索引；

2、根据时间维度分批递推查询；

3、将业务表数据进行压缩冗余存储。

第1种方案，是最简单的一种处理方法，在表中建上相关索引，索引字段主要包括那些常用的极值查询维度，例如上面所举例子，在物料、供应商、采购组织上建上联合索引。此种方案在给定的维度数据均匀分布的情况下会比较有效，数据库系统会使用索引极大提高扫描效率。但主要问题是，在查询维度数据分布较偏斜的情况下，索引会失效，并不能提高查询效率，数据分布偏斜在实际情况中是很常见的；另外的主要问题是在OLTP系统中，客户的并行量较大，时实性较高，较多的索引会降低对表的插入和修改操作，影响日常业务操作。

第2种方案，是根据给定维度再加上额外的时间维度来进行分批查询，先查询某一时间段的数据，如果找到了极值，就结束；如果未找到，就继续前推一时间段查询，直至查询到结果或查询完所有数据。因时间维度上一般会有索引且对数据有较好选择性，所以这种方案对于按时间维度找最新值一般会比较有效。但对于某些维度下不存在最新值或最新值较旧的情况下，因为要多次查询，效率会大大降低；这种方案还有一个致命缺陷是，它不能处理最大、最小值等情况，因为它们不是按时间维度排序的。

第3种方案，使用了以空间换时间的策略。即将业务表数据，压缩存储到另外的查询表中，查询操作从查询表中搜索，不在业务表上做极值查询。因查询表是按照常用查询维度进行压缩存储的，即相同维度的记录只存储一条，因此数据量较业务表会小很多，这种查询效率会提高很多。但这种方案最大的问题是如何维护查询表？当前的主要方法还是在做联机事务处理的同时，去更新或重新压缩查询表。这样就带来了最大的问题，尽管查询极值的效率提高了，但由于每种业务表的操作（增、删、改）都要维护查询表，使用联机事务处理的效率反而降低了，这是得不偿失的。

因此，需要一种数据查询技术，可以准确、高效地进行数据查询。

发明内容

针对上述问题，本发明的目的之一是提供一种查询处理装置，可以准确、高效地进行数据查询。

有鉴于此，本发明提出了一种查询处理装置，包括：按查询维度和时间维度从业务表中提取数据，生成查询表，记录所述数据的装置；至少部分地将所述查询表作为查询数据源，执行极值查询操作的装置；在特定的时间根据所述业务表更新所述查询表的装置。

在该技术方案中，通过查询表查询数据，数据的扫描量减小，从而可以高效地进行数据查询。并且当业务表中的数据发生变更时，不是立即对查询表进行更新，不影响系统的效率。变更的这部分数据通过其它方式获得，以确保数据查询的准确性。

优选地，还包括：根据所述业务表中相对于所述查询表删除或修改的数据，在查询表中标记与所述删除或修改的数据相应的数据的装置；则所述至少部分地将所述查询表作为查询数据源，执行极值查询操作的的装置将所述查询表中未被标记的数据以及所述业务表中相对于所述查询表修改的数据作为所述查询数据源。

在该技术方案中，由于业务表中修改或删除的数据不是立即更新到查询表，为了确保查询结果的准确性将业务表中修改或删除的数据在查询表中标记为无效。这样，在查询数据时可以不将查询表中此部分数据作为数据源，而是直接获得业务表中修改后的数据，将业务表中修改后的数据作为数据源进行查询，确保准确。

优选地，所述至少部分地将所述查询表作为查询数据源，执行极值查询操作的装置同时将所述业务表中相对于所述查询表新增的数据作为所述查询数据源。

在该技术方案中，由于业务表中新增的数据不是立即更新到查询表，因此同时将业务表中新增的数据作为数据源，确保查询结果准确。

优选地，所述在特定的时间根据所述业务表更新所述查询表的装置包括：在特定的时间将所述业务表中相对于所述查询表新增的数据提取，并添加到所述查询表的装置；在特定的时间将所述业务表中相对于所述查询表修改的数据提取，并更新到所述查询表的装置；在特定的时间将所述业务表中相对于所述查询表删除的数据对应地从所述查询表中删除的装置。

在该技术方案中，为了保持查询表与业务表的同步，在特定时间将业务表中新增、修改、删除的数据更新到查询表。这样，通过选择特定时间，可以既不影响系统的工作效率，还可以保持查询表与业务表不会有太多不同，减少数据查询时系统的工作量。

优选地，所述在特定的时间根据所述业务表更新所述查询表的装置包括：预设时间值，将预设的所述时间值作为所述特定时间的装置；或者，预设时间间隔值，将每经过所述时间间隔后的时间值作为所述特定时间的装置；或者，将系统的空闲时间作为特定时间的装置。

在该技术方案中，特定时间可以是设置一个固定的时间值，例如23点，则在每天的23点根据业务表更新查询表；特定时间也可以是设置固定的时间间隔，例如10小时，则每过10小时根据业务表更新一次查询表；特定时间还可以是系统的空闲时间，则在系统空闲时根据业务表更新查询表。

根据本发明的另一方面，提出一种查询处理方法，包括：按查询维度和时间维度从业务表中提取数据，生成查询表，记录所述数据；至少部分地将所述查询表作为查询数据源，执行极值查询操作；在特定的时间根据所述业务表更新所述查询表。

在该技术方案中，通过查询表查询数据，数据的扫描量减小，从而可以高效地进行数据查询。并且当业务表中的数据发生变更时，不是立即对查询表进行更新，不影响系统的效率。变更的这部分数据通过其它方式获得，以确保数据查询的准确性。

优选地，还包括：根据所述业务表中相对于所述查询表删除或修改的数据，在查询表中标记与所述删除或修改的数据相应的数据；则所述至少部分地将所述查询表作为查询数据源，执行极值查询操作的步骤中，将所述查询表中未被标记的数据以及所述业务表中相对于所述查询表修改的数据作为所述查询数据源。

在该技术方案中，由于业务表中修改或删除的数据不是立即更新到查询表，为了确保查询结果的准确性将业务表中修改或删除的数据在查询表中标记为无效。这样，在查询数据时可以不将查询表中此部分数据作为数据源，而是直接获得业务表中修改后的数据，将业务表中修改后的数据作为数据源进行查询，确保准确。

优选地，所述至少部分地将所述查询表作为查询数据源，执行极值查询操作的步骤中还包括：同时将所述业务表中相对于所述查询表新增的数据作为所述查询数据源。

在该技术方案中，由于业务表中新增的数据不是立即更新到查询表，因此同时将业务表中新增的数据作为数据源，确保查询结果准确。

优选地，其中所述在特定的时间根据所述业务表更新所述查询表的步骤包括：在特定的时间将所述业务表中相对于所述查询表新增的数据提取，并添加到所述查询表；在特定的时间将所述业务表中相对于所述查询表修改的数据提取，并更新到所述查询表；在特定的时间将所述业务表中相对于所述查询表删除的数据对应地从所述查询表中删除。

在该技术方案中，为了保持查询表与业务表的同步，在特定时间将业务表中新增、修改、删除的数据更新到查询表。这样，通过选择特定时间，可以既不影响系统的工作效率，还可以保持查询表与业务表不会有太多不同，减少数据查询时系统的工作量。

优选地，所述在特定的时间根据所述业务表更新所述查询表的步骤包括：预设时间值，将预设的所述时间值作为所述特定时间；或者，预设时间间隔值，将每经过所述时间间隔后的时间值作为所述特定时间；或者，将系统的空闲时间作为特定时间。

在该技术方案中，特定时间可以是设置一个固定的时间值，例如23点，则在每天的23点根据业务表更新查询表；特定时间也可以是设置固定的时间间隔，例如10小时，则每过10小时根据业务表更新一次查询表；特定时间还可以是系统的空闲时间，则在系统空闲时根据业务表更新查询表。

通过上述技术方案，可以准确、高效地进行数据查询。

附图说明

图1示出了根据本发明的实施例的查询处理装置的框图；

图2示出了根据本发明的实施例的查询处理方法的流程图；

图3A和图3B示出了根据本发明的实施例的查询处理方法中查询表生成和更新示意图；

图4示出了根据本发明的实施例的查询处理方法中对查询表的处理流程图；

图5示出了根据本发明的实施例的查询处理方法中查询数据来源的示意图；

图6示出了根据本发明的另一实施例的查询处理装置的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围不受下面公开的具体实施例的限制。

下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

图1示出了根据本发明的实施例的查询处理装置的框图。

如图1所示，根据本发明的实施例的查询处理装置100包括：查询表生成单元102，按查询维度和时间维度从业务表中提取数据，生成查询表，记录数据；数据查询单元104，至少部分地将查询表作为查询数据源，执行极值查询操作；查询表更新单元106，在特定的时间根据业务表更新查询表。

在该技术方案中，通过查询表查询数据，数据的扫描量减小，从而可以高效地进行数据查询。并且当业务表中的数据发生变更时，不是立即对查询表进行更新，不影响系统的效率。变更的这部分数据通过其它方式获得，以确保数据查询的准确性。

优选地，还包括：标记单元108，根据业务表中相对于查询表删除或修改的数据，在查询表中标记与删除或修改的数据相应的数据；则数据查询单元104将查询表中未被标记的数据以及业务表中相对于查询表修改的数据作为查询数据源。

在该技术方案中，由于业务表中修改或删除的数据不是立即更新到查询表，为了确保查询结果的准确性将业务表中修改或删除的数据在查询表中标记为无效。这样，在查询数据时可以不将查询表中此部分数据作为数据源，而是直接获得业务表中修改后的数据，将业务表中修改后的数据作为数据源进行查询，确保准确。

优选地，数据查询单元104同时将业务表中相对于查询表新增的数据作为查询数据源。

在该技术方案中，由于业务表中新增的数据不是立即更新到查询表，因此同时将业务表中新增的数据作为数据源，确保查询结果准确。

优选地，查询表更新单元106包括：新增数据子单元1062，在特定的时间将业务表中相对于查询表新增的数据提取，并添加到查询表；修改数据子单元1064，在特定的时间将业务表中相对于查询表修改的数据提取，并更新到查询表；删除数据子单元1066，在特定的时间将业务表中相对于查询表删除的数据对应地从查询表中删除。

在该技术方案中，为了保持查询表与业务表的同步，在特定时间将业务表中新增、修改、删除的数据更新到查询表。这样，通过选择特定时间，可以既不影响系统的工作效率，还可以保持查询表与业务表不会有太多不同，减少数据查询时系统的工作量。

优选地，查询表更新单元106还包括：时间设置子单元1068，预设时间值，将预设的时间值作为特定时间；或者，预设时间间隔值，将每经过时间间隔后的时间值作为特定时间；或者，将系统的空闲时间作为特定时间。

在该技术方案中，特定时间可以是设置一个固定的时间值，例如23点，则在每天的23点根据业务表更新查询表；特定时间也可以是设置固定的时间间隔，例如10小时，则每过10小时根据业务表更新一次查询表；特定时间还可以是系统的空闲时间，则在系统空闲时根据业务表更新查询表。

图2示出了根据本发明的实施例的查询处理方法的流程图。

如图2所示，根据本发明的实施例的查询处理方法包括：步骤202，按查询维度和时间维度从业务表中提取数据，生成查询表，记录数据；步骤204，至少部分地将查询表作为查询数据源，执行极值查询操作；步骤206，在特定的时间根据业务表更新查询表。

在该技术方案中，通过查询表查询数据，数据的扫描量减小，从而可以高效地进行数据查询。并且当业务表中的数据发生变更时，不是立即对查询表进行更新，不影响系统的效率。变更的这部分数据通过其它方式获得，以确保数据查询的准确性。

优选地，还包括：根据业务表中相对于查询表删除或修改的数据，在查询表中标记与删除或修改的数据相应的数据；则步骤204中，将查询表中未被标记的数据以及业务表中相对于查询表修改的数据作为查询数据源。

在该技术方案中，由于业务表中修改或删除的数据不是立即更新到查询表，为了确保查询结果的准确性将业务表中修改或删除的数据在查询表中标记为无效。这样，在查询数据时可以不将查询表中此部分数据作为数据源，而是直接获得业务表中修改后的数据，将业务表中修改后的数据作为数据源进行查询，确保准确。

优选地，步骤204中还包括：同时将业务表中相对于查询表新增的数据作为查询数据源。

在该技术方案中，由于业务表中新增的数据不是立即更新到查询表，因此同时将业务表中新增的数据作为数据源，确保查询结果准确。

优选地，其中步骤206还包括：在特定的时间将业务表中相对于查询表新增的数据提取，并添加到查询表；在特定的时间将业务表中相对于查询表修改的数据提取，并更新到查询表；在特定的时间将业务表中相对于查询表删除的数据对应地从查询表中删除。

在该技术方案中，为了保持查询表与业务表的同步，在特定时间将业务表中新增、修改、删除的数据更新到查询表。这样，通过选择特定时间，可以既不影响系统的工作效率，还可以保持查询表与业务表不会有太多不同，减少数据查询时系统的工作量。

优选地，步骤206还包括：预设时间值，将预设的时间值作为特定时间；或者，预设时间间隔值，将每经过时间间隔后的时间值作为特定时间；或者，将系统的空闲时间作为特定时间。

在该技术方案中，特定时间可以是设置一个固定的时间值，例如23点，则在每天的23点根据业务表更新查询表；特定时间也可以是设置固定的时间间隔，例如10小时，则每过10小时根据业务表更新一次查询表；特定时间还可以是系统的空闲时间，则在系统空闲时根据业务表更新查询表。

下面结合图3A至图5说明根据本发明的一个实施例的查询处理方法，该实施例是在联机事务处理中的具体应用。

首先，将业务表中的数据按查询维度和时间维度压缩到查询表业务表压缩生成查询表的主要步骤包括：

（1）定义出极限查询的维度集合；

（2）按此集合中的维度+时间维度（一般为操作时间戳）将业务表的记录进行分组；

（3）选出同一组内的极值数据；

（4）每一组数据生成一条查询表记录。

在通常情况下，大数据量的业务表会压缩成一个较小的查询表。而且查询表的字段只有查询维度信息和极值信息，占用的空间也相对较少。

参见图3A。假设有一张大数据数量的业务表，经常从中按维度m、s查询最新价和最低价。根据此种场景，可将业务表记录按m、s维度进行分组，每组内选出最新价、最低价，生成一条记录存到查询表中。

当业务表在新增记录时，不需要立即生成或更新查询表。在本技术方案下，对于新增这个操作不会立即生成或更新查询表数据。因为在联机事务处理中占比例较大的操作还在新增数据，所以本方案对新增操作不产生任何影响。

当业务表在修改、删除数据时，只需更新查询表中较少记录。查询表中存储了查询维度和时间维度，这样在修改和删除业务表记录时，只需要更新这个时间范围及相关维度下的记录即可。而且本方案也不是在联机事务处理过程中去重算这部分查询表记录，而且只将这部分记录打上个无效标识，代表它们已经是不可用的查询数据。使其对修改、修改操作的影响降到最低。

参见图3B，如果客户在修改或删除了pki记录信息，则查询表中的相关记录会将有效标记（valid）置为无效状态（N），这样当从此表中查询极值信息时，就会过滤到这条无效记录。

对前文所述业务表中发生的新增、修改、删除数据的操作，使用应用系统的定时任务功能，在非繁忙时间段将业务表新增记录压缩到查询表并重算无效记录，以保持查询表中的数据有效。

本技术方案会使用应用系统中的定时任务功能（一般的ERP系统均提供此功能）。在系统空闲时间，使用定时任务功能完成两项任务，一是将业务表中上次压缩之后产生的新记录压缩到查询表中，此项任务可设置每月执行一次，例如每月1日23点开始执行；二是将查询表中的无效记录从业务表进行重新计算，此项任务可设置每天执行一次，例如每天22点开始执行。设置在空闲时间，可避免对日常业务操作造成影响，也可根据客户现场实际情况动态调整。

参见图4，图4示出了本实施例中对查询表的处理流程图。

在步骤402中，获取业务表的数据；

在步骤404中，判断业务表中的数据是否发生变更；

当步骤406中的判定结果为是时，在步骤406中执行定时任务，将新记录压缩到查询表中，将查询表中的无效记录从业务表进行重新计算。

在步骤408中，得到新的查询表的数据。

通过上述流程将大数据量业务表的数据压缩到小数据量的查询表中，使用定时任务在业务系统空闲时间完成压缩和重算，对联机事务处理操作不会产品影响。

参见图5，图5示出了本实施例中查询数据来源的示意图。

为保证查询结果的完整性正确性，必须从业务表和查询表中联合取数。需要扫描的查询数据源包括三部分。

501是业务表中经过定时任务最后一次压缩之后又新增的数据，如果定时任务是每月一次的话，这部分数据量就是业务表中一个月的数据量；

502是已经压缩到查询表中有效的数据，这部分数据是经过压缩的，通常情况下数据量较小；

503是由于业务表中修改或删除已经压缩过的数据，导致的查询表标识为无效的数据，这部分的数据量应该是非常小，因为每天的定时任务会重算这部分数据。这部分无效的数据可以关联业务表取得。

本发明的技术方案可以保证高效地从三部分数据源中取得正确的极值数据。第一，三部分查询在数据库系统中只使用一条SQL语句即可实现。第二，三部分待查数据量均较少，查询效率会较高。501是一个月的数据量，如果还多，可调整定时任务周期，从每月降到每周，甚至更频繁。502部分是压缩数据，数据在查询维度分布偏斜的情况下，压缩比例较高数量较少，如果有极端情况数据分布非常均匀，则在查询表的这些维度上建立索引，会有效再提高查询效率。503部分是通过每天的定时任务重算之后的数据，量很小。这样在保证总的扫描数据量小的前提下，会有效地提高查询速度。

图6示出了根据本发明的另一实施例的查询处理装置的示意图。

根据本发明的另一实施例的查询处理装置600包括：业务表新增记录定时压缩组件602，业务表修改（删除）记录更新查询表组件604，查询表无效记录定时重压缩组件606，查询表公共操作支持组件608，极值查询组件610五个主要组件。

业务表新增记录定时压缩组件602，完成对业务表中上次压缩之后产品的新记录再次压缩到查询表功能。

业务表修改（删除）记录更新查询表组件604，完成业务表修改（删除）记录后对查询表标识相关压缩记录无效功能。

查询表无效记录定时重压缩组件606，承担对查询表无效记录根据查询维度从业务表重新压缩生成的功能。

极值查询组件608，完成从查询表和业务表中组织数据生成最终查询结果功能。

查询表操作公共组件610，承担所有对查询表进行新增、修改、删除、查询等公共操作的功能。

根据本发明，该实施例解决了在大数据量的OLTP系统中，高效正确地查询极值的问题。既可以保证在不影响OLTP系统中日常的业务操作效率的前提下，显著减少对业务系统表的数据扫描，极大提高极值数据查询的效率。

综上，根据本发明的数据查询技术，可以准确、高效地进行数据查询。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种查询处理装置，其特征在于，包括：

按查询维度和时间维度从业务表中提取数据，生成查询表，记录所述数据的装置；

至少部分地将所述查询表作为查询数据源，执行极值查询操作的装置；

在特定的时间根据所述业务表更新所述查询表的装置。

2.根据权利要求1所述的查询处理装置，其特征在于，还包括：

根据所述业务表中相对于所述查询表删除或修改的数据，在查询表中标记与所述删除或修改的数据相应的数据的装置；

则所述至少部分地将所述查询表作为查询数据源，执行极值查询操作的装置将所述查询表中未被标记的数据以及所述业务表中相对于所述查询表修改的数据作为所述查询数据源。

3.根据权利要求1所述的查询处理装置，其特征在于，所述至少部分地将所述查询表作为查询数据源，执行极值查询操作的装置同时将所述业务表中相对于所述查询表新增的数据作为所述查询数据源。

4.根据权利要求1所述的查询处理装置，其特征在于，所述在特定的时间根据所述业务表更新所述查询表的装置包括：

在特定的时间将所述业务表中相对于所述查询表新增的数据提取，并添加到所述查询表的装置；

在特定的时间将所述业务表中相对于所述查询表修改的数据提取，并更新到所述查询表的装置；

在特定的时间将所述业务表中相对于所述查询表删除的数据对应地从所述查询表中删除的装置。

5.根据权利要求1至4中任一项所述的查询处理装置，其特征在于，所述在特定的时间根据所述业务表更新所述查询表的装置包括：

预设时间值，将预设的所述时间值作为所述特定时间的装置；

或者，预设时间间隔值，将每经过所述时间间隔后的时间值作为所述特定时间的装置；

或者，将系统的空闲时间作为特定时间的装置。

6.一种查询处理方法，其特征在于，包括：

按查询维度和时间维度从业务表中提取数据，生成查询表，记录所述数据；

至少部分地将所述查询表作为查询数据源，执行极值查询操作；

在特定的时间根据所述业务表更新所述查询表。

7.根据权利要求6所述的查询处理方法，其特征在于，还包括：

根据所述业务表中相对于所述查询表删除或修改的数据，在查询表中标记与所述删除或修改的数据相应的数据；

则所述至少部分地将所述查询表作为查询数据源，执行极值查询操作的步骤中，将所述查询表中未被标记的数据以及所述业务表中相对于所述查询表修改的数据作为所述查询数据源。

8.根据权利要求6所述的查询处理方法，其特征在于，所述至少部分地将所述查询表作为查询数据源，执行极值查询操作的步骤中还包括：

同时将所述业务表中相对于所述查询表新增的数据作为所述查询数据源。

9.根据权利要求6所述的查询处理方法，其特征在于，其中所述在特定的时间根据所述业务表更新所述查询表的步骤包括：

在特定的时间将所述业务表中相对于所述查询表新增的数据提取，并添加到所述查询表；

在特定的时间将所述业务表中相对于所述查询表修改的数据提取，并更新到所述查询表；

在特定的时间将所述业务表中相对于所述查询表删除的数据对应地从所述查询表中删除。

10.根据权利要求6至9中任一项所述的查询处理方法，其特征在于，所述在特定的时间根据所述业务表更新所述查询表的步骤包括：

预设时间值，将预设的所述时间值作为所述特定时间；

或者，预设时间间隔值，将每经过所述时间间隔后的时间值作为所述特定时间；

或者，将系统的空闲时间作为特定时间。

Images