CN103440296A - 数据查询方法和装置 - Google Patents

Abstract

本发明提供了一种数据查询方法和装置，涉及海量数据查询技术领域。所述方法包括：获取数据查询的请求，并将所述数据查询的请求分解为多个子查询任务，其中，所述多个子查询任务组成一个任务流；在所述任务流的执行过程中，针对所述每个子查询任务，启动多个备份进程或线程进行相同的查询；根据所述每个子查询任务的查询结果，得到所述数据查询的结果集。本发明对每个子查询任务启动多个线程或进程进行相同的查询，只要其中一个线程或进程执行成功，就能获得数据查询结果，从而提高了查询执行的可靠性，提高了数据查询的成功率和效率。

Description

数据查询方法和装置

技术领域

本发明涉及海量数据查询技术领域，特别涉及一种数据查询方法和装置。

背景技术

随着数据业务的增多，如何高效率的进行数据查询的问题越来越被用户所重视。现有技术中提供了一种分布式查询技术，将一个大的查询任务分解为多个子查询任务，每个子查询任务分步去执行查询，最终得到查询结果。

现有的数据查询方法中，有些任务可以并行，有些则需要有先后依赖，对于相互依赖的任务，任何一个任务失败，都将导致整个工作流的失败，查询也就失败了，任务变多了，失败的概率也随之增加。

发明内容

本发明针对上述问题，提出了一种数据查询方法和装置。

在一个方面，本发明提供了一种数据查询方法，所述方法包括：

获取数据查询的请求，并将所述数据查询的请求分解为多个子查询任务，其中，所述多个子查询任务组成一个任务流；

在所述任务流的执行过程中，针对所述每个子查询任务，启动多个备份进程或线程进行相同的查询；

根据所述每个子查询任务的查询结果，得到所述数据查询的结果集。

在另一个方面，本发明提供了一种数据查询装置，所述装置包括：

任务分解模块，用于获取数据查询的请求，并将所述数据查询的请求分解为多个子查询任务，其中，所述多个子查询任务组成一个任务流；

子任务查询模块，用于在所述任务流的执行过程中，针对所述每个子查询任务，启动多个备份进程或线程进行相同的查询；

数据获取模块，用于根据所述每个子查询任务的查询结果，得到所述数据查询的结果集。

本发明提供的技术方案的有益效果包括：对每个子查询任务启动多个线程或进程进行相同的查询，只要其中一个线程或进程执行成功，就能获得数据查询结果，从而提高了查询执行的可靠性，提高了数据查询的成功率和效率。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1是本发明实施例1中提供的一种数据查询方法的流程图；

图2是本发明实施例2中提供的一种数据查询方法的流程图；

图3是本发明实施例2中提供的一种任务分解示意图；

图4是本发明实施例2中提供的一种多线程启动示意图；

图5是本发明实施例3中提供的一种数据查询装置的示意图；

图6是本发明实施例3中提供的另一种数据查询装置的示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。

本实施例中所涉及的冗余执行可靠性查询技术是针对一个查询会启动多进程或线程做同样的工作，如果其中一个线程或进程出故障，则其他正确执行的进程或线程仍然可以保证返回正确的结果，提高查询可靠性。

线程是程序中一个单一的顺序控制流程。在单个程序中同时运行多个线程完成不同的工作，称为多线程。

进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。

实施例1

参见图1，本实施例中提供了一种数据查询方法，所述方法包括：

101、获取数据查询的请求，并将所述数据查询的请求分解为多个子查询任务，其中，所述多个子查询任务组成一个任务流；

102、在所述任务流的执行过程中，针对所述每个子查询任务，启动多个备份进程或线程进行相同的查询；

103、根据所述每个子查询任务的查询结果，得到所述数据查询的结果集。

在另一实施例中，所述针对每个子查询任务，启动多个备份进程或线程进行相同的查询，包括：

当所述子查询任务对应的查询数据是多副本数据时，针对不同的副本启动多个备份进程或是线程进行查询。

在另一实施例中，所述针对每个子查询任务，启动多个备份进程或线程进行相同的查询，包括：

当所述子查询任务对应的查询数据是单副本数据时，针对同一个副本启动多个备份进程或是线程进行查询。

可选地，所述针对每个子查询任务，启动多个备份进程或线程进行相同的查询之后，还包括：

当所述多个备份进程或线程执行数据查询失败后，如果所述数据查询失败的原因是数据连接失败，则采用重试机制，尝试重新建立数据连接。

优选地，所述根据所述每个子查询任务的查询结果，得到所述数据查询的结果集，包括：

在所述任务流中的其中一个子查询任务执行时，当接收到所述其中一个子查询任务的某个进程或线程的查询结果时，判断所述查询结果是否正确，如果所述查询结果为正确的结果，则根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集；如果所述查询结果不正确，则等待接收其他进程或者线程的查询结果，直到获取一个正确的查询结果为止，然后再根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集。

本实施例的有益效果包括：对每个子查询任务启动多个线程或进程进行相同的查询，只要其中一个线程或进程执行成功，就能获得数据查询结果，从而提高了查询执行的可靠性，提高了数据查询的成功率和效率。

实施例2

参见图2，本实施例中提供了一种数据查询方法，基于冗余执行可靠性查询技术，提高数据查询的成功率，具体方法包括：

201、获取数据查询的请求，并将该数据查询请求分解为多个子查询任务。

本步骤中，终端获取用户的数据查询请求，在分布式数据库查询引擎中，将该数据查询请求分发到集群上，对分布式存储的数据进行查询。具体的，将一个大的查询拆分成很多任务，逐步去执行，即执行一个任务流，有些任务可以并行，有些则需要有先后依赖，此处与现有技术类似，对此本实施例中不再赘述。

202、在任务流的执行过程中，针对每个子查询任务，启动多个备份进程或线程进行相同的查询。

本实施例中，每个任务执行的时候，都会启动多个备份进程或线程进行相同的查询，如果数据是多副本的，则针对不同的副本启动多个备份进程或线程，这种情形可以很好的防止因为某些副本丢失或者读取失败导致任务执行失败。如果只有一个数据副本，则针对同一个副本同时启动多个进程或线程进行相同的查询，这种情形下冗余执行可以很好的防止数据偶然性的连接失败导致的任务失败，因为某些进程或线程访问失败了，其它的进程或者线程可能是成功的。

多副本和单副本两种情形下的冗余执行都可以针对多种原因导致的失败起到很好的容错效果。尤其是多进程冗余执行，如果是在不同的操作系统环境下执行，某些环境运行失败，其它环境很可能会成功。

值得说明的是，上述两种情形尤其是第二种单副本的情形需要考虑防止执行某个任务的多进程或线程由于调度问题或资源抢占问题，导致运行缓慢，而拖慢整个查询任务流的进度。典型的情形就是：更新任务的执行。一个副本的数据不能同时被多进程或线程更新，需要加锁，多个进程或者线程因为锁的互斥效应只能串行的处理，会拖慢任务进度。本实施例不需要担心这个问题，本实施例的前提是海量数据查询，不包括更新操作。

为了使本领域技术人员能够更加清楚的了解本发明提供的冗余查询技术，现举例如下：

获取一个数据查询请求，将该数据查询请求分为三个阶段，如图3所示，第一阶段四个子任务并行，第二阶段两个子任务并行，第三阶段为最后一个任务，用于成功返回整个查询的结果。对于任务2启动多个线程进行查询，如图4所示，对于任务2启动线程2a，2b，在任务流的具体执行过程中，当任务2的某个线程执行失败时，其他线程还有可能成功，且第一阶段的四个查询任务也不会都是无效查询，因此提高了整个查询成功的概率，同时降低了重复整个查询带来的较高的资源开销。

203、当所述子任务查询模块执行数据查询失败后，如果所述数据查询失败的原因是数据连接失败，则采用重试机制，尝试重新建立数据连接。

本实施例中，冗余的实现会因为数据是多副本或者单副本有不同的实现，多副本的冗余实现可以更大概率的降低失败的情形，这些冗余执行访问不同的数据，也可能在不同的节点(限于多进程冗余执行)上启动，不同的因素增加，使得一个执行失败，另一个成功的概率增加。如果是单副本的情况，如果是因为数据问题导致失败，冗余执行都是读取相同的副本，则每个线程都会失败；如果是数据连接失败，冗余执行尝试重新连接，成功率也会增加。

本实施例中，当所述多个备份进程或线程执行数据查询全部失败，则认为此子查询任务执行失败。当所属多个备份进程或者线程执行数据查询，只要有一个成功，便获得这个成功的查询结果；有部分失败，不返回失败，继续获取其它备份进程或者线程的查询结果，直到有一个成功，即认为子查询执行成功。

因此，本实施例中，在线程或进程查询失败后，获取失败原因，如果失败原因是数据连接失败，则通过采用重试机制，尝试重新建立数据连接，再次进行数据查询，提高数据查询的成功率。

204、根据每个子查询任务的查询结果，得到数据查询的结果集。

本步骤中，任务流执行完每个子查询任务后，得到最终的数据查询结果集。值得说明的是，冗余执行时，可以从效率最高的那个执行中获取查询结果，然后再根据该查询结果进行下一个子查询任务的查询，提高了查询的效率。所以，优选地，根据所述每个子查询任务的查询结果，得到所述数据查询的结果集，包括：在所述任务流中的其中一个子查询任务执行时，当接收到所述其中一个子查询任务的某个进程或线程的查询结果时，判断所述查询结果是否正确，如果所述查询结果为正确的结果，则根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集。如果获得的查询结果不正确，则等待接收其他进程或者线程的查询结果，直到获取一个正确的查询结果为止，然后再根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集。

本实施例的有益效果包括：对每个子查询任务启动多个线程或进程进行相同的查询，只要其中一个线程或进程执行成功，就能获得数据查询结果，从而提高了数据查询的成功率和效率。

实施例3

参见图5，本实施例中提供了一种数据查询装置，包括：任务分解模块301，子任务查询模块302和数据获取模块303。

任务分解模块301，用于获取数据查询的请求，并将所述数据查询的请求分解为多个子查询任务，其中，所述多个子查询任务组成一个任务流；

子任务查询模块302，用于在所述任务流节点的执行过程中，针对所述每个子查询任务，启动多个备份进程或线程进行相同的查询；

数据获取模块303，用于根据所述每个子查询任务的查询结果，得到所述数据查询的结果集。

参见图6，在另一实施例中，所述子任务查询模块302，包括：

第一查询单元302a，用于当所述子查询任务对应的查询数据是多副本数据时，针对不同的副本启动多个备份进程或是线程进行查询。

参见图6，在另一实施例中，所述子任务查询模块302，包括：

第二查询单元302b，用于当所述子查询任务对应的查询数据是单副本数据时，针对同一个副本启动多个备份进程或是线程进行查询。

可选地，参见图6，所述装置还包括：

连接模块304，用于当所述子任务查询模块执行数据查询失败后，如果所述数据查询失败的原因是数据连接失败，则通过采用重试机制，尝试重新建立数据连接，来提高查询执行的可靠性和成功率。

优选地，数据获取模块303具体用于：

在所述任务流中的其中一个子查询任务执行时，当接收到所述其中一个子查询任务的某个进程或线程的查询结果时，判断所述查询结果是否正确，如果所述查询结果为正确的结果，则根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集；如果所述查询结果不正确，则等待接收其他进程或者线程的查询结果，直到获取一个正确的查询结果为止，然后再根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集。

本实施例的有益效果包括：对每个子查询任务启动多个线程或进程进行相同的查询，只要其中一个线程或进程执行成功，就能获得数据查询结果，从而提高了查询执行的可靠性，提高了数据查询的成功率和效率。

需要说明的是：上述实施例提供的数据查询装置在执行数据查询时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

另外，上述实施例提供的数据查询装置与数据查询方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制。因此，在不背离本发明的精神及其实质的情况下，本领域技术人员可作出各种改变、替换和变型。很显然，但这些改变、替换和变型都应涵盖于本发明权利要求的保护范围之内。

Claims (10)

1.一种数据查询方法，其特征在于，所述方法包括： 

获取数据查询的请求，并将所述数据查询的请求分解为多个子查询任务，其中，所述多个子查询任务组成一个任务流； 

在所述任务流的执行过程中，针对所述每个子查询任务，启动多个备份进程或线程进行相同的查询； 

根据所述每个子查询任务的查询结果，得到所述数据查询的结果集。 

2.如权利要求1所述的方法，其特征在于，所述针对每个子查询任务，启动多个备份进程或线程进行相同的查询，包括： 

当所述子查询任务对应的查询数据是多副本数据时，针对不同的副本启动多个备份进程或是线程进行查询。 

3.如权利要求1所述的方法，其特征在于，所述针对每个子查询任务，启动多个备份进程或线程进行相同的查询，包括： 

当所述子查询任务对应的查询数据是单副本数据时，针对同一个副本启动多个备份进程或是线程进行查询。 

4.如权利要求1所述的方法，其特征在于，所述针对每个子查询任务，启动多个备份进程或线程进行相同的查询之后，还包括： 

当所述子任务查询模块执行数据查询失败后，如果所述数据查询失败的原因是数据连接失败，则采用重试机制，尝试重新建立数据连接。 

5.如权利要求1所述的方法，其特征在于，所述根据所述每个子查询任务的查询结果，得到所述数据查询的结果集，包括： 

在所述任务流中的其中一个子查询任务执行时，当接收到所述其中一个子 查询任务的某个进程或线程的查询结果时，判断所述查询结果是否正确，如果所述查询结果为正确的结果，则根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集；如果所述查询结果不正确，则等待接收其他进程或者线程的查询结果，直到获取一个正确的查询结果为止，然后再根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集。 

6.一种数据查询装置，其特征在于，所述装置包括： 

任务分解模块，用于获取数据查询的请求，并将所述数据查询的请求分解为多个子查询任务，其中，所述多个子查询任务组成一个任务流； 

子任务查询模块，用于在所述任务流的执行过程中，针对所述每个子查询任务，启动多个备份进程或线程进行相同的查询； 

数据获取模块，用于根据所述每个子查询任务的查询结果，得到所述数据查询的结果集。 

7.如权利要求6所述的装置，其特征在于，所述子任务查询模块，包括： 

第一查询单元，用于当所述子查询任务对应的查询数据是多副本数据时，针对不同的副本启动多个备份进程或是线程进行查询。 

8.如权利要求6所述的装置，其特征在于，所述子任务查询模块，包括： 

第二查询单元，用于当所述子查询任务对应的查询数据是单副本数据时，针对同一个副本启动多个备份进程或是线程进行查询。 

9.如权利要求6所述的装置，其特征在于，所述装置还包括： 

连接模块，用于当所述子任务查询模块执行数据查询失败后，如果所述数据查询失败的原因是数据连接失败，则采用重试机制，尝试重新建立数据连接。 

10.如权利要求6所述的装置，其特征在于，所述数据获取模块具体用于： 

在所述任务流中的其中一个子查询任务执行时，当接收到所述其中一个子查询任务的某个进程或线程的查询结果时，判断所述查询结果是否正确，如果所述查询结果为正确的结果，则根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集；如果所述查询结果不正确，则等待接收其他进程或者线程的查询结果，直到获取一个正确的查询结果为止，然后再根据所述查询结果继续执行下一个子查询任务，直到获得所述数据查询的结果集。 

Images