CN115935090B - 一种基于时间分片的数据查询方法及系统 - Google Patents

Abstract

本申请涉及计算机技术领域，具体涉及一种基于时间分片的数据查询方法及系统。所述方法可以包括：接收数据查询请求；所述数据查询请求用于查询在目标页面展示的目标数据；在接收到数据查询任务的情形下，所述数据查询请求为响应于接收到所述数据查询任务所生成，所述目标页面为界面首页；响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据；在所述目标页面展示所述目标数据。由此在由数据查询任务的时候可以快速展示一页数据，提升数据查询速度，避免用户长时间等待。

Description

一种基于时间分片的数据查询方法及系统

技术领域

本申请涉及计算机技术领域，具体涉及一种基于时间分片的数据查询方法及系统。

背景技术

随着近些年来互联网技术的发展，网络中的数据量越来越多，如何快速查询到满足检索条件的数据是急需解决的问题。

例如，在网络安全场景中，需要利用全流量设备对所部署网络中的所有网络流量进行全量分析和全量存储，供用户进行攻击研判和威胁溯源。然而所有的全流量设备都会面临一个重要问题，即如何快速查询到满足检索条件的数据。

发明内容

有鉴于此，本申请公开一种基于时间分片的数据查询方法。所述方法可以包括：接收数据查询请求；所述数据查询请求用于查询在目标页面展示的目标数据；在接收到数据查询任务的情形下，所述数据查询请求为响应于接收到所述数据查询任务所生成，所述目标页面为界面首页；响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据；在所述目标页面展示所述目标数据。

在一些实施例中，在预设了冗余页的情形下，响应于所述数据查询请求，所述方法还包括：在针对所述冗余页已查询到数据的数据量未达到所述冗余页的数据量要求的情形下，对所述数据查询任务进行分片，得到低优先级的若干分片任务，以得到达到所述冗余页的数据量的冗余数据。

在一些实施例中，所述数据查询请求为响应于翻页操作所生成，所述目标页面为所述翻页操作之后得到的页面；响应于所述数据查询请求，所述方法还包括：在用于查询所述目标数据的分片任务为低优先级的情形下，将用于查询所述目标数据的分片任务为低优先级变更为高优先级。

在一些实施例中，所述响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据，包括：在已查询到数据中查询所述目标数据；响应于在所述已查询到数据中查询到达到所述目标页面的数据量要求的所述目标数据，完成所述目标数据的查询操作；响应于在所述已查询到数据中未查询到达到所述目标页面的数据量要求的所述目标数据，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据。

在一些实施例中，所述已查询到数据以链表的形式存储；其中，通过所述链表查询当前数据的下一页数据和/或上一页数据。

在一些实施例中，按照树形结构存储分片任务；其中，子节点对应的分片任务由父节点对应的任务分片得到；对所述数据查询任务进行时间分片的方法，包括：获取待分片的父级分片任务；在当前分片为针对所述数据查询请求的首次分片的情形下，按照第一预设时长，对所述父级分片任务进行分片，得到分片时长为所述第一预设时长的子级分片任务；在当前分片为针对所述数据查询请求的非首次分片的情形下，根据上一次分片任务所查询到的数据量，对所述父级分片任务进行分片，得到子级分片任务；在已查询到的所述目标数据未达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为高优先级的分片任务；在已查询到的所述目标数据达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为低优先级的分片任务。

在一些实施例中，所述根据上一次分片任务所查询到的数据量，对所述父级分片任务进行分片，得到子级分片任务，包括：在上一次分片任务所查询到的数据量达到预设数据量的情形下，减小分片时长，根据增加后的分片时长对所述父级分片任务进行分片，得到子级分片任务；在上一次分片任务所查询到的数据量未达到所述预设数据量的情形下，增大分片时长，根据减小后的分片时长对所述父级分片任务进行分片，得到子级分片任务。

在一些实施例中，所述方法还包括：将所述分片任务查询到的结果数据存储至预设高速缓冲介质；在处理响应于其它数据查询任务切出的其它分片任务的过程中，从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据；响应于在所述预设高速缓冲介质中查询到所述其它分片任务所查询的数据，将查询到的数据确定为所述其它分片任务的查询结果；响应于在所述预设高速缓冲介质中未查询到所述其它分片任务所查询的数据，从数据库中查询相应数据。

在一些实施例中，所述将所述分片任务查询到的结果数据存储至预设高速缓冲介质，包括：在所述分片任务对应的分片时间段满足预设条件的情形下，将所述分片任务查询到的结果数据存储至预设高速缓冲介质；所述对所述数据查询任务进行时间分片的方法还包括：在当前分片为针对所述数据查询任务的首次分片的情形下，将所述父级分片任务切分为满足所述预设条件的第一子级分片任务，和不满足所述预设条件的第二子级分片任务。

在一些实施例中，所述分片任务还包括查询规则；所述将所述分片任务查询到的结果数据存储至预设高速缓冲介质，包括：将所述分片时间段和查询规则的第一哈希结果作为KEY，将所述结果数据作为Value，存储至预设高速缓冲介质；所述从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据，包括：利用所述其它分片任务所包括的分片时间段和查询规则的第二哈希结果，查询所述其它分片任务所查询的数据。

前述实施例记载的方案中，可以在接收到数据查询任务之后，生成针界面首页展示的目标数据的查询请求，并通过切出高优先级的分片任务，优先查询出所述目标数据在首页进行展示。

由此在由数据查询任务的时候可以快速展示一页数据，提升数据查询速度，避免用户长时间等待，与相关技术相比，对查询逻辑进行了优化，不需要扩大成本，并且优化效果比较明显。

附图说明

下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。

图1为本申请实施例示出的一种基于时间分片的数据查询方法的流程示意图。

图2为本申请示出的一种数据查询方法流程示意图。

图3为本申请示出的一种分片任务树形结构示意图。

图4为本申请示出的一种时间分片方法流程示意图。

图5为本申请实施例示出的一种动态调整分片时长的方法流程示意图。

图6为本申请示出的一种数据查询方法流程图。

图7为本申请示出的一种基于时间分片的数据查询系统的结构示意图。

图8为本申请示出的数据查询流程示意图。

图9本申请示出的为双向链表示意图。

图10为本申请示意的基于时间分片的数据查询装置的结构示意图。

具体实施方式

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在可以包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在……时”或“当……时”或“响应于确定”。

在一些相关技术中，有些方案选择借助搜索引擎技术，比如elasticsearch。Elasticsearch是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎，具有HTTP Web接口和无模式JSON文档。但是在海量数据背景下，单节点的elasticsearch很难满足快速查询的需要，往往需要横向扩充集群，但这又会大大增加成本。

有些方案采用分表的方法，将一条数据拆分成多条数据，分散到多个表中进行存储，通过降低单表的数据量来提高查询速度。这种方法虽然降低了单表的数据量，但数据的数量往往是不变的，在海量数据下，无法从根本解决查询慢的问题，而又由于增加了多表，在查询整体数据时又面临多表检索的问题，其优化效果非常有限。

有些方案将查询异步化，将查询作为一个任务，将其挂到后台运行，避免将长时间的查询过程暴漏给用户，这种做法只是用来掩饰，并不能起到优化作用。

有鉴于此，本申请提出一种基于时间分片的数据查询方法。所述方法可以在接收到数据查询任务之后，生成针界面首页展示的目标数据的查询请求，并通过切出高优先级的分片任务，优先查询出所述目标数据在首页进行展示。

由此在由数据查询任务的时候可以快速展示一页数据，提升数据查询速度，避免用户长时间等待，与相关技术相比，对查询逻辑进行了优化，不需要扩大成本，并且优化效果比较明显。

以下结合附图进行实施例说明。请参见图1，图1为本申请实施例示出的一种基于时间分片的数据查询方法的流程示意图。

图1示出的基于时间分片的数据查询方法可以应用于电子设备中。其中，所述电子设备可以通过搭载与基于时间分片的数据查询方法对应的软件逻辑执行该方法。所述电子设备的类型可以是笔记本电脑，计算机，服务器，手机，掌上电脑（Personal DigitalAssistant，PDA）等。在本申请中不特别限定所述电子设备的类型。所述电子设备也可以是客户端设备或服务端设备。

如图1所示，所述方法可以包括S102-S106。除特别说明外，本申请不特别限定这些步骤的执行顺序。

S102，接收数据查询请求。

所述数据查询请求用于查询在目标页面展示的目标数据。

所述数据查询请求在至少以下两种情形中生成。

情形一，在接收到数据查询任务的情形下，所述数据查询请求为响应于接收到所述数据查询任务所生成。

所述数据查询任务包括一些检索条件和检索时间段，该数据查询任务可以将该检索时间段内满足所述检索条件的数据查询出来。例如，在网络安全场景中，用户可以检索20点-21点产生的IP为1.1.1.1的数据。

在接收到该数据查询任务之后，可以生成针对首页数据进行查询的所述数据查询请求。此时所述目标页面即为界面首页。

情形二，在接收到翻页操作的情形下，所述数据查询请求为响应于所述翻页操作生成，所述目标页面为所述翻页操作之后得到的页面。

用户需要查看其它在其它页展示的数据时，可以进行翻页操作，响应于所述翻页操作可以生成数据查询请求，来查询所述翻页操作之后得到的页面展示的数据。

S104，响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据。

本步骤中，可以利用预设的分片规则，从所述数据查询任务中切出一些高优先级的分片任务，以查询达到所述目标页面的数据量要求的所述目标数据。

所述目标页面展示的数据量即为所述目标页面的数据量要求。该数据量可根据需求进行设定。例如，目标页面可以展示100条数据，则上述数据量要求为100。

在一些方式中，一次可以只切出一片分片任务，在切出的分片任务无法查询到达到所述目标页面的数据量要求的所述目标数据的情形下，继续进行分片，一直到满足页面数据量要求。

本申请中可以将分片任务分为高优先级任务和低优先级任务，并分别放在对应优先级的队列中。工作线程会根据优先级顺序从队列中获取分片进行查询。即高优先级任务会被优先执行。

S106，在所述目标页面展示所述目标数据。

本步骤中，可以将查询到的目标数据交由前端渲染，并展示在界面上。

通过S102-S106记载的方案，可以在接收到数据查询任务之后，生成针界面首页展示的目标数据的查询请求，并通过切出高优先级的分片任务，优先查询出所述目标数据在首页进行展示。

由此在由数据查询任务的时候可以快速展示一页数据，提升数据查询速度，避免用户长时间等待，与相关技术相比，对查询逻辑进行了优化，不需要扩大成本，并且优化效果比较明显。

在一些实施例中，在处于数据查询请求的时候，可以设置一些冗余页，在查询需要当即展示的目标数据的时候，也可以利用低优先级任务，多查询一些后续被展示的冗余数据，以在后续需要展示这些冗余数据的时候可以直接展示，提升数据查询效率。

具体地，在针对所述冗余页已查询到数据的数据量未达到所述冗余页的数据量要求的情形下，对所述数据查询任务进行分片，得到低优先级的若干分片任务，以得到达到所述冗余页的数据量的冗余数据。

所述针对所述冗余页已查询到的数据是指响应于当前数据查询请求，针对冗余页所查到的数据。这些数据会被存储起来。

所述冗余页的数量可以根据需求进行设定，例如，1页，2页等等。每一页的冗余页均对应可以展示的数据量，这些数据量之和即为所述冗余页的数据量要求。例如，在1页可展示100条数据的情形下，冗余页为1页，所述冗余页的数据量要求即为100，冗余页为2页，所述冗余页的数据量要求即为200。

在针对所述冗余页已查询到的数据的数据量已经达到目标页面的数据量要求，但是还没有达到冗余页的数据量要求的时候，可以继续切出一些低优先级的分片任务放在低优先级队列里，直到查询到冗余页的冗余数据。

这些冗余数据也可以被存储起来，等待后续翻页的时候直接进行展示，大大提升数据查询效率。

在一些实施例中，由于冗余页的存在，这些冗余页展示的数据会被切分为低优先级任务进行查询，但是可能由于诸如用户翻页操作，所述冗余页会变成目标页面，那么相应的，在用于查询所述目标数据的分片任务为低优先级的情形下，将用于查询所述目标数据的分片任务为低优先级变更为高优先级。由此可以提高目标页面（原冗余页）的数据查询优先级，确保目标页面的数据被优先查询。

在一些实施例中，针对数据查询任务所查询到的数据均会被存储起来。在有数据查询请求时，可以先在已查询的数据中查找目标数据，以提升数据查询效率。

请参见图2，图2为本申请示出的一种数据查询方法流程示意图。图2为对S104的补充说明。如图2所示 ，所述方法可以包括S202-S206。

S202，在已查询到数据中查询所述目标数据。

所述已查询到的数据是指针对数据查询任务已查询到的数据。每个数据查询请求所查询到的数据会被汇存储。在接收到针对目标数据的查询请求的时候可以先在已查询到数据中查询所述目标数据。

S204，响应于在所述已查询到数据中查询到达到所述目标页面的数据量要求的所述目标数据，完成所述目标数据的查询操作。

如果在所述已查询到数据中查询到达到所述目标页面的数据量要求的所述目标数据，说明这些目标数据之前已经被查询出来了，无需重复查询，则完成数据查询。

例如当前需查询第10页数据，假设在已查询到的数据中查询到了第10页的100条数据，则完成了所述数据查询，返回该100条数据在第10页展示。

S206，响应于在所述已查询到数据中未查询到达到所述目标页面的数据量要求的所述目标数据，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据。

如果在所述已查询到数据中未查询到达到所述目标页面的数据量要求的所述目标数据，说明所述目标数据还未被查询，或只查询了一部分，那么可以切出高优先级任务，以快速查询到满足数据量要求的目标数据。

例如，当前需查询第10页数据，假设在已查询到的数据中查询到了第10页的20条数据，那剩余数据还需要通过切出高优先级任务进行数据查询，直到查到100条第10页数据。

通过S202-S206记载的方案，可以在有数据查询请求时，优先在已查询的数据中查找目标数据，以提升数据查询效率。

在一些实施例中，可以通过预先分配一段缓冲空间，来存储这些已经查询到的数据。该缓冲空间可以被称为一级缓冲。一级缓冲中可以设计页数阈值窗口，处于该页数阈值窗口之外的数据会被老化。

例如，所述页数阈值窗口为10页，一级缓冲中缓存了1-10页。当需要存储第11页数据的时候，第1页数据会被老化，一级缓冲中缓冲了2-11页的数据。

在一些实施例中，所述已查询到数据以链表的形式存储；其中，通过所述链表查询当前数据的下一页数据和/或上一页数据。由此可以提升在以查询到的数据中检索目标数据的效率，从而提升数据查询效率。

通过所述链表存储当前数据的下一页数据和上一页数据的时候，则为双向链表。假设数据查询请求为查询第10页数据，则可以通过链表结构从当前数据通过有限次的跳转链接至第10页数据，方便通过当前页数据链接到目标页面的数据，提升数据查询效率。

以下介绍进行时间分片的方法。在一些实施例中，可以按照树形结构存储分片任务；其中，子节点对应的分片任务由父节点对应的任务分片得到。如此便于对分片任务进行管理。请参见图3，图3为本申请示出的一种分片任务树形结构示意图。如图3所示，包括5个分片任务，分片4和5由分片3切出，分片2和3由分片1切出。若一个分片的所有子节点均完成查询操作，可以将查询的数据集汇报给父节点，并将该子节点标志位完成，随后销毁该节点。

请参见图4，图4为本申请示出的一种时间分片方法流程示意图。图4示意的步骤为对时间分片方法的示意说明，对切出高优先级任务和低优先级任务均适用。如图4所示，所述方法可以包括S402-S410。

S402，获取待分片的父级分片任务。

所述父级分片任务是指等待被切分的任务。

在针对数据查询任务首次分片的时候，该父级分片就是数据查询任务，对应的时间跨度与数据查询任务一致。比如，数据查询任务为查询8-9点数据。则父级任务分片为8-9点。

在针对数据查询任务非首次分片的时候，父级分片任务为树形结构中未被执行的叶子节点对应分片任务。

在此需区分针对数据查询任务的首次分片和针对数据查询请求的首次分片。针对某一数据查询请求也会存在首次分片，与针对数据查询任务的首次分片是不相同的。

S404，在当前分片为针对所述数据查询请求的首次分片的情形下，按照第一预设时长，对所述父级分片任务进行分片，得到分片时长为所述第一预设时长的子级分片任务。

所述第一预设时长可以根据需求进行设定。例如，所述第一预设时长可以是最小单位时长（比如2分钟或者1分钟）。

由于第一预设时长比较短，由此在当前分片为针对所述数据查询请求的首次分片的情形下，通过切分出分片时长为所述第一预设时长的子级分片任务，可以尽快查询出数据，提升数据查询速率，减少用户等待时间。

当然，除了切分出所述子级分片任务，可能还有另一个子级分片任务，对应的分片时长为父级分片任务的剩余时长。例如，父级分片任务时间段为5分，切出一个单位时长为1分钟中的子级分片任务后，还会剩余一个4分钟的子级分片任务。

S406，在当前分片为针对所述数据查询请求的非首次分片的情形下，根据上一次分片任务所查询到的数据量，对所述父级分片任务进行分片，得到子级分片任务。

本步骤中可以结合上一次分片任务所查询到的数据量动态调整当前分片任务的分片时长，适应实用不同数据量场景。

请参见图5，图5为本申请实施例示出的一种动态调整分片时长的方法流程示意图。图5为对S406的详细说明。如图5所示，所述方法可以包括S502-S504。

S502，在上一次分片任务所查询到的数据量达到预设数据量的情形下，减小分片时长，根据减小后的分片时长对所述父级分片任务进行分片，得到子级分片任务。

所述预设数据量可以根据需求进行设定。比如所述预设数据量刚好是一页数据量。

在上一次分片任务所查询到的数据量达到预设数据量的情形下，说明当前数据量大，可以减小分片时长，提升数据处理速率。

在一些方式中，可以通过Span = k * 2 ^ (1-n)来减小分片时长。其中，Span为切分出的子级分片任务的分片时长，k为分片系数，与父级分片任务的分片时长有关。如果父级分片任务的分片时长小于预设时长，那么k为最小单位时长，如果大于所述预设时长，那么k即为所述预设时长，n代表查询到的数据量连续达到预设数据量的数量。

例如，连续5个切出的分片任务所查询到的数据量均达到预设数据量，所述n为5，假设父级分片任务的分片时长大于预设时长，k即为所述预设时长。通过前面公式即可缩小Span。

S504，在上一次分片任务所查询到的数据量未达到所述预设数据量的情形下，增大分片时长，根据增大后的分片时长对所述父级分片任务进行分片，得到子级分片任务。

在上一次分片任务所查询到的数据量未达到预设数据量的情形下，说明当前数据量小，可以增加分片时长，避免过度分片，导致多片的查询开销过大。

在一些方式中，可以通过Span = k * 2 ^ (n - 1)来增大分片时长。关于公式中字母的解释可以参照前面的公式，在此不做详述。

通过S502-S504，可以根据不同数据量场景动态调整分片规则，对于数据量小的场景，可以增大分片任务时长，避免过度分片，导致多片的查询开销过大，对于数据量大的场景，可以减小分片时长，提升数据处理速率。

S408，在已查询到的所述目标数据未达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为高优先级的分片任务。

在已查询到的所述目标数据未达到所述目标页面的数据量要求的情形下说明还需要继续快速查询目标数据，即可将切出的子级分片任务配置为高优先级。

S410，在已查询到的所述目标数据达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为低优先级的分片任务。

在已查询到的所述目标数据达到所述目标页面的数据量要求的情形下，说明本次切出的分片任务查询的是冗余页的数据，可将切出的子级分片任务配置为低优先级。

通过S402-S410，第一，在当前分片为针对所述数据查询请求的首次分片的情形下，通过切分出分片时长为所述第一预设时长的子级分片任务，可以尽快查询出数据，提升数据查询速率，减少用户等待时间；第二，可以结合上一次分片任务所查询到的数据量动态调整当前分片任务的分片时长，适应实用不同数据量场景；第三，可以根据已查询到的目标数据的数据量，区分分片任务优先级。

在一些实施例中，可以通过设置高速缓冲来存储分片任务的查询结果，在有其它数据查询任务产生其它分片任务的时候可以优先从所述高速缓冲中查询数据，来提升数据查询效率，以适应高并发场景，给各用户都能提供快速响应。

请参见图6，图6为本申请示出的一种数据查询方法流程图。图6示意的方法为对处理数据请求时的补充说明。如图6所示，所述方法可以包括S602-S608。

S602，将所述分片任务查询到的结果数据存储至预设高速缓冲介质。

所述预设高速缓冲介质可以是Redis。Redis是一个使用ANSI C编写的开源、支持网络、基于内存、分布式、可选持久性的键值对存储数据库。

在针对某一分片任务得到查询结果后，可以将这些结果数据存储至所述预设高速缓冲介质。

在一些方式中，可以在启动针对分片任务的销毁程序之后，将分片任务查询到的结果数据存储至该高速缓冲。

在一些方式中，可以将所述分片时间段和查询规则的第一哈希结果作为KEY，将所述结果数据作为Value，存储至预设高速缓冲介质，便于后续进行数据查询。

S604，在处理响应于其它数据查询任务切出的其它分片任务的过程中，从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据。

本步骤中，可以利用所述其它分片任务所包括的分片时间段和查询规则的第二哈希结果，查询所述其它分片任务所查询的数据。

通过哈希算法，可以为存储在高速缓冲中的，由所述分片任务查询到的数据生成唯一KEY，使得其它分片任务的查询规则和分片时间段确实于所述分片任务一致才可以命中所述数据，提升数据查询准确性。

S606，响应于在所述预设高速缓冲介质中查询到所述其它分片任务所查询的数据，将查询到的数据确定为所述其它分片任务的查询结果。

如果存在于所述第二哈希结果匹配的KEY，则说明查找到了所述其它分片任务需要查询的数据。

S608，响应于在所述预设高速缓冲介质中未查询到所述其它分片任务所查询的数据，从数据库中查询相应数据。

如果不存在于所述第二哈希结果匹配的KEY，则说明查找高速缓冲中没有所述其它分片任务需要查询的数据，则需要从数据库中查找。

通过S602-S608，可以通过设置高速缓冲来存储分片任务的查询结果，在有其它数据查询任务产生其它分片任务的时候可以优先从所述高速缓冲中查询数据，来提升数据查询效率，以适应高并发场景，给各用户都能提供快速响应。

在图6示出的方法中，由于分片规则的不统一，导致切出的分片任务的时间段很难同一，因此很难命中高速缓冲中的数据。

在一些实施例中，为了解决前述问题，规范了所述高速缓冲存储数据的规则，也规范了分片规则，使得更容易切出与存储数据规则一致的分片任务，提升了数据命中率。

具体地，在S602的过程中，在所述分片任务对应的分片时间段满足预设条件的情形下，将所述分片任务查询到的结果数据存储至预设高速缓冲介质。

所述分片时间段是与分片时长不同的概念。所述分片时间段是由起始时刻于终止时刻构成的时间段，所述分片时长是指所述终止时刻与所述起始时刻的时间差。

所述预设条件可以是指以下至少一项：所述分片时间段为第二预设时长的整数倍；所述分片时间段包括的起始时刻为整点加N个第二预设时长之后得到的时刻；所述分片时间段包括的结束时刻为整点加M个第二预设时长之后得到的时刻；所述N和M为自然数。

所述第二预设时长可以根据需求进行设定。例如为5分钟。那么所述预设条件可以为，所述分片时间段为5分钟的整数倍，并且起始时刻为整点或者整点与5分钟的若干倍相加后的结果。此时，20：00-20：10分则满足所述预设条件，20：03-20：08则不满足所述预设条件。

由此使的高速缓冲中存储的数据的分片时间段满足所述预设条件。

在当前分片为针对所述数据查询任务的首次分片的情形下，将所述父级分片任务切分为满足所述预设条件的第一子级分片任务，和不满足所述预设条件的第二子级分片任务。

如此操作也可以使得更容易切出满足所述预设条件的分片任务。

本实施例中，规范了所述高速缓冲存储数据的规则，也规范了分片规则，使得更容易切出与存储数据规则一致（均满足预设规则）的分片任务，提升了数据命中率。

以下结合本申请提出的一种基于时间分片的数据查询系统进行实施例说明。

请参见图7，图7为本申请示出的一种基于时间分片的数据查询系统的结构示意图。如图7所示，所述系统可以包括，请求接口，用于处理用户发起的数据查询任务。分片单元，用于处理分片任务。队列单元，其中高优先级队列用于存储高优先级分片任务，低优先级队列用于存储低优先级分片任务。实例单元，用于并发处理分片任务，并将分片任务查询结果返回请求接口。高速缓冲（Redis）单元，用于缓冲满足预设条件的分片任务查询到的数据。数据库单元，用于存储数据，提供数据查询功能。

其中关于数据查询任务的结构可以包括如下内容：

from：此次查询的起始时刻；

to：此次查询的截止时刻；

rule：此次查询的查询规则；

slice：此次查询的分片任务；

pageInfo：此次查询的页面信息，包含一页数据量和目标页面的页码；

result：当前查询数据结果集，用于汇总针对数据查询任务的查询结果，相当于一级缓冲。

查询数据结果集内的数据可以包括：

next：下一条数据。

prev：上一条数据。

next_page：下一页数据。

prev_page：上一页数据。

data：当前数据。

所述数据结果集中的数据可以以图9示意的结构进行存储。请参见图9，图9本申请示出的为双向链表示意图。如图9所示，通过next_page和prev_page完成页面上的双向链表，便于数据查询的时候，从当前页面跳转到目标页面。

本例中还设置了一页冗余页，即每次处理请求，除了查询目标页面的数据，还查询目标页面的下一页数据，提升数据查询效率。

请参见图8，图8为本申请示出的数据查询流程示意图。如图8所示，所述方法可以包括S801-S811。

S801，获取数据查询请求。

所述数据查询请求的生成方法满足前面实施例指出的两种情形。

S802，响应于所述数据查询请求，在数据结果集（result）查询数据。

S803，判断数据结果集中的数据是否满足目标页的数据量要求？如果满足，执行第S804步；如果不满足，执行第S808步。

S804，从数据结果集中获取当前查询的目标页的数据。

S805，将数据返回前端页面展示。

S806，判断是否要补充查询。如果需要，执行第S807步；如果不需要，执行结束针对所述数据查询请求的处理。

本步骤中可以判断查看剩余数据是否满足冗余页的数据量要求，比如是否还有一页的数据冗余量，如果有，则不需要进行补充查询， 如果没有则需要进行补充查询。

S807，切出低优先级分片，随后执行S809。

S808，切出高优先级分片，随后执行S809。

S809，将分片放入对应队列中。

S810，处理分片任务。

S811，将查询结果同步到数据结果集中。

本步骤中，可以继续执行S802及其之后步骤，直到返回目标页面的数据。

关于所述高速缓存单元进行数据存储，分片单元进行分片，实例单元进行分片任务处理的过程可以参照前面实施例。

本实施例记载的方案中，第一，可以在接收到数据查询任务之后，生成针界面首页展示的目标数据的查询请求，并通过切出高优先级的分片任务，优先查询出所述目标数据在首页进行展示。

由此在由数据查询任务的时候可以快速展示一页数据，提升数据查询速度，避免用户长时间等待，与相关技术相比，对查询逻辑进行了优化，不需要扩大成本，并且优化效果比较明显；

第二，可以查询一些冗余页的数据，提升数据查询效率；

第三，通过数据结果集（Ruslt）和高速缓冲两级缓冲，大大提升了数据查询效率；

第四，在当前分片为针对所述数据查询请求的首次分片的情形下，通过切分出分片时长为所述第一预设时长的子级分片任务，可以尽快查询出数据，提升数据查询速率，减少用户等待时间；

第五，可以结合上一次分片任务所查询到的数据量动态调整当前分片任务的分片时长，适应实用不同数据量场景；

第六，可以根据已查询到的目标数据的数据量，区分分片任务优先级；

第七，可以规范了所述高速缓冲存储数据的规则，也规范了分片规则，使得更容易切出与存储数据规则一致（均满足预设规则）的分片任务，提升了数据命中率。

与前述任意实施例相对应，本申请还提出一种基于时间分片的数据查询装置。请参见图10，图10为本申请示意的基于时间分片的数据查询装置的结构示意图。

如图10所示，所述基于时间分片的数据查询装置1000包括：

接收模块1010，用于接收数据查询请求；所述数据查询请求用于查询在目标页面展示的目标数据；在接收到数据查询任务的情形下，所述数据查询请求为响应于接收到所述数据查询任务所生成，所述目标页面为界面首页；

第一查询模块1020，用于响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据；

展示模块1030，用于在所述目标页面展示所述目标数据。

在一些实施例中，在预设了冗余页的情形下，响应于所述数据查询请求，所述装置1000还包括：

第二查询模块，用于在针对所述冗余页已查询到数据的数据量未达到所述冗余页的数据量要求的情形下，对所述数据查询任务进行分片，得到低优先级的若干分片任务，以得到达到所述冗余页的数据量的冗余数据。

在一些实施例中，所述数据查询请求为响应于翻页操作所生成，所述目标页面为所述翻页操作之后得到的页面；

响应于所述数据查询请求，所述装置1000还包括：

变更模块，在用于查询所述目标数据的分片任务为低优先级的情形下，将用于查询所述目标数据的分片任务为低优先级变更为高优先级。

在一些实施例中，所述第一查询模块1020，进一步用于：

在已查询到数据中查询所述目标数据；

响应于在所述已查询到数据中查询到达到所述目标页面的数据量要求的所述目标数据，完成所述目标数据的查询操作；

响应于在所述已查询到数据中未查询到达到所述目标页面的数据量要求的所述目标数据，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据。

在一些实施例中，所述已查询到数据以链表的形式存储；其中，通过所述链表查询当前数据的下一页数据和/或上一页数据。

在一些实施例中，按照树形结构存储分片任务；其中，子节点对应的分片任务由父节点对应的任务分片得到；所述装置1000还包括分片模块，用于：

获取待分片的父级分片任务；

在当前分片为针对所述数据查询请求的首次分片的情形下，按照第一预设时长，对所述父级分片任务进行分片，得到分片时长为所述第一预设时长的子级分片任务；

在当前分片为针对所述数据查询请求的非首次分片的情形下，根据上一次分片任务所查询到的数据量，对所述父级分片任务进行分片，得到子级分片任务；

在已查询到的所述目标数据未达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为高优先级的分片任务；

在已查询到的所述目标数据达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为低优先级的分片任务。

在一些实施例中，所述分片模块，进一步用于：

在上一次分片任务所查询到的数据量达到预设数据量的情形下，减小分片时长，根据增加后的分片时长对所述父级分片任务进行分片，得到子级分片任务；

在上一次分片任务所查询到的数据量未达到所述预设数据量的情形下，增大分片时长，根据减小后的分片时长对所述父级分片任务进行分片，得到子级分片任务。

在一些实施例中，所述装置1000还包括缓冲模块，用于：

将所述分片任务查询到的结果数据存储至预设高速缓冲介质；

在处理响应于其它数据查询任务切出的其它分片任务的过程中，从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据；

响应于在所述预设高速缓冲介质中查询到所述其它分片任务所查询的数据，将查询到的数据确定为所述其它分片任务的查询结果；

响应于在所述预设高速缓冲介质中未查询到所述其它分片任务所查询的数据，从数据库中查询相应数据。

在一些实施例中，所述缓冲模块，进一步用于：

在所述分片任务对应的分片时间段满足预设条件的情形下，将所述分片任务查询到的结果数据存储至预设高速缓冲介质；

所述对所述数据查询任务进行时间分片的方法还包括：

在当前分片为针对所述数据查询任务的首次分片的情形下，将所述父级分片任务切分为满足所述预设条件的第一子级分片任务，和不满足所述预设条件的第二子级分片任务。

在一些实施例中，所述分片任务还包括查询规则；所述缓冲模块，进一步用于：

将所述分片时间段和查询规则的第一哈希结果作为KEY，将所述结果数据作为Value，存储至预设高速缓冲介质；

所述从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据，包括：

利用所述其它分片任务所包括的分片时间段和查询规则的第二哈希结果，查询所述其它分片任务所查询的数据。

前述实施例记载的方案中，可以在接收到数据查询任务之后，生成针界面首页展示的目标数据的查询请求，并通过切出高优先级的分片任务，优先查询出所述目标数据在首页进行展示。

由此在由数据查询任务的时候可以快速展示一页数据，提升数据查询速度，避免用户长时间等待，与相关技术相比，对查询逻辑进行了优化，不需要扩大成本，并且优化效果比较明显。

本领域技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（可以包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请中的“和/或”表示至少具有两者中的其中一个。本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

虽然本申请包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本申请内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

以上仅为本申请一个或多个实施例的较佳实施例而已，并不用以限制本申请一个或多个实施例，凡在本申请一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请一个或多个实施例保护的范围之内。

Claims (9)

1.一种基于时间分片的数据查询方法，其特征在于，所述方法包括：

接收数据查询请求；所述数据查询请求用于查询在目标页面展示的目标数据；在接收到数据查询任务的情形下，所述数据查询请求为响应于接收到所述数据查询任务所生成，所述目标页面为界面首页；

响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据；其中，按照树形结构存储分片任务；子节点对应的分片任务由父节点对应的任务分片得到；

在所述目标页面展示所述目标数据；

其中，所述对所述数据查询任务进行时间分片，得到高优先级的若干分片任务包括，获取待分片的父级分片任务，在当前分片为针对所述数据查询请求的非首次分片，并且上一次分片任务所查询到的数据量达到预设数据量的情形下，减小分片时长，根据减小后的分片时长对所述父级分片任务进行分片，得到子级分片任务，或者，在上一次分片任务所查询到的数据量未达到所述预设数据量的情形下，增大分片时长，根据增大后的分片时长对所述父级分片任务进行分片，得到子级分片任务；以及在已查询到的所述目标数据未达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为高优先级的分片任务；其中，通过Span = k×2 ^ (1-n)来减小分片时长，通过Span = k×2 ^ (n - 1)来增大分片时长；Span为切分出的子级分片任务的分片时长；如果所述父级分片任务的分片时长小于预设时长，k为预设的最小单位时长，如果大于所述预设时长，k为所述预设时长；n代表查询到的数据量连续达到预设数据量的数量。

2.根据权利要求1所述的基于时间分片的数据查询方法，其特征在于，在预设了冗余页的情形下，响应于所述数据查询请求，所述方法还包括：

在针对所述冗余页已查询到数据的数据量未达到所述冗余页的数据量要求的情形下，对所述数据查询任务进行分片，得到低优先级的若干分片任务，以得到达到所述冗余页的数据量的冗余数据。

3.根据权利要求2所述的基于时间分片的数据查询方法，其特征在于，所述数据查询请求为响应于翻页操作所生成，所述目标页面为所述翻页操作之后得到的页面；

响应于所述数据查询请求，所述方法还包括：

在用于查询所述目标数据的分片任务为低优先级的情形下，将用于查询所述目标数据的分片任务为低优先级变更为高优先级。

4.根据权利要求1所述的基于时间分片的数据查询方法，其特征在于，所述响应于所述数据查询请求，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据，包括：

在已查询到数据中查询所述目标数据；

响应于在所述已查询到数据中查询到达到所述目标页面的数据量要求的所述目标数据，完成所述目标数据的查询操作；

响应于在所述已查询到数据中未查询到达到所述目标页面的数据量要求的所述目标数据，对所述数据查询任务进行时间分片，得到高优先级的若干分片任务，以查询达到所述目标页面的数据量要求的所述目标数据。

5.根据权利要求4所述的基于时间分片的数据查询方法，其特征在于，所述已查询到数据以链表的形式存储；其中，通过所述链表查询当前数据的下一页数据和/或上一页数据。

6.根据权利要求1至5任一所述的基于时间分片的数据查询方法，其特征在于，所述对所述数据查询任务进行时间分片的方法，还包括：

在当前分片为针对所述数据查询请求的首次分片的情形下，按照第一预设时长，对所述父级分片任务进行分片，得到分片时长为所述第一预设时长的子级分片任务；

在已查询到的所述目标数据达到所述目标页面的数据量要求的情形下，将所述子级分片任务配置为低优先级的分片任务。

7.根据权利要求6所述的基于时间分片的数据查询方法，其特征在于，所述方法还包括：

将所述分片任务查询到的结果数据存储至预设高速缓冲介质；

在处理响应于其它数据查询任务切出的其它分片任务的过程中，从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据；

响应于在所述预设高速缓冲介质中查询到所述其它分片任务所查询的数据，将查询到的数据确定为所述其它分片任务的查询结果；

响应于在所述预设高速缓冲介质中未查询到所述其它分片任务所查询的数据，从数据库中查询相应数据。

8.根据权利要求7所述的基于时间分片的数据查询方法，其特征在于，所述将所述分片任务查询到的结果数据存储至预设高速缓冲介质，包括：

在所述分片任务对应的分片时间段满足预设条件的情形下，将所述分片任务查询到的结果数据存储至预设高速缓冲介质；

所述对所述数据查询任务进行时间分片的方法还包括：

在当前分片为针对所述数据查询任务的首次分片的情形下，将所述父级分片任务切分为满足所述预设条件的第一子级分片任务，和不满足所述预设条件的第二子级分片任务。

9.根据权利要求8所述的基于时间分片的数据查询方法，其特征在于，所述分片任务还包括查询规则；

所述将所述分片任务查询到的结果数据存储至预设高速缓冲介质，包括：

将所述分片时间段和查询规则的第一哈希结果作为KEY，将所述结果数据作为Value，存储至预设高速缓冲介质；

所述从所述预设高速缓冲介质中查询所述其它分片任务所查询的数据，包括：

利用所述其它分片任务所包括的分片时间段和查询规则的第二哈希结果，查询所述其它分片任务所查询的数据。

Images