CN117435622A - 物流统计数据查询方法、装置及其相关设备 - Google Patents

Abstract

本申请提供一种物流统计数据查询方法、装置及其相关设备，该方法包括：获取当前时间节点针对目标物流站点的统计数据的查询请求；基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；基于所述多个第一操作数据，确定第一聚合结果；基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。本申请实施例可以有效解决实时聚合问题，避免在数据频繁更新条件下，聚合结果异常的发生。

Description

物流统计数据查询方法、装置及其相关设备

技术领域

本申请涉及物流技术领域，具体涉及一种物流统计数据查询方法、装置及其相关设备。

背景技术

随着计算机技术的不断发展和信息化程度的不断提高，产生大量的业务数据，为了对业务数据进行管控，物流行业再各自的体系中使用了多个管理型的业务系统，而业务系统存在大量的业务对象处理逻辑，例如：对物流业务数据的插入、修改和删除操作，通过多条件查询物流业务数据，和业务数据的生命周期管控。现有的系统框架为应对大量的业务对象处理逻辑现象，一般采用具有结构化数据库的系统框架对业务数据进行存储。

在现有技术中，由于随着物流业务量的增加，产生的物流业务数据量也越来越大，当物流业务数据量的数据规模超过百万级时，现有的系统框架中以数据库持久化为基础的表单结构无法满足性能上的需求，而现有的系统框架中的分表分库结构又无法满足多条件查询的需求，因而，导致现有的系统框架对实时业务数据的管控性能低。

因此，如何改善对实时业务数据的管控性能，是当前物流技术领域亟需解决的技术问题。

发明内容

本申请提供一种物流统计数据查询方法、装置及其相关设备，旨在解决如何改善对实时业务数据的管控性能的技术问题。

一方面，本申请提供物流统计数据查询方法，所述方法包括：

获取当前时间节点针对目标物流站点的统计数据的查询请求；

基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；

获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；

基于所述多个第一操作数据，确定第一聚合结果；

基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。

在本申请一种可能的实现方式中，在基于所述查询请求，获取所述统计数据对应的第一索引表之前，所述方法还包括：

获取第二索引表，所述第二索引表包括在第二预设时间节点之前的目标聚合结果，所述第二预设时间节点在所述第一预设时间节点之前，所述第二预设时间节点和所述第一预设时间节点之间间隔第一预设时间段；

获取在所述第一预设时间段的针对新写入数据的多个第二操作数据；

基于所述多个第二操作数据，确定第二聚合结果；

基于所述第二索引表和所述第二聚合结果，确定所述统计数据对应的第一索引表。

在本申请一种可能的实现方式中，所述基于所述第二索引表和所述第二聚合结果，确定所述统计数据对应的第一索引表，包括：

获取所述第二索引表中在所述第二预设时间节点之前的目标聚合结果；

将所述第二聚合结果与所述目标聚合结果进行合并，得到所述统计数据对应的第一索引表。

在本申请一种可能的实现方式中，所述方法还包括：

基于预设的检查策略，每间隔第二预设时间段获取所述合并后的第一索引表；

快照保存所述合并后的第一索引表和合并时对应的时间节点位置信息，得到自愈数据。

在本申请一种可能的实现方式中，所述方法还包括：

若发生预设异常，则基于所述自愈数据中所述合并后的第一索引表和所述当前时间点对应的位置信息，对所述异常进行恢复。

在本申请一种可能的实现方式中，所述基于所述多个第一操作数据，确定第一聚合结果，包括：

将所述多个第一操作数据进行分类，得到不同类别的操作数据集合；

对各类别的操作数据集合进行预聚合处理，得到各预聚合结果；

将所述各预聚合结果进行合并，得到合并后的第一聚合结果。

在本申请一种可能的实现方式中，所述基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据，包括：

将所述第一索引表中的初始聚合结果和所述第一聚合结果进行合并，得到所述当前时间节点的目标统计数据。

另一方面，本申请提供一种物流统计数据查询装置，所述装置包括：

第一获取单元，用于获取当前时间节点针对目标物流站点的统计数据的查询请求；

第二获取单元，用于基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；

第三获取单元，用于获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；

第一确定单元，用于基于所述多个第一操作数据，确定第一聚合结果；

第二确定单元，用于基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。

在本申请一种可能的实现方式中，在基于所述查询请求，获取所述统计数据对应的第一索引表之前，所述装置还用于：

第四获取单元，用于获取第二索引表，所述第二索引表包括在第二预设时间节点之前的目标聚合结果，所述第二预设时间节点在所述第一预设时间节点之前，所述第二预设时间节点和所述第一预设时间节点之间间隔第一预设时间段；

第五获取单元，用于获取在所述第一预设时间段的针对新写入数据的多个第二操作数据；

第三确定单元，用于基于所述多个第二操作数据，确定第二聚合结果；

第四确定单元，用于基于所述第二索引表和所述第二聚合结果，确定所述统计数据对应的第一索引表。

在本申请一种可能的实现方式中，所述第四确定单元，具体用于：

获取所述第二索引表中在所述第二预设时间节点之前的目标聚合结果；

将所述第二聚合结果与所述目标聚合结果进行合并，得到所述统计数据对应的第一索引表。

在本申请一种可能的实现方式中，所述装置还用于：

基于预设的检查策略，每间隔第二预设时间段获取所述合并后的第一索引表；

快照保存所述合并后的第一索引表和合并时对应的时间节点位置信息，得到自愈数据。

在本申请一种可能的实现方式中，所述装置还用于：

若发生预设异常，则基于所述自愈数据中所述合并后的第一索引表和所述当前时间点对应的位置信息，对所述异常进行恢复。

在本申请一种可能的实现方式中，所述第一确定单元，具体用于：

将所述多个第一操作数据进行分类，得到不同类别的操作数据集合；

对各类别的操作数据集合进行预聚合处理，得到各预聚合结果；

将所述各预聚合结果进行合并，得到合并后的第一聚合结果。

在本申请一种可能的实现方式中，基于第二确定单元，具体用于：

将所述第一索引表中的初始聚合结果和所述第一聚合结果进行合并，得到所述当前时间节点的目标统计数据。

另一方面，本申请还提供一种服务器，所述服务器包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的物流统计数据查询方法。

另一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的物流统计数据查询方法中的步骤。

本申请提供的物流统计数据查询方法，包括：获取当前时间节点针对目标物流站点的统计数据的查询请求；基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；基于所述多个第一操作数据，确定第一聚合结果；基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。相较于传统方法，在现有的系统框架对实时业务数据的管控性能低的背景下，本申请创造性地提出，通过获取统计数据对应的第一索引表，该第一索引表包括在第一预设时间节点之前的初始聚合结果，由此，解决实时聚合，性能低，高并发资源损耗高，进一步的，基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据，解决传统预聚合，在数据频繁更新条件下，聚合结果异常问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的物流统计数据查询系统的场景示意图；

图2是本申请实施例中提供的物流统计数据查询方法的一个实施例流程示意图；

图3是本申请实施例中提供的获取统计数据对应的第一索引表的一个实施例流程示意图；

图4是本申请实施例中提供的获取自愈数据的一个实施例流程示意图；

图5是本申请实施例中提供的物流统计数据查询装置的一个实施例结构示意图；

图6是本申请实施例中提供的服务器的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种物流统计数据查询方法、装置及其相关设备，以下分别进行详细说明。

如图1所示，图1是本申请实施例提供的物流统计数据查询系统的场景示意图，该物流统计数据查询系统可以包括多个终端100和服务器200，终端100和服务器200网络连接，服务器200中集成有物流统计数据查询装置，如图1中的服务器，终端100可以访问服务器200。

本申请实施例中，该服务器200可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如本申请实施例中所描述的服务器200，其包括但不限于计算机、网络终端、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。本申请的实施例中，服务器与终端之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划(3rd Generation Partnership Project，3GPP)、长期演进(Long Term Evolution，LTE)、全球互通微波访问(Worldwide Interoperability for Microwave Access，WiMAX)的移动通信，或基于TCP/IP协议族(TCP/IP Protocol Suite，TCP/IP)、用户数据报协议(User Datagram Protocol，UDP)的计算机网络通信等。

可以理解的是，本申请实施例中所使用的终端100可以是既包括接收和发射硬件的设备，既具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种终端可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端100具体可以是台式终端或移动终端，终端100具体还可以是手机、平板电脑、笔记本电脑等中的一种。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，或者服务器网络连接关系，例如图1中仅示出1个服务器和2个终端。可以理解的，该物流统计数据查询系统还可以包括一个或多个其他服务器，或/且一个或多个与服务器网络连接的终端，具体此处不作限定。

另外，如图1所示，该物流统计数据查询系统还可以包括存储器300，用于存储数据，如存储统计数据对应的索引表和物流统计数据查询数据，例如物流统计数据查询系统运行时的物流统计数据查询数据。

需要说明的是，图1所示的物流统计数据查询系统的场景示意图仅仅是一个示例，本申请实施例描述的物流统计数据查询系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着物流统计数据查询系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

接下来，介绍本申请实施例提供的物流统计数据查询方法。

本申实施例物流统计数据查询方法的实施例中以物流统计数据查询装置作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该物流统计数据查询装置应用于服务器，该方法包括：获取当前时间节点针对目标物流站点的统计数据的查询请求；基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；基于所述多个第一操作数据，确定第一聚合结果；基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。

请参阅图2至图6，图2为本申请实施例中提供的物流统计数据查询方法的一个实施例流程示意图，该物流统计数据查询方法包括：

201、获取当前时间节点针对目标物流站点的统计数据的查询请求；

其中，物流站点(又称物流网点)，即物流网络的结点，主要指的是储运仓库、流通仓库以及中转仓库等。物流站点是现代商品流通的载体和空间依托，也是商品物流的实施基础。物流站点的统计数据包括但不限于当前时间节点站点内的快件数量统计数据、配送车辆数量统计数据以及车箱数量统计数据。需要说明的是，本申请所针对的统计数据是一些频繁更新状态下的数据，如，物流站点内的快件数量统计数据，由于该物流站点的快件有从其他物流站点转运过来新增的快件，还有部分快件是从该物流站点转运至其他物流站点或用户的，即，该物流站点的快件数量会频繁的进行更新变化，因此，为了实现对这些频繁更新下的数据进行查寻，本申请实施例通过定期对目标物流站点的相关数据进行统计，从而得到目标物流站点的统计数据。

一般情况下，用户在对当前时间节点针对目标物流站点的统计数据进行查询时，会在对应的终端上进行操作，向服务器发出相应的查询请求，由此，服务器即可获取到当前时间节点针对目标物流站点的统计数据的查询请求。

202、基于查询请求，获取统计数据对应的第一索引表，第一索引表包括在第一预设时间节点之前的初始聚合结果；

本申请实施例中，第一索引表为Elasticsearch(简称ES)中的预聚合表，其中，ES是一种分布式、基于Lucene的搜索引擎。预聚合表是存在于ES中的一种类似于数据库的表格，该预聚合表可以对数据进行聚合计算。预聚合表的作用，是对已有的表单数据进行预计算(预处理)，以备进一步调用。表单可以通过数据联动、关联查询和关联数据，去调用聚合表中的数据。初始聚合结果包括一定时间内针对目标物流站点的某类数据的初始统计数据。例如，初始聚合结果具体为今天下午三点之前的针对目标物流站点的快件分拣数据的初始统计数据。

本申请实施例通过索引表的对应关系能够大大加快数据的检索速度；创建唯一性索引，保证数据库表中每一行数据的唯一性；加速表和表之间的连接；在使用分组和排序子句进行数据检索时，可以显著减少查询中分组和排序的时间。具体的，在查询请求下，可以从预设的数据库中获取该统计数据对应的第一索引表。

其中，第一预设时间节点位于当前时间节点之前，并且，该第一预设时间节点为距离当前时间节点最近的时间节点，需要说明的是，由于系统会按照一定时间间隔对目标数据进行统计，该一定时间间隔是可人为设置的，以下所述的第一预设时间段即为所述人为设置的时间间隔，该目标数据对应步骤201中提及的频繁更新状态下的数据，因此，如果将第一预设时间节点的统计数据作为当前时间节点的统计数据，是存在较大误差的。为了避免上述问题的发生，本申请考虑还需将第一预设时间节点和当前时间节点之间的数据进行合并统计，具体的，可参阅下述步骤。

203、获取在当前时间节点和第一预设时间节点之间的针对新写入数据的多个第一操作数据，第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；例如，当快件从中转站A运输到中转站B时，中转站A而言则会产生一个删除操作类型的第一操作数据，而中转站B则会产生一个新增操作类型的第一操作数据。

一般情况下，现有的预聚合都是对一些只有新增操作类型的数据进行预聚合，例如，对某个页面的点击数量进行统计的情形，该情形中的操作数据的数据类型通常只有新增操作类型，不同于该情形，本申请实施例中的操作数据的数据类型除了包括新增操作类型外，还包括修改操作类型以及删除操作类型。

具体的，当在所述当前时间节点和所述第一预设时间节点之间存在新写入数据的操作数据时，系统会自动抓取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据。

204、基于多个第一操作数据，确定第一聚合结果；

在本申请的一些实施例中，所述基于所述多个第一操作数据，确定第一聚合结果，包括：将所述多个第一操作数据进行分类，得到不同类别的操作数据集合；对各类别的操作数据集合进行预聚合处理，得到各预聚合结果；将所述各预聚合结果进行合并，得到合并后的第一聚合结果。具体的，可以将多个第一操作数据按照不同数据类型进行分类，例如，将新增操作类型、修改操作类型以及删除操作类型中各类数据进行分类，从而得到不同类别的操作数据集合。然后，分别对各类别的操作数据集合进行预聚合处理，以得到各预聚合结果。

进一步的，再将各类预聚合结果进行合并，从而得到合并后的第一聚合结果，例如，多个第一操作数据中，包括有20k个新增操作类型数据、18k个删除操作类型数据以及0个修改操作类型数据，那么先将这三类操作数据中各类数据进行预聚合，假设每个操作类型数据对应的数值为1，即一个新增操作类型数据对应+1，而一个删除操作类型数据对应-1，因此，20k个新增操作类型数据对应+20k，而18k个删除操作类型数据对应-18k，0个修改操作类型数据对应0，最后，将其进行合并，得到合并后的第一聚合结果为2k。

205、基于第一索引表和第一聚合结果，确定当前时间节点的目标统计数据。

在本申请的一些实施例中，基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据，包括：将所述第一索引表中的初始聚合结果和所述第一聚合结果进行合并，得到所述当前时间节点的目标统计数据。可以理解的是，通过将当前时间节点和第一预设时间节点之间产生的第一聚合结果去更新第一索引表，从而得到当前时间节点的目标统计数据。

本申请提供的物流统计数据查询方法，相较于传统方法，在现有的系统框架对实时业务数据的管控性能低的背景下，本申请创造性地提出，通过获取统计数据对应的第一索引表，该第一索引表包括在第一预设时间节点之前的初始聚合结果，由此，解决实时聚合，性能低，高并发资源损耗高，进一步的，基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据，解决传统预聚合，在数据频繁更新条件下，聚合结果异常问题。

在本申请的一些实施例中，如图3所示，在步骤202、基于所述查询请求，获取所述统计数据对应的第一索引表之前，所述方法还包括：

301、获取第二索引表，第二索引表包括在第二预设时间节点之前的目标聚合结果，第二预设时间节点在第一预设时间节点之前，第二预设时间节点和第一预设时间节点之间间隔第一预设时间段；

其中，如上所述，第一预设时间段是人为设定一个间隔时间段，该间隔时间段的设定是用户控制系统在设定起始时间后，按照该间隔时间段自动生成相应的索引表，即每隔一个间隔时间段，就自动更新形成一个最新的索引表，上述生成索引表的操作与用户是否存在查询动作无关。例如，本申请实施例中，无论用户是否进行查询操作，系统都会在第二预设时间节点对第二预设时间节点之前的目标数据进行统计，生成第二索引表，因为索引表的获取跟系统设定有关。例如，若是当前时间节点为12:30，之前系统设定的是0：00点开始每隔一个小时获取索引表，则离当前时间节点最近的第一预设时间节点为12:00.第二预设时间节点为：11：00。

本申请实施例通过步骤301～步骤304简单概括系统是如何获取一个间隔时间段的更新数据，需要说明的是，系统会按照该间隔时间段，一直对索引表进行更新。例如，当用户设定一个初始统计时间为2021.07.11，12：00am，间隔时间段为一小时，那么系统会从初始统计时间为2021.07.11，12：00am开始，每间隔一小时就会统计这一小时内的所有操作数据，然后基于该操作数据对索引表进行更新，具体如何基于该操作数据对索引表进行更新，可以参阅步骤301～步骤304。

302、获取在第一预设时间段的针对新写入数据的多个第二操作数据；

其中，所述第二预设时间节点在所述第一预设时间节点之前，所述第二预设时间节点和所述第一预设时间节点之间间隔第一预设时间段；需要注意的是，第二预设时间节点和第一预设时间节点之间间隔预设时间段的预设时间段是可根据实际需求进行设定的，如果对其数据的时效性要求不高，可以将该第一预设时间段设为小时级，例如将该第一预设时间段设为1小时，即每间隔1小时就获取一次针对新写入数据的多个第二操作数据，如此，可以降低资源的损耗，如果对其数据的时效性要求较高，可以将该预设时间段设为秒级，例如将该第一预设时间段设为1秒钟，即每间隔1秒钟就获取一次针对新写入数据的多个第二操作，如此，可以有效提高数据的时效性。

303、基于多个第二操作数据，确定第二聚合结果；

在本申请的一些实施例中，所述基于所述多个第二操作数据，确定第二聚合结果，包括：将所述多个第二操作数据进行分类，得到不同类别的操作数据集合；对各类别的操作数据集合进行预聚合处理，得到各预聚合结果；将所述各预聚合结果进行合并，得到合并后的第二聚合结果。具体的，可以将多个第二操作数据按照不同数据类型进行分类，例如，将新增操作类型、修改操作类型以及删除操作类型中各类数据进行分类，从而得到不同类别的操作数据集合。然后，分别对各类别的操作数据集合进行预聚合处理，以得到各预聚合结果，其中，所谓预聚合即添加记录规则，使得查询效率更高。

进一步的，再将各类预聚合结果进行合并，从而得到合并后的第二聚合结果，例如，多个第二操作数据中，包括有18k个新增操作类型数据、20k个删除操作类型数据以及0个修改操作类型数据，那么先将这三类操作数据中各类数据进行预聚合，假设每个操作类型数据对应的数值为1，即一个新增操作类型数据对应+1，而一个删除操作类型数据对应-1，因此，18k个新增操作类型数据对应+18k，而20k个删除操作类型数据对应-20k，0个修改操作类型数据对应0，最后，将其进行合并，得到合并后的第二聚合结果为-2k。

304、基于第二索引表和第二聚合结果，确定统计数据对应的第一索引表。

在本申请的一些实施例中，基于所述第二索引表和所述第二聚合结果，确定所述统计数据对应的第一索引表，包括：获取所述第二索引表中在所述第二预设时间节点之前的目标聚合结果；将所述第二聚合结果与所述目标聚合结果进行合并，得到所述统计数据对应的第一索引表。

需要说明的是，本申请实施例中，获取所述统计数据对应的第一索引表这个操作，无论是否有查询请求，其系统都会去操作，并且一直循环操作，只是，在用户需要查询时，可以去ES中捞取已经生成好的统计数据对应的第一索引表。

本申请实施例所公开的方案，在频繁更新条件下，在不影响原始数据流程基础上，提供了实时聚合查询结果，提高查询性能，降低响应时间，节省资源成本，满足看板，实时指标等数据聚合高并发查询。

在本申请的一些实施例中，如图4所示，所述方法还包括：

401、基于预设的检查策略，每间隔第二预设时间段获取所述合并后的第一索引表；

其中，预设的检查策略为定时checkpoint，即每间隔第二预设时间段获取所述合并后的第一索引表。

402、快照保存所述合并后的第一索引表和合并时对应的时间节点位置信息，得到自愈数据。

其中，通过快照保存合并后的第一索引表和合并时对应的时间节点位置信息，后续可以根据该时间节点位置信息，快速找到合并后的第一索引表。

进一步的，若发生预设异常，则基于所述自愈数据中所述合并后的第一索引表和所述当前时间点对应的位置信息，对所述异常进行恢复。其中，预设异常可以是统计失败，任务异常、网络超时等情况。具体的，当系统检测到异常发生时，则将数据回复到距离检测到异常最近的快照备份数据，即可对异常进行恢复。

本申请实施例所公开的方案，通过采用上述手段，可以有效避免因为分布式集群，经常会出现节点掉线等异常情况，防止数据丢失，提高数据安全性。

为了更好实施本申请实施例中物流统计数据查询方法，在物流统计数据查询方法基础之上，本申请实施例中还提供一种物流统计数据查询装置，如图5所示，所述物流统计数据查询装置500包括：

第一获取单元501，用于获取当前时间节点针对目标物流站点的统计数据的查询请求；

第二获取单元502，用于基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；

第三获取单元503，用于获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；

第一确定单元504，用于基于所述多个第一操作数据，确定第一聚合结果；

第二确定单元505，用于基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。

在本申请一种可能的实现方式中，在基于所述查询请求，获取所述统计数据对应的第一索引表之前，所述装置还用于：

第四获取单元，用于获取第二索引表，所述第二索引表包括在第二预设时间节点之前的目标聚合结果，所述第二预设时间节点在所述第一预设时间节点之前，所述第二预设时间节点和所述第一预设时间节点之间间隔第一预设时间段；

第五获取单元，用于获取在所述第一预设时间段的针对新写入数据的多个第二操作数据；

第三确定单元，用于基于所述多个第二操作数据，确定第二聚合结果；

第四确定单元，用于基于所述第二索引表和所述第二聚合结果，确定所述统计数据对应的第一索引表。

在本申请一种可能的实现方式中，所述第四确定单元，具体用于：

获取所述第二索引表中在所述第二预设时间节点之前的目标聚合结果；

将所述第二聚合结果与所述目标聚合结果进行合并，得到所述统计数据对应的第一索引表。

在本申请的一些实施例中，所述装置还用于：

基于预设的检查策略，每间隔第二预设时间段获取所述合并后的第一索引表；

快照保存所述合并后的第一索引表和合并时对应的时间节点位置信息，得到自愈数据。

在本申请的一些实施例中，所述装置还用于：

若发生预设异常，则基于所述自愈数据中所述合并后的第一索引表和所述当前时间点对应的位置信息，对所述异常进行恢复。

在本申请的一些实施例中，所述第一确定单元504，具体用于：

将所述多个第一操作数据进行分类，得到不同类别的操作数据集合；

对各类别的操作数据集合进行预聚合处理，得到各预聚合结果；

将所述各预聚合结果进行合并，得到合并后的第一聚合结果。

在本申请的一些实施例中，基于第二确定单元505，具体用于：

将所述第一索引表中的初始聚合结果和所述第一聚合结果进行合并，得到所述当前时间节点的目标统计数据。

本申请提供的物流统计数据查询装置，包括：获取当前时间节点针对目标物流站点的统计数据的查询请求；第一获取单元501，用于获取当前时间节点针对目标物流站点的统计数据的查询请求；第二获取单元502，用于基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；第三获取单元503，用于获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；第一确定单元504，用于基于所述多个第一操作数据，确定第一聚合结果；第二确定单元505，用于基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。相较于传统装置，在现有的系统框架对实时业务数据的管控性能低的背景下，本申请创造性地提出，通过获取统计数据对应的第一索引表，该第一索引表包括在第一预设时间节点之前的初始聚合结果，由此，解决实时聚合，性能低，高并发资源损耗高，进一步的，基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据，解决传统预聚合，在数据频繁更新条件下，聚合结果异常问题。

除了上述介绍用于物流统计数据查询方法与装置之外，本申请实施例还提供一种服务器，其集成了本申请实施例所提供的任一种物流统计数据查询装置，所述服务器包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述物流统计数据查询方法实施例中任一实施例中所述的任一方法的操作。

本申请实施例还提供一种服务器，其集成了本申请实施例所提供的任一种物流统计数据查询装置。参阅图6，图6是本申请实施例提供的服务器一个实施例结构示意图。

如图6所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储单元602、电源603和输入单元604等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器601是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储单元602内的软件程序和/或模块，以及调用存储在存储单元602的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

存储单元602可用于存储软件程序以及模块，处理器601通过运行存储在存储单元602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储单元602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储单元602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元602还可以包括存储器控制器，以提供处理器601对存储单元602的访问。

服务器还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，服务器中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元602中，并由处理器601来运行存储在存储单元602中的应用程序，从而实现各种功能，如下：

获取当前时间节点针对目标物流站点的统计数据的查询请求；基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；基于所述多个第一操作数据，确定第一聚合结果；基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。

本申请提供一种物流统计数据查询方法，相较于传统方法，在现有的系统框架对实时业务数据的管控性能低的背景下，本申请创造性地提出，通过获取统计数据对应的第一索引表，该第一索引表包括在第一预设时间节点之前的初始聚合结果，由此，解决实时聚合，性能低，高并发资源损耗高，进一步的，基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据，解决传统预聚合，在数据频繁更新条件下，聚合结果异常问题。

为此，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。该计算机可读存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种物流统计数据查询方法中的步骤。例如，该指令可以执行如下步骤：

获取当前时间节点针对目标物流站点的统计数据的查询请求；基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；基于所述多个第一操作数据，确定第一聚合结果；基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种物流统计数据查询方法、装置及其相关设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物流统计数据查询方法，其特征在于，所述方法包括：

获取当前时间节点针对目标物流站点的统计数据的查询请求；

基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；

获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；

基于所述多个第一操作数据，确定第一聚合结果；

基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。

2.根据权利要求1所述的物流统计数据查询方法，其特征在于，在基于所述查询请求，获取所述统计数据对应的第一索引表之前，所述方法还包括：

获取第二索引表，所述第二索引表包括在第二预设时间节点之前的目标聚合结果，所述第二预设时间节点在所述第一预设时间节点之前，所述第二预设时间节点和所述第一预设时间节点之间间隔第一预设时间段；

获取在所述第一预设时间段的针对新写入数据的多个第二操作数据；

基于所述多个第二操作数据，确定第二聚合结果；

基于所述第二索引表和所述第二聚合结果，确定所述统计数据对应的第一索引表。

3.根据权利要求2所述的物流统计数据查询方法，其特征在于，所述基于所述第二索引表和所述第二聚合结果，确定所述统计数据对应的第一索引表，包括：

获取所述第二索引表中在所述第二预设时间节点之前的目标聚合结果；

将所述第二聚合结果与所述目标聚合结果进行合并，得到所述统计数据对应的第一索引表。

4.根据权利要求3所述的物流统计数据查询方法，其特征在于，所述方法还包括：

基于预设的检查策略，每间隔第二预设时间段获取所述合并后的第一索引表；

快照保存所述合并后的第一索引表和合并时对应的时间节点位置信息，得到自愈数据。

5.根据权利要求4所述的物流统计数据查询方法，其特征在于，所述方法还包括：

若发生预设异常，则基于所述自愈数据中所述合并后的第一索引表和所述当前时间点对应的位置信息，对所述异常进行恢复。

6.根据权利要求1所述的物流统计数据查询方法，其特征在于，所述基于所述多个第一操作数据，确定第一聚合结果，包括：

将所述多个第一操作数据进行分类，得到不同类别的操作数据集合；

对各类别的操作数据集合进行预聚合处理，得到各预聚合结果；

将所述各预聚合结果进行合并，得到合并后的第一聚合结果。

7.根据权利要求1所述的物流统计数据查询方法，其特征在于，所述基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据，包括：

将所述第一索引表中的初始聚合结果和所述第一聚合结果进行合并，得到所述当前时间节点的目标统计数据。

8.一种物流统计数据查询装置，其特征在于，所述装置包括：

第一获取单元，用于获取当前时间节点针对目标物流站点的统计数据的查询请求；

第二获取单元，用于基于所述查询请求，获取所述统计数据对应的第一索引表，所述第一索引表包括在第一预设时间节点之前的初始聚合结果；

第三获取单元，用于获取在所述当前时间节点和所述第一预设时间节点之间的针对新写入数据的多个第一操作数据，所述第一操作数据的数据类型包括新增操作类型、修改操作类型以及删除操作类型；

第一确定单元，用于基于所述多个第一操作数据，确定第一聚合结果；

第二确定单元，用于基于所述第一索引表和所述第一聚合结果，确定所述当前时间节点的目标统计数据。

9.一种服务器，其特征在于，所述服务器包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的物流统计数据查询方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的物流统计数据查询方法中的步骤。