CN107704373B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明提供的一种数据处理方法及装置，接收来自数据源的多条数据，每条数据携带有时间戳，根据每条数据的时间戳，按预设规则判断在第一预设周期内接收到的每条数据是否延迟，将未延迟数据与延迟数据分开统计，对所述第一预设周期内接收到的未延迟数据进行实时统计，将延迟数据进行存储，并定时对延迟数据进行统计，并将相同窗口的实时数据统计结果与延迟数据统计结果进行合并。每次的合并都是对实时统计结果的修复，在每次合并中使统计结果趋于精确，同时满足统计结果的实时性和准确性。

Description

一种数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，更具体的，涉及一种数据处理方法及装置。

背景技术

实时计算是近年来非常火的一种处理技术。相比于批处理，它能够实时的给出计算结果，利于业务组根据系统的情况，快速做出决策。实时计算中有一种常见的场景是根据数据本身的时间，统计一段时间的数据指标，如统计每分钟每个页面的访问次数。

由于数据可能在不同的机器上产生，到达实时计算系统时，数据按时间是乱序的，拥有相同时间戳的数据，到达实时计算系统的时间会有先后。需要对数据按时间戳重排序，时间戳在同一个窗口的放到一起计算。为了计算准确，每个窗口需要设置一定的等待时间，等待时间过了就会计算该窗口的数据给出统计结果，在等待时间之后到达的数据会被丢弃。

举例如下，统计每分钟每个页面的访问次数，假设现在要统计10:00-10:01时间段每个页面的访问次数，如果我们10:01就计算并给出结果，则可能会漏掉部分时间戳在这个时间段，但晚到的数据。一般的做法是等待一段时间，再给出结果，比如10:02再给出10:00-10:01的统计值。等待的时间越长，给出的结果就越准确，同时时效性就越差，而且在给出结果之后的晚到的数据就会被丢弃，造成结果不准确。也就是说，现有的实时统计方法无法同时满足统计结果的实时性和准确性。

发明内容

有鉴于此，本发明提供了一种数据处理方法及装置，将未延迟数据与延迟数据分开统计，对未延迟数据进行实时统计，定时对延迟数据进行统计，并将相同第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，每次的合并都是对实时统计结果的修复，同时满足统计结果的实时性和准确性。

具体技术方案如下：

一种数据处理方法，所述方法包括：

接收来自数据源的多条数据，每条数据携带有时间戳；

根据每条数据的时间戳，按预设规则判断在第一预设周期内接收到的每条数据是否延迟；

对所述第一预设周期内接收到的未延迟数据进行实时统计，得到所述第一预设周期的实时数据统计结果；

对延迟数据进行存储，并将时间戳在所述第一预设周期内且在第二预设周期接收到的延迟数据确定为所述第一预设周期的延迟数据，所述第二预设周期大于所述第一预设周期；

对所述第一预设周期的延迟数据进行统计，得到所述第一预设周期的延迟数据统计结果；

将所述第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，得到所述第一预设周期的数据统计结果。

优选的，所述根据每条数据的时间戳，按预设规则判断在所述第一预设周期内接收到的每条数据是否延迟，包括：

获取所述第一预设周期内接收到的各条数据的时间戳，得到最大时间戳；

将比所述最大时间戳早预设时间的时间戳定义为预设时间戳；

将时间戳小于所述预设时间戳的数据确定为延迟数据，并将时间戳不小于所述预设时间戳的数据确定为未延迟数据。

优选的，所述对所述第一预设周期内接收到的未延迟数据进行实时统计，具体为：

按预设统计指标对所述第一预设周期内接收到的未延迟数据进行统计。

优选的，所述对所述第一预设周期的延迟数据进行统计，具体为：

按预设统计指标对所述第一预设周期内接收到的延迟数据进行统计。

优选的，所述方法还包括：

定义所述第一预设周期的最晚延迟时间，将时间戳在所述第一预设周期内且在所述最晚延迟时间之后接收到的数据丢弃。

优选的，在得到所述第一预设周期的实时数据统计结果之后，所述方法还包括：

对所述第一预设周期的实时数据统计结果进行展示；

在得到所述第一预设周期的数据统计结果之后，所述方法还包括：

对所述第一预设周期的数据统计结果进行展示。

一种数据处理装置，所述装置包括：

接收单元，用于接收来自数据源的多条数据，每条数据携带有时间戳；

第一判断单元，用于根据每条数据的时间戳，按预设规则判断在第一预设周期内接收到的每条数据是否延迟；

第一统计单元，用于对所述第一预设周期内接收到的未延迟数据进行实时统计，得到所述第一预设周期的实时数据统计结果；

第二判断单元，用于对延迟数据进行存储，并将时间戳在所述第一预设周期内且在第二预设周期接收到的延迟数据确定为所述第一预设周期的延迟数据，所述第二预设周期大于所述第一预设周期；

第二统计单元，用于对所述第一预设周期的延迟数据进行统计，得到所述第一预设周期的延迟数据统计结果；

统计结果修复单元，用于将所述第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，得到所述第一预设周期的数据统计结果。

优选的，所述第一判断单元包括：

获取子单元，用于获取所述第一预设周期内接收到的各条数据的时间戳，得到最大时间戳；

定义子单元，用于将比所述最大时间戳早预设时间的时间戳定义为预设时间戳；

确定子单元，用于将时间戳小于所述预设时间戳的数据确定为延迟数据，并将时间戳不小于所述预设时间戳的数据确定为未延迟数据。

优选的，所述第一统计单元具体用于：按预设统计指标对所述第一预设周期内接收到的未延迟数据进行统计。

优选的，所述第二统计单元具体用于：按预设统计指标对所述第一预设周期内接收到的延迟数据进行统计。

优选的，所述装置还包括：

丢弃单元，用于定义所述第一预设周期的最晚延迟时间，将时间戳在所述第一预设周期内且在所述最晚延迟时间之后接收到的数据丢弃。

优选的，所述装置还包括：

第一展示单元，用于对所述第一预设周期的实时数据统计结果进行展示；

第二展示单元，用于对所述第一预设周期的数据统计结果进行展示。

相对于现有技术，本发明的有益效果如下：

本发明提供的一种数据处理方法及装置，按预设规则判断在第一预设周期内接收到的每条数据是否延迟，将未延迟数据与延迟数据分开统计，对所述第一预设周期内接收到的未延迟数据进行实时统计，将延迟数据进行存储，并定时对延迟数据进行统计，将第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，每次的合并都是对实时统计结果的修复，在每次合并中使统计结果趋于精确，同时满足统计结果的实时性和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种数据处理方法流程图；

图2为本发明实施例公开的另一种数据处理方法流程图；

图3为本发明实施例公开的一种数据处理装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例公开了一种数据处理方法，具体包括以下步骤：

S101：接收来自数据源的多条数据，每条数据携带有时间戳；

具体的，所述数据源为Kafka和ActiveMQ，Kafka是一种高吞吐量的分布式发布订阅消息系统，ActiveMQ是Apache出品，最流行的，能力强劲的开源消息总线。

时间戳(timestamp)表示每条数据的产生时间。

S102：根据每条数据的时间戳，按预设规则判断在第一预设周期内接收到的每条数据是否延迟；

需要说明的是，这里的第一预设周期为背景技术中的窗口(window.start，window.end)，例如：第一预设周期为1分钟，则10：00～10:01,10:01～10:02就是连续的两个第一预设周期。

每条数据都有一个时间戳，即，每条数据都有一个产生时间。当时间戳在第一预设周期内，且该时间戳对应的数据在第一预设周期内接收到，该时间戳对应的数据为未延迟数据。

S103：对所述第一预设周期内接收到的未延迟数据进行实时统计，得到所述第一预设周期的实时数据统计结果；

具体的，所述对所述第一预设周期内接收到的未延迟数据进行实时统计，具体为：

按预设统计指标对所述第一预设周期内接收到的未延迟数据进行统计。

需要说明的是，用户可以根据实际需要对预设统计指标进行设定。例如，统计一个网站每分钟的访问量，则将第一预设周期设置为1分钟，实时数据统计结果中每行数据包含两列，第一列表示第几分钟，第二列为对应这一分钟的网站访问量。

可以理解的是，预设统计指标可以为一种统计指标，如：网站访问量；预设统计指标还可以为多种统计指标的组合，如：普通用户对网站访问量和高级用户对网站访问量的组合。

优选的，所述方法还包括：

对所述第一预设周期的实时数据统计结果进行展示。

S104：对延迟数据进行存储，并将时间戳在所述第一预设周期内且在第二预设周期接收到的延迟数据确定为所述第一预设周期的延迟数据，所述第二预设周期大于所述第一预设周期；

需要说明的是，第二预设周期为预先设定的，一般而言，第二预设周期大于第一预设周期。例如：第一预设周期为1分钟，第二预设周期为10分钟，第一预设周期为10:00～10:01，第二预设周期为10:01～10:11，时间戳为10:00:30的数据为在第一预设周期内的数据，但是该数据在第一预设周期内未收到，在第二预设周期中10:05才收到，则时间戳为10:00:30的数据为在第二预设周期收到的第一预设周期的延迟数据。

S105：对所述第一预设周期的延迟数据进行统计，得到所述第一预设周期的延迟数据统计结果；

需要说明的是，对未延迟数据的统计的方法与对延迟数据的统计方法相同，以便后续对实时数据统计结果和延迟数据统计结果进行合并。

所述对所述第一预设周期的延迟数据进行统计，具体为：

按预设统计指标对所述第一预设周期内接收到的延迟数据进行统计。

S106：将所述第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，得到所述第一预设周期的数据统计结果。

具体的，例如，第一预设周期为第N分钟，第一预设周期的数据统计结果为某个网站第N分钟的访问量。当未延迟数据统计完后，第一预设周期的实时数据统计结果为某个网站在第N分钟访问量为M；当延迟数据统计完后，第一预设周期的延迟数据统计结果为某个网站在第N分钟访问量为1，则将1加到实时数据统计结果M中，最终第一预设周期的某个网站在第N分钟访问量为(M+1)。

优选的，所述方法还包括：

对所述第一预设周期的数据统计结果进行展示。

本实施例公开了一种数据处理方法，按预设规则判断在第一预设周期内接收到的每条数据是否延迟，将未延迟数据与延迟数据分开统计，对所述第一预设周期内接收到的未延迟数据进行实时统计，将延迟数据进行存储，并定时对延迟数据进行统计，将第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，每次的合并都是对实时统计结果的修复，在每次合并中使统计结果趋于精确，同时满足统计结果的实时性和准确性。

请参阅图2，上述实施例中，步骤S102的具体执行过程如下：

S201：获取所述第一预设周期内接收到的各条数据的时间戳，得到最大时间戳；

时间戳表示数据的产生时间，最大时间戳为第一预设周期内接收到的各条数据的时间戳中时间最晚的时间戳。

S202：将比所述最大时间戳早预设时间的时间戳定义为预设时间戳；

需要说明的是，用户可以根据实际需要对预设时间进行设定，优选的，预设时间等于第一预设周期。

具体的，所述预设时间戳表示的时间比所述最大时间戳表示的时间早，所述预设时间戳与所述最大时间戳之间相隔预设时间。

S203：将时间戳小于所述预设时间戳的数据确定为延迟数据，并将时间戳不小于所述预设时间戳的数据确定为未延迟数据。

例如，第一预设周期内接收到的最大时间戳为10:01，预设时间为1分钟，则10:00为预设时间戳，时间戳小于10:00的数据为延迟数据，时间戳不小于10:00的数据为未延迟数据。

本实施例提供的数据处理方法，获取第一预设周期内的最大时间戳，并定义预设时间戳，根据最大时间戳和预设时间戳确定数据是否为延迟数据。使延迟数据的确定更加准确，更接近实际情况。

优选的所述数据处理方法还包括：

定义所述第一预设周期的最晚延迟时间，将时间戳在所述第一预设周期内且在所述最晚延迟时间之后接收到的数据丢弃。

具体的，用户一般会定义一个最晚延迟时间，当数据延迟太严重的数据就没有了统计的必要，将会被丢弃。例如，将第一预设周期的最晚延迟时间定义为第一预设周期后的一天，时间戳在所述第一预设周期且在最晚延迟时间之后接收到的数据将会被丢弃。

例如：第一预设周期为10:00～10:01，时间戳为10:00:30的数据为在第一预设周期内的数据。最晚延迟时间为第一预设周期后的一天，若时间戳为10:00:30的数据在一天以后才被接收到，就会被丢弃。第一预设周期结束以后的第一预设周期为新的第一预设周期，例如：第一预设周期为10:00～10:01，该周期结束以后，10:01～10:02为新的第一预设周期，此时，定义新的第一预设周期的最晚延迟时间。

本实施例提供的一种数据处理方法，丢弃掉延迟太严重的数据，提高了数据处理效率。

请参阅图3，基于上述实施例公开的一种数据处理方法，本实施例对应公开了一种数据处理装置，具体包括：

接收单元101，用于接收来自数据源的多条数据，每条数据携带有时间戳；

第一判断单元102，用于根据每条数据的时间戳，按预设规则判断在第一预设周期内接收到的每条数据是否延迟；

第一统计单元103，用于对所述第一预设周期内接收到的未延迟数据进行实时统计，得到所述第一预设周期的实时数据统计结果；

需要说明的是，所述第一统计单元103具体用于：按预设统计指标对所述第一预设周期内接收到的未延迟数据进行统计。

第二判断单元104，用于对延迟数据进行存储，并将时间戳在所述第一预设周期内且在第二预设周期接收到的延迟数据确定为所述第一预设周期的延迟数据，所述第二预设周期大于所述第一预设周期；

所述第二统计单元具体用于：按预设统计指标对所述第一预设周期内接收到的延迟数据进行统计。第二统计单元105，用于对所述第一预设周期的延迟数据进行统计，得到所述第一预设周期的延迟数据统计结果；

需要说明的是，所述第一统计单元103中对未延迟数据的统计的方法与所述第二统计单元105中对延迟数据的统计方法相同。

统计结果修复单元106，用于将所述第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，得到所述第一预设周期的数据统计结果。

所述判断单元102包括：

获取子单元，用于获取所述第一预设周期内接收到的各条数据的时间戳，得到最大时间戳；

定义子单元，用于将比所述最大时间戳早预设时间的时间戳定义为预设时间戳；

确定子单元，用于将时间戳小于所述预设时间戳的数据确定为延迟数据，并将时间戳不小于所述预设时间戳的数据确定为未延迟数据。

所述数据处理装置还包括：

丢弃单元，用于定义所述第一预设周期的最晚延迟时间，将时间戳在所述第一预设周期内且在所述最晚延迟时间之后接收到的数据丢弃。

优选的，所述数据处理装置还包括：

第一展示单元，用于对所述第一预设周期的实时数据统计结果进行展示；

第二展示单元，用于对所述第一预设周期的数据统计结果进行展示。

本实施例公开的数据处理装置，判断单元102根据每条数据的时间戳，按预设规则判断在第一预设周期内接收到的每条数据是否延迟，第一统计单元103与第二统计单元105将未延迟数据与延迟数据分开统计，第一统计单元103对所述第一预设周期内接收到的未延迟数据进行实时统计，第二统计单元105将延迟数据进行存储，并定时对延迟数据进行统计，统计结果修复单元106将第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，每次的合并都是对实时统计结果的修复，在每次合并中使统计结果趋于精确，同时满足统计结果的实时性和准确性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种数据处理方法，其特征在于，所述方法包括：

接收来自数据源的多条数据，每条数据携带有时间戳；

根据每条数据的时间戳，按预设规则判断在第一预设周期内接收到的每条数据是否延迟；

对所述第一预设周期内接收到的未延迟数据进行实时统计，得到所述第一预设周期的实时数据统计结果；

对延迟数据进行存储，并将时间戳在所述第一预设周期内且在第二预设周期接收到的数据确定为所述第一预设周期的延迟数据，所述第二预设周期大于所述第一预设周期；

对所述第一预设周期的延迟数据进行统计，得到所述第一预设周期的延迟数据统计结果；

将所述第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，得到所述第一预设周期的数据统计结果。

2.根据权利要求1所述的方法，其特征在于，所述根据每条数据的时间戳，按预设规则判断在所述第一预设周期内接收到的每条数据是否延迟，包括：

获取所述第一预设周期内接收到的各条数据的时间戳，得到最大时间戳；

将比所述最大时间戳早预设时间的时间戳定义为预设时间戳；

将时间戳小于所述预设时间戳的数据确定为延迟数据，并将时间戳不小于所述预设时间戳的数据确定为未延迟数据。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一预设周期内接收到的未延迟数据进行实时统计，具体为：

按预设统计指标对所述第一预设周期内接收到的未延迟数据进行统计。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一预设周期的延迟数据进行统计，具体为：

按预设统计指标对所述第一预设周期内接收到的延迟数据进行统计。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

定义所述第一预设周期的最晚延迟时间，将时间戳在所述第一预设周期内且在所述最晚延迟时间之后接收到的数据丢弃。

6.根据权利要求1所述的方法，其特征在于，在得到所述第一预设周期的实时数据统计结果之后，所述方法还包括：

对所述第一预设周期的实时数据统计结果进行展示；

在得到所述第一预设周期的数据统计结果之后，所述方法还包括：

对所述第一预设周期的数据统计结果进行展示。

7.一种数据处理装置，其特征在于，所述装置包括：

接收单元，用于接收来自数据源的多条数据，每条数据携带有时间戳；

第一判断单元，用于根据每条数据的时间戳，按预设规则判断在第一预设周期内接收到的每条数据是否延迟；

第一统计单元，用于对所述第一预设周期内接收到的未延迟数据进行实时统计，得到所述第一预设周期的实时数据统计结果；

第二判断单元，用于对延迟数据进行存储，并将时间戳在所述第一预设周期内且在第二预设周期接收到的延迟数据确定为所述第一预设周期的延迟数据，所述第二预设周期大于所述第一预设周期；

第二统计单元，用于对所述第一预设周期的延迟数据进行统计，得到所述第一预设周期的延迟数据统计结果；

统计结果修复单元，用于将所述第一预设周期的实时数据统计结果与延迟数据统计结果进行合并，得到所述第一预设周期的数据统计结果。

8.根据权利要求7所述的装置，其特征在于，所述第一判断单元包括：

获取子单元，用于获取所述第一预设周期内接收到的各条数据的时间戳，得到最大时间戳；

定义子单元，用于将比所述最大时间戳早预设时间的时间戳定义为预设时间戳；

确定子单元，用于将时间戳小于所述预设时间戳的数据确定为延迟数据，并将时间戳不小于所述预设时间戳的数据确定为未延迟数据。

9.根据权利要求7所述的装置，其特征在于，所述第一统计单元具体用于：按预设统计指标对所述第一预设周期内接收到的未延迟数据进行统计。

10.根据权利要求7所述的装置，其特征在于，所述第二统计单元具体用于：按预设统计指标对所述第一预设周期内接收到的延迟数据进行统计。

11.根据权利要求7所述的装置，其特征在于，所述装置还包括：

丢弃单元，用于定义所述第一预设周期的最晚延迟时间，将时间戳在所述第一预设周期内且在所述最晚延迟时间之后接收到的数据丢弃。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第一展示单元，用于对所述第一预设周期的实时数据统计结果进行展示；

第二展示单元，用于对所述第一预设周期的数据统计结果进行展示。

Images