CN110334117B - 一种实时数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种实时数据处理方法及装置，所述方法包括：根据预设规则将第一数据分组分为N组子数据分组；获取第一数据分组的聚合结果和每个子数据分组的聚合结果；根据所述第一数据分组的聚合结果和每个子数据分组的聚合结果计算第二数据分组的聚合结果。本发明公开的技术方案可有效解决Flink在巨大滑动窗口下聚合性能过差的问题。

Description

一种实时数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种实时数据处理方法及装置。

背景技术

随着互联网的蓬勃发展，企业对业务的实时性要求越来越高，流处理的概念应运而生，开源社区也陆续给出了相应的解决方案。

Apache Flink是一个流处理引擎，有如下特性：支持任务管理，允许下发，中止统计任务，真正的流处理，数据不必落盘，纯内存计算，秒或毫秒级别的实时性，支持基于窗口的统计，支持使用SQL语法自定义统计逻辑，支持集群化部署，Flink已经成为了开源社区里最成熟的实时流处理方案；但Flink并非没有缺点：Flink对巨大滑动窗口的聚合性能很差，Flink并没有明显地区分滚动窗口和滑动窗口，其聚合操作对每个窗口来说是独立的，假设某个统计任务需要每1秒计算一次1小时内所有元素的总数，那么Flink需要同时维护3600个窗口，并且每秒计算一次最旧的窗口中的元素个数，由此带来的空间和时间的开销非常大。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的第一个方面，提供了一种实时数据处理方法，其特征在于，包括：根据预设规则将第一数据分组分为N组子数据分组；获取第一数据分组的聚合结果和每个子数据分组的聚合结果；根据所述第一数据分组的聚合结果和每个子数据分组的聚合结果计算第二数据分组的聚合结果。

由于现有技术中的数据的统计任务之间是互相隔离的，无法在任务间共享计算结果，也无法避免任务间的冗余计算。本发明使用滑动增量聚合的方式避免聚合滑动窗口带来的额外开销，解决Flink在巨大滑动窗口下聚合性能过差的问题。

根据本申请的第二个方面，还提供了一种实时数据处理装置，其特征在于，包括：划分模块，用于根据预设规则将第一数据分组分为N组子数据分组；获取模块，用于获取第一数据分组的聚合结果和每个子数据分组的聚合结果；计算模块，用于根据所述第一数据分组的聚合结果和每个子数据分组的聚合结果计算第二数据分组的聚合结果。

由于现有技术中的数据的统计任务之间是互相隔离的，无法在任务间共享计算结果，也无法避免任务间的冗余计算。本发明使用滑动增量聚合的方式避免聚合滑动窗口带来的额外开销，解决Flink在巨大滑动窗口下聚合性能过差的问题。

根据本申请的第三个方面，还提供了一种计算机设备，所述设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的方法。

根据本申请的第四个方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令用于执行如上所述的方法。

与现有技术相比，本发明实施例具有以下优点：

本发明实施例公开了一种实时数据处理方法及装置，在进行数据计算时，通过相关算法使数据计算时聚合能力强，提高了数据计算的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解的是，这些附图未必是按比例绘制的。在附图中：

图1为本发明实施例中公开的一种实时数据处理方法的流程示意图；

图2为本发明实施例中公开的一种实时数据处理装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面进一步对本申请所提供的一种实时数据处理方法及装置进行介绍。

请参考图1，图1为本发明实施例中公开的一种实时数据处理方法的流程示意图，如图1所示，该实时数据处理方法包括如下步骤。

步骤S01，根据预设规则将第一数据分组分为N组子数据分组；

需要说明的是，需要说明的是，第一数据分组可以为单位时间内网站的访问数量，单位时间内景点人流量等等，在本发明实施例中，第一数据分组可以为实时数据处理中的滑动窗口，然后将滑动窗口根据预设规则分为多个子窗口，不限于此，只要需要进行数据统计分析的场景本发明实施例都适用。

当需要进行数据统计任务时，可以将待统计的任务按照预设规则进行划分，如可以按照时间步长，或者用户的访问数目，可以每一小时统计一次，或者用户的访问数量到达一定时进行统计。

统计完数据后，按照特定的要求将数据划分为N组自数据组，N为大于1的自然数，且N组数据之间互不重叠，且均等。

步骤S02，获取第一数据分组的聚合结果和每个子数据分组的聚合结果；

需要说明的是，根据步骤S01将获得数据划分为多个数据分组后，根据算法对多个子数据分组进行聚合计算，将多个子数据分组的聚合结果形成新数据分组，通过第二算法对新数据分组进行聚合计算，获得第一数据分组的聚合结果。

其中，第一算法与第二算法可以相同或者不同，可以为如下任意一种算法或多种算法组合，如COUNT(计数)，SUM(求和)，AVG(平均数)，MAX/MIN(最大/最小值)，VAR(方差)，STDEV(标准差)。另外第一算法和第二算法也可以进行组合使用能够达到计数算法，求和算法，求平均数算法，求最大/最小值算法等价的结果，第一算法和第二算法本身可能不是标准的聚合算法中的任意一种。

步骤S03，根据所述第一数据分组的聚合结果和每个子数据分组的聚合结果计算第二数据分组的聚合结果，获得每个子数据分组的聚合结果，

需要说明的是，通过步骤S02获得的第一数据分组的聚合结果和每个子数据分组的聚合结果对第二数据分组进行计算，第二数据分组是与第一数据分组有相互重合的部分。

另外，在进行聚合计算时，上述第一数据分组与上述第二数据分组相差一个或多组子数据分组，首先，获得上述第一新数据分组的聚合结果和上述第一数据分组与上述第一数据分组与所述第二数据分组相差一个或多组子数据分组的聚合结果；然后通过第三算法利用上述第一新数据分组的聚合结果和一个或多组子数据分组的聚合结果计算上述第二数据分组的聚合结果，在计算的过程中，如果第二数据分组的数据包含在第一数据分组中，则只要通过上述第一数据分组与上述第一数据分组与所述第二数据分组相差一个或多组子数据分组的聚合结果就可得到第二数据分组；如果第二数据分组的数据除了包含第一数据分组的部分数据，还包括其它数据，则需要通过进一步按照本发明实施例的计算方法计算第二数据分组的每个子数据分组的聚合结果，从而获得第二数据分组的聚合结果。

上述第三算法根据一个或多组子数据分组的聚合结果以及第一分组的聚合结果，增量计算出第二数据分组的聚合结果，其效果可以等同于如下一种算法或多种算法组合，上述第三算法为如下一种算法或多种算法组合，COUNT(计数)，SUM(求和)，AVG(平均数)，MAX/MIN(最大/最小值)。

通过本发明公开的上述实施例，则数据在统计计算过程中，数据之间的中间结果可以相互利用，节省了资源，提高了计算效率，且提高了Flink在巨大滑动窗口下的聚合能力。

如图2所示，本发明实施例还提供了一种实时数据处理装置，包括：

划分模块21，用于根据预设规则将第一数据分组分为N组子数据分组；

获取模块22，用于获取第一数据分组的聚合结果和每个子数据分组的聚合结果；

计算模块23，用于根据所述第一数据分组的聚合结果和每个子数据分组的聚合结果计算第二数据分组的聚合结果。

所述获取模块22，还用于：

通过第一算法分别获得N组子数据分组的聚合结果，将N组子数据分组的聚合结果组成第一新数据分组；

通过第二算法获得所述第一新数据分组的聚合结果；

其中，所述第一新数据分组的聚合结果与所述第一数据分组的聚合结果一致。

根据本申请的第三个方面，还提供了一种计算机设备，所述设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的方法。

在本发明的实施例中，各个模块或系统可以是由计算机程序指令形成的处理器，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

根据本申请的第四个方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令用于执行如上所述的方法。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以下通过一个实施例详细说明本发明的技术方案：

本发明实施例使用滑动增量聚合的方式来避免聚合滑动窗口带来的额外开销：

1、定义聚合算法F，对分组G的聚合结果为F(G)，

2、将分组G分为N个互不重叠的分组G1,G2…GN，

3、聚合算法F对N个小分组的聚合结果组成的新分组为Q＝[F(G1),F(G2)…F(GN)]。

若存在聚合算法M，聚合算法F对分组G的聚合结果可以由聚合算法M对分组Q计算得出，

即F(G)＝M(Q)＝M([F(G1),F(G2)…F(GN)])，

则称聚合算法F是可增量聚合的。已知流处理中常用的聚合算法，COUNT(计数)，SUM(求和)，AVG(平均数)，MAX/MIN(最大/最小值)，VAR(方差)，STDEV(标准差)，此算法均是可增量聚合的。

更进一步，有Q1＝[F(G1),F(G2)…F(GN)]，

Q2＝[F(G2),F(G3)…F(GN+1)])，

已知M(Q1)，F(G1)和F(GN+1)，若存在函数X可以推导出M(Q2)，

即M(Q2)＝X(M(Q1),F(G1),F(GN+1))，

则称聚合算法F是可滑动增量聚合的。已知流处理中常用的聚合算法，

COUNT(计数)，SUM(求和)，AVG(平均数)，MAX/MIN(最大/最小值)，此算法均是可滑动增量聚合的。

若求聚合算法F对步长为S，大小L的滑动窗口WS的聚合结果F(WS)。

首先将滑动窗口WS拆分成互不重叠的N个大小为GCD(S,L)滚动窗口WT1,WT2…WTN，N＝L/GCD(S,L)，其中GCD为最大公约数函数。对第一个滑动窗口WS1的每个小窗口单独应用聚合算法F得到的聚合结果组成的分组Q1＝[F(WT1),F(WT2),…WTN]，根据上述增量聚合的性质，F(WS)＝M(Q)＝M([F(WT1),F(WT2),…WTN])。

从单个窗口的计算复杂度来看，增量聚合并没有比直接聚合更优，但滚动窗口的聚合结果Q可以被复用，在下一个滑动窗口的计算中，Q2＝[F(WT2),F(WT3)…WTN+1]，其中[WT2…WTN]均已知，只需要计算F(WTN+1)。

如此一来，在已知一个滑动窗口的聚合结果后，计算下一个滑动窗口的复杂度降低。

假设每秒有2个元素到来，要求每1秒计算一次1小时内所有元素的和，

第一个窗口的范围为从第0秒到第3600秒，第二个窗口的范围为第1秒到3601秒，以此类推。

Flink会将其划分为步长为1秒，大小为3600秒的滑动时间窗口，需要做7200次迭代才能求出当前窗口的元素之和，对于下一个窗口同理。

若根据上述算法将其划分为大小为1秒的滚动时间窗口，对窗口内的元素求和，可得到从当前第1秒到第3600秒每1秒内到来的元素之和，将其累加得到当前窗口的元素之和，同样需要7200次迭代。但在计算下个窗口的时候，已知第0秒到第3600秒元素之和以及第0秒到第1秒的元素之和，且第3600秒到第3601秒的元素之和也可以当场算出，那么第1秒到第3601秒的元素之和就等于第0秒到第3600秒元素之和减去第0秒到第1秒的元素之和再加上第3600秒到第3601秒的元素之和，仅需要2次迭代即可算出第二个窗口的元素之和。

本发明实施例公开了一种实时数据处理方法及装置，通过聚合算法将数据进行划分聚合计算，形成新数据分组，在对新数据分组进行聚合计算，这样可以在进行下次数据统计分析时，可以利用上次的统计分析结果，这样可以在进行数据计算时，通过相关算法使数据计算时聚合能力强，且避免数据的冗余计算。

本发明实施例可以提供数据统计计算的效率，节省了资源，可以应用在任何具有数据统计分析的领域中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种实时数据处理方法，其特征在于，包括：

根据预设规则将第一数据分组分为N组子数据分组，所述第一数据分组的数据与第二数据分组的数据部分重合；

通过第一算法分别获得N组子数据分组的聚合结果，将N组子数据分组的聚合结果组成第一新数据分组；

通过第二算法获得所述第一新数据分组的聚合结果；

其中，所述第一新数据分组的聚合结果与所述第一数据分组的聚合结果一致；

获得所述第一新数据分组的聚合结果及所述第一数据分组与所述第二数据分组相差一组或多组子数据分组的聚合结果；

通过第三算法利用所述第一新数据分组的聚合结果和所述一组或多组子数据分组的聚合结果计算第二数据分组的聚合结果。

2.如权利要求1所述的一种实时数据处理方法，其特征在于，所述根据预设规则将第一数据分组分为N组子数据分组，包括：

根据时间步长将第一数据分组分为互不重叠且均等的N组子数据分组。

3.如权利要求2所述的一种实时数据处理方法，其特征在于，还包括：

根据第一算法对所述N组子数据分别进行计算，获取多个相邻子数据分组的聚合结果；

根据所述第一数据分组的聚合结果和多个相邻子数据的聚合结果计算第二数据分组的聚合结果。

4.如权利要求1所述的一种实时数据处理方法，其特征在于，

所述第一算法和所述第二算法相同或不同。

5.如权利要求1所述的一种实时数据处理方法，其特征在于，所述第一算法和所述第二算法分别包括如下任意一种算法或多种算法组合：计数算法，求和算法，求平均数算法，求最大/最小值算法，求方差算法和求标准差算法。

6.如权利要求1所述的一种实时数据处理方法，其特征在于，所述第三算法包括如下任意一种算法或多种算法组合：计数算法，求和算法，求平均数算法，求最大/最小值算法。

7.一种实时数据处理装置，其特征在于，包括：

划分模块，用于根据预设规则将第一数据分组分为N组子数据分组，所述第一数据分组的数据与第二数据分组的数据部分重合；

获取模块，用于获通过第一算法分别获得N组子数据分组的聚合结果，将N组子数据分组的聚合结果组成第一新数据分组；

通过第二算法获得所述第一新数据分组的聚合结果；

其中，所述第一新数据分组的聚合结果与所述第一数据分组的聚合结果一致；

计算模块，用于获得所述第一新数据分组的聚合结果及所述第一数据分组与所述第二数据分组相差一组或多组子数据分组的聚合结果；

通过第三算法利用所述第一新数据分组的聚合结果和一组或多组子数据分组的聚合结果计算所述第二数据分组的聚合结果。

Images