CN112905638B - 一种基于喇叭状的时间切片处理方法 - Google Patents

Abstract

本发明公开了一种基于喇叭状的时间切片处理方法，所述的时间切片方法可根据用户的定义，使得时间切片的长度类似于喇叭状，离当前时间越近的时间切片长度越短，离当前时间越久的时间切片长度越长。基于喇叭状的时间切片处理方法主要分为四个部分：喇叭状时间切片的定义、喇叭状时间切片的创建、喇叭状时间切片的管理和喇叭状时间切片的查询。本发明提出的喇叭状时间切片方法可保留更大时间跨度的数据，并且节省大量的存储空间，进而降低大时间跨度下的指标查询延迟，使其依旧能在毫秒级的延时内返回查询结果。

Description

一种基于喇叭状的时间切片处理方法

技术领域

本发明涉及及网络信息处理领域，尤其涉及一种基于喇叭状的时间切片的处理方法，提供一种随时间推移动态调整时间切片长度数据处理及存储方法。

背景技术

在风控、营销等领域，经常会涉及如“某人过去24小时的总交易量”、“某人过去1周的交易最大额”等相关流式聚合计算问题。由于时间会一直向前推进，也会有更多的交易流水进入系统，因此在“过去24小时”、“过去1周”等这类限制下的聚合计算需要考虑时间一直在移动这个事实，从而需要对时间进行切片，然后对每个切片的流水进行聚合计算。

目前对于时间切片的处理技术主要分为三类：

1)滚动窗口：每个时间切片长度是固定的，且彼此相邻但不重叠；

2)滑动窗口：需要指定滑动步长和切片长度，时间切片的起始点会以固定的滑动步长向前推进，而时间切片的长度也是固定的；

3)会话窗口：根据会话间隔对时间进行切片，当一个切片在大于会话间隔的时间内没有接收到新数据，切片将会关闭，因此该类切片的长度是可变的。

前两种时间切片的处理技术有一个共同点，即时间切片长度固定。虽然它的原理和实现简单，但是当它应用到长期运行的时间切片聚合计算时，就会出现问题。考虑一个场景，该场景需要计算“过去一段时间的某人交易金额总和”的指标，查询时间跨度可长达1年，也可短至1秒，那么按照前两种时间切片的处理技术，其切片长度最多为1秒。然而当用户查询“过去1年某人的交易总和”时，系统可以有2种选择，但每种选择都会遇到问题：

第一种选择是：系统可以保存过去1年所有的时间切片，从而让用户查询到较为精确的结果。但是这种选择会产生以下几个问题：

1)由于时间切片数量过多，存储这些切片会占用过多存储空间。数据可以存储在内存以保证查询延时在几个到几十个毫秒内，但是内存容量有限，会导致服务无法容纳那么多的数据量，从而造成服务运行异常；

2)大量的数据也可以存储在磁盘，但是磁盘访问速度慢，导致指标计算和查询延迟过高，

此外，频繁的磁盘读写还会导致严重的性能抖动问题；

3)查询时，系统需要对这些切片进行再聚合，由于涉及到的时间切片过多，查询的延迟非常高，难以满足高频访问这部分数据的场景(如超低延时、超高并发实时风控场景)的性能要求。

第二种选择是：系统可以清理旧的时间切片(例如最旧的半年的时间切片)，从而节省存储空间。但是由于数据的丢失，在时间跨度大的查询(如查询“过去1年的某人的交易总金额”)时，用户查询的数据将会失准，同样无法满足业务需求。

对于第三种时间切片处理技术，由于其时间切片长度可变，因此会导致聚合计算的时间切片精度不可控制，无法满足业务场景。依旧考虑上文说明前两种时间切片处理技术的场景。假设定义一个基于会话的时间切片，并且用户需要查询“过去1秒某人的交易总和”，然而外部交易流水不断进入系统，导致1个小时内，会话一直没有过期。系统依旧有两种选择，但也有各自的问题：

1)系统可以保存原始流水，保证用户查询的准确性，但是它占用的存储空间不可控，当面对高频场景时，系统会占用过多的存储空间，并导致计算和查询的延迟过高，无法达到毫秒级延迟的要求；

2)系统只计算该会话时间切片的指标，丢弃原始流水，那么用户将无法得到查询结果，无法满足业务要求。

综上所述，上述三种传统的时间切片技术无法同时满足下面的要求：

1)同时提供较为精准的长时间和短时间跨度的指标计算和查询；

2)在1)的基础上，占用较少的存储空间，提供毫秒级的计算和查询的延时。

发明内容

针对传统时间切片处理方式产生的问题，本发明提出了一种基于喇叭状的时间切片的处理方法，实现了在海量且时间跨度巨大的数据模式下，提供了较为精准的长时间和短时间跨度的指标计算和查询，并且节省存储空间，降低计算和查询的延时。

在时间切片方法下，距离当前时间越近的时间切片长度越短，计算精度越高，占用的空间越多，而距离当前时间越远的时间切片长度越短，计算精度越低，占用的空间越少。由于时间切片的长度随着时间回溯越来越长，形似喇叭，因此称该技术为喇叭状的时间切片处理技术。

本发明的目的是通过以下技术方案来实现的：一种基于喇叭状的时间切片处理方法，包括以下步骤：

(1)喇叭状时间切片的定义：用户定义一个喇叭时间切片等级配置列表，其中喇叭时间切片等级记为Level；每个Level包含参数length和duration，其中length表示时间切片的长度，duration表示使用该Level进行切片的时间范围，范围为当前时间到往前回溯duration时长；将时间切片Level根据duration和length升序排序；(2)喇叭状时间切片的创建：在完成喇叭状时间切片的定义后，按照定义，每个Level会根据duration和length升序进行排序，根据喇叭时间切片等级配置列表，创建每个Level。每个Level包含一个时间切片的队列，队列存储的时间切片个数最多为duration/length；

(3)喇叭状时间切片的管理：当获取原始流水数据后，按照下列流程进行管理：

(3.1)首先寻找距离当前时间最近的第一个Level，获取该Level的切片队列，判断队列头，即距离当前时间最近的第一个时间切片是否为空，以及队列头的时间切片是否过期，即是否队列头的时间切片所携带的时间戳距离当前时间超过了该Level定义的length；

(3.2)若存在切片且没过期，则将根据用户自定义的指标计算逻辑，更新该切片存储的指标结果，流程结束；否则创建一个新的时间切片，根据指标计算逻辑计算并存储新的指标结果，并压入该Level保存的时间切片队列头部。

(3.4)判断该Level维护的时间切片队列是否已满。判断队列满的依据是：队列尾的时间切片所携带的时间戳距离当前时间超过了该Level定义的duration。若队列未满，则结束流程，否则：首先寻找下一个Level，获取其队列；不断地获取并移除当前Level时间切片队列队尾的切片，直到当前Level队列未满为止。对于每一个弹出时间切片，都会判断下一个Level的时间切片队列是否为空，以及队列头的时间切片是否过期，返回步骤(3.2)，直到最后一个Level。对于最后一个Level在队列满弹出队尾的时间切片时，直接将该切片丢弃。

进一步地，所述时间切片包含了时间戳和存储的聚合数据。

进一步地，用户可以定义一个默认Level，适用于对最旧的数据进行切片，默认Level只需要定义length；默认Level在时间切片Level排序时排到最后。默认Level不会存在队列满的情况，因此当最后一个Level为默认Level时，不会丢弃切片数据。

进一步地，将时间切片Level根据duration和length升序排序，即为按照时间先后和切片精度排序，保证最新一部分数据的时间切片长度最短，范围最短，计算精度最高，而最旧一部分数据的时间切片长度最长，范围最长，计算精度最低。

进一步地，步骤(3.2)中用户自定义的指标计算逻辑为一个计算函数，它接受外部(如数据流)的一组数据，经过计算后返回用户所需的指标数据。

进一步地，该处理方法还包括喇叭状时间切片的查询：具体如下：

a.根据查询给定的时间范围，搜索每个Level存储的时间切片，寻找时间范围下界对应的时间切片和时间范围上界对应的时间切片；

b.根据聚合计算逻辑，对步骤(a)中2个时间切片之间(包含这2个时间切片)的所有切片再进行一次聚合计算，返回给用户。

本发明的有益效果：

1)时间切片的长度可变。最新一部分数据的时间切片长度最短，范围最短，计算精度最高；而最旧一部分数据的时间切片长度最长，范围最长，计算精度最低；

2)可保留数据的时间跨度大且节省存储空间。由于最旧一部分数据的切片长度最长，因此需要的时间切片数量就越少，即在保留很久的历史数据下节省了存储空间；

3)节省了指定时间范围的指标查询的时间，尤其是时间范围很大的场景。指定时间范围的指标查询需要将时间范围内的所有切片进行再次聚合，由于特点2)，需要聚合计算的时间切片数量会减少，从而降低了指标查询的时间，达到毫秒级的计算和查询延迟；

4)满足时空局部性要求。在实际业务场景中，最新的指标数据往往最常访问，也需要最高的精确度，而时间较旧的指标数据访问频率和精确度要求不高。该技术不仅为最新的指标数据提供最精确的查询，同时也能提供时间较旧的指标数据查询，只会牺牲一点计算的精确度；

5)不同Level的切片存储是可插拔的。不同Level的时间切片可以存储在不同的存储介质上，根据时间局部性，最新的数据最常访问，因此这部分Level的时间切片可以存储在内存中，而较旧Level的时间切片往往不常访问，因此这部分可以存储在磁盘上。这也进一步提高了系统存储的指标数据容量上限。

附图说明

图1为一个喇叭状时间切片处理排序方式的实例；

图2为喇叭状时间切片的管理流程图；

图3为实施例中初始的喇叭状时间切片状态；

图4为实施例中插入1条流水后的时间切片状态；

图5为实施例中插入2条流水后的时间切片状态；

图6为实施例中指标查询的时间切片范围。

具体实施方式

以下结合附图对本发明具体实施方式作进一步详细说明。

本发明提供的一种基于喇叭状的时间切片处理方法，包括以下步骤：

1)喇叭状时间切片的定义：用户需要定义一个喇叭时间切片等级配置列表，其中喇叭时间切片等级记为Level，列表中包含若干Level和一个默认Level(可选)；所述时间切片包含了时间戳和存储的聚合数据。

a)每个Level包含参数length和duration，分别代表Level中每个时间切片长度和切片的时间范围，范围为当前时间到往前回溯duration时长，而默认Level只需定义length；

b)用户定义的一组时间切片Level根据duration和length升序排序，即按照时间先后和切片精度排序，越靠近当前时间的Level时间范围最短，时间切片最短，精度最高，然后将默认Level排到最后(假如有)。保证最新一部分数据的时间切片长度最短，范围最短，计算精度最高，而最旧一部分数据的时间切片长度最长，范围最长，计算精度最低。图1展示了一个喇叭状的时间切片例子。该例子定义了3个时间切片Level和一个默认Level。其中最右侧Level的时间切片长度为1秒，范围为1分钟，它距离当前时间最近，指标计算精度最高。其次往左的Level，它的时间切片长度为1分钟，范围为1小时。再往左的部分Level，它的时间切片长度为1小时，范围为1天。最后是最左侧的默认Level，它的时间切片长度为1天，仅对1天之后的数据进行时间切片。

2)喇叭状时间切片的创建：在完成喇叭状时间切片的定义后，按照定义，每个Level会按照步骤1)中的子步骤a)进行排序，根据喇叭时间切片等级配置列表，创建每个Level。每个Level包含一个时间切片的队列，队列存储的时间切片个数最多为duration/length；

3)喇叭状时间切片的管理：当获取原始流水数据后，按照下列流程进行管理：

a)首先寻找距离当前时间最近的第一个Level，获取该Level的切片队列，判断队列头即距离当前时间最近的第一个时间切片是否为空，以及队列头的时间切片是否过期(即队列头的时间切片所携带的时间戳距离当前时间超过了该Level定义的length)；

i.若存在切片且没过期，则将根据用户自定义的指标计算逻辑，更新该切片存储的指标结果，流程结束；用户自定义的指标计算逻辑为一个计算函数，它接受外部一组数据，经过计算后返回用户所需的指标数据。

ii.否则创建一个新的时间切片，根据指标计算逻辑计算并存储新的指标结果，并压入该Level维护的时间切片队列头部。

b)然后判断该Level维护的时间切片队列是否已满。判断队列满的依据是：队列尾的时间切片所携带的时间戳距离当前时间超过了该Level定义的duration。若队列未满，则结束流程，否则：

i.首先寻找下一个Level，获取其队列；

ii.不断地弹出当前Level时间切片队列队尾的切片，直到当前Level队列未满为止。对于每一个弹出时间切片，都会判断下一个Level的时间切片队列是否为空，以及队列头的时间切片是否过期，并应用步骤3)中子步骤a)中相同的i.和ii.步骤。

c)之后的Level的处理应用与b)一样的逻辑，直到最后一个Level。假如最后一个Level不是默认Level，则在队列满弹出队尾的时间切片时，直接将该切片丢弃。注意默认Level不会存在队列满的情况，因此不会丢弃切片数据。

上述流程可以表示为图2的流程图：

4)喇叭状时间切片的查询：喇叭状的时间切片下的查询和普通时间切片的查询步骤一样。

a)根据查询给定的时间范围，搜索每个Level存储的时间切片，寻找时间范围下界对应的时间切片和时间范围上届对应的时间切片位置；

b)根据聚合计算逻辑，对a)中2个时间切片之间(包含这2个时间切片)的所有切片再进行一次聚合计算，返回给用户。

实施例：

以一个实施例的方式，对上述喇叭状的时间切片处理技术进行进一步的说明。

该实施例有如下假设：

1)样例中计算的指标为“某人一段时间内的交易总金额”，这在风控领域是一个常见的计算指标；

2)假设某人A，他每隔0.5秒都会产生一条交易流水，金额为100元，也即每秒产生2条交易流水，总金额为200元；

3)定义2个Level和1个默认Level：第一个Level的length为1秒且duration为1分钟，第二个Level的length为1分钟且duration为5分钟，默认Level的length为5分钟；

4)当前时间为2020年10月15日12时，目前已经存储了5分钟的流水数据。

根据上述假设，初始情况下的状态如图3所示：

首先说明时间切片的创建和管理。

初始状态下，过了0.5秒，来了一条A的交易流水，金额为100元。此时系统处理的步骤如下：

1)寻找第1个Level，获取其时间切片队列，判断队列是否为空，以及队列头的切片是否过期。判断发现队列非空且队列头的时间切片过期，此时执行：

a)创建一个新的时间切片，长度为1秒，时间戳为“2020-10-15 12:00:00”，并且根据指标计算逻辑，设置值为100；

b)将新的切片压入第1个Level的队列头部。

2)接着判断第1个Level队列是否已满。易得知该Level队列已满且需要弹出队尾的1个时间切片，此时执行：

a)首先弹出队尾的时间切片，切片的时间为“2020-10-15 11:59:00”，长度为1秒；

b)寻找第2个Level，获取其时间切片队列，发现队列也非空，队头的时间切片也过期了；

c)创建新的切片，长度为1分钟，时间戳为“2020-10-15 11:59:00”，并且根据指标计算逻辑，设置值为200；

d)将新的切片压入第2个Level的时间切片队列中。

3)接着判断第2个Level队列是否已满。也易知该Level队列已满且需要弹出队尾的1个时间切片，此时执行：

a)首先弹出队尾的时间切片，切片的时间为“2020-10-15 11:55:00”，长度为1分钟；

b)寻找下一个Level，这里即默认Level，发现队列为空；

c)创建新的切片，长度为5分钟，时间戳为“2020-10-15 11:55:00”，并且根据指标计算逻辑，设置值为12000；

d)将新的切片压入默认Level的时间切片队列中。

4)对于默认Level，不需要检查队列满，流程结束，此时的状态如下图4所示。

接着又过了0.5秒又来了A的一条交易流水，金额为100元。依旧按照上述逻辑：

a)寻找第1个Level，获取其时间切片队列，判断队列是否为空，以及队列头的切片是否过期，判断发现队列非空，但队列头的时间切片没有过期：

b)直接取出队头时间切片，根据指标计算逻辑计算并更新聚合值为200，其它不变，流程结束，状态如图5所示。

而查询时，只需找到查询给定范围的时间切片边界，并将边界内的所有切片再次聚合计算返回即可。假设在图5的状态下，查询“过去3分钟A的交易总金额”，则时间切片的边界如图6所示，左边界为“2020-10-15 11:57:00”的时间切片，右边界为“2020-10-15 12:00:00”的时间切片，聚合边界内所有的切片，得到的值为36200。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种基于喇叭状的时间切片处理方法，其特征在于，包括以下步骤：

(1)喇叭状时间切片的定义：用户定义一个喇叭时间切片等级配置列表，其中喇叭时间切片等级记为Level；每个Level包含参数length和duration，其中length表示时间切片的长度，duration表示使用该Level进行切片的时间范围，范围为当前时间到往前回溯duration时长；将时间切片Level根据duration和length升序排序；

(2)喇叭状时间切片的创建：在完成喇叭状时间切片的定义后，按照定义，每个Level会根据duration和length升序进行排序，根据喇叭时间切片等级配置列表，创建每个Level；每个Level包含一个时间切片的队列，队列存储的时间切片个数最多为duration/length；

(3)喇叭状时间切片的管理：当获取原始流水数据后，按照下列流程进行管理：

(3.1)首先寻找距离当前时间最近的第一个Level，获取该Level的切片队列，判断队列头即距离当前时间最近的第一个时间切片是否为空，以及队列头的时间切片是否过期，即是否队列头的时间切片所携带的时间戳距离当前时间超过了该Level定义的length；

(3.2)若存在切片且没过期，则将根据用户自定义的指标计算逻辑，更新该切片存储的指标结果，流程结束；否则创建一个新的时间切片，根据指标计算逻辑计算并存储新的指标结果，并压入该Level保存的时间切片队列头部；

(3.3)判断该Level维护的时间切片队列是否已满；判断队列满的依据是：队列尾的时间切片所携带的时间戳距离当前时间超过了该Level定义的duration；若队列未满，则结束流程，否则：首先寻找下一个Level，获取其队列；不断地获取并移除当前Level时间切片队列队尾的切片，直到当前Level队列未满为止；对于每一个弹出时间切片，都会判断下一个Level的时间切片队列是否为空，以及队列头的时间切片是否过期，返回步骤(3.2)，直到最后一个Level；对于最后一个Level在队列满弹出队尾的时间切片时，直接将该切片丢弃。

2.根据权利要求1所述的一种基于喇叭状的时间切片处理方法，其特征在于，所述时间切片包含了时间戳和存储的聚合数据。

3.根据权利要求1所述的一种基于喇叭状的时间切片处理方法，其特征在于，用户可以定义一个默认Level，适用于对最旧的数据进行切片，默认Level只需要定义length；默认Level在时间切片Level排序时排到最后；默认Level不会存在队列满的情况，因此当最后一个Level为默认Level时，不会丢弃切片数据。

4.根据权利要求1所述的一种基于喇叭状的时间切片处理方法，其特征在于，将时间切片Level根据duration和length升序排序，即为按照时间先后和切片精度排序，保证最新一部分数据的时间切片长度最短，范围最短，计算精度最高，而最旧一部分数据的时间切片长度最长，范围最长，计算精度最低。

5.根据权利要求1所述的一种基于喇叭状的时间切片处理方法，其特征在于，步骤(3.2)中用户自定义的指标计算逻辑为一个计算函数，它接受外部一组数据，经过计算后返回用户所需的指标数据。

6.根据权利要求1所述的一种基于喇叭状的时间切片处理方法，其特征在于，该处理方法还包括喇叭状时间切片的查询：具体如下：

a.根据查询给定的时间范围，搜索每个Level存储的时间切片，寻找时间范围下界对应的时间切片和时间范围上界对应的时间切片；

b.根据聚合计算逻辑，对步骤(a)中2个时间切片之间并且包含这2个时间切片的所有切片再进行一次聚合计算，返回给用户。

Images