CN112818039B - 一种解决乱序事件和晚到数据的精准窗口处理方法 - Google Patents

Abstract

本发明公开了一种解决乱序事件和晚到数据的精准窗口处理方法。该方法采用精准窗口记录原始业务流水数据，可以通过时间窗口的长度和不同流水个数这两种方式，实现对乱序和晚到数据的更新以及业务流水数据的查询；本发明提供的解决乱序事件和晚到数据的精准窗口处理方法主要分为三个部分：精准窗口的创建、精准窗口的更新以及基于精准窗口对时序数据的查询。本发明提出的解决乱序事件和晚到数据的精准窗口处理方法可保留用户自定义的最近时间范围或者最近几笔的原始有序流水数据，并且实现数据的动态更新，同时也能达到毫秒级的查询延时。

Description

一种解决乱序事件和晚到数据的精准窗口处理方法

技术领域

本发明涉及时序数据处理等数据分析领域，具体而言，涉及一种解决乱序事件和晚到数据的精准窗口处理方法，提供一种数据处理及存储方法，使得可以通过设置时间范围的和最近几笔交易流水数，对原始流水数据进行查询和动态更新。

背景技术

基于时间窗口查询是时序数据数据分析领域的一个重要分支，通过对大量数据在时间维度上划分，实现毫秒级别的交互查询，帮助用户挖掘数据特征、了解业务状况、总结业务规律。在金融、电信、交通、电商、营销等领域都有重要的应用价值。例如在交通领域或者是电信领域，经常会涉及如“某量车过去1个月的经过某个路口的总次数”、“某人过去1周的通话总时长”等相关流式聚合计算问题。由于时间会一直向前推进，也会有更多的流水数据进入系统，因此在“过去1个月”、“过去1周”等这类限制下的计算需要考虑时间在持续推进，从而需要对时间进行切片，然后对每个切片的流水进行聚合计算。

目前对于时间切片的处理技术主要分为三类：滚动窗口：每个时间切片长度是固定的，且彼此相邻但不重叠；滑动窗口：需要指定滑动步长和切片长度，时间切片的起始点会以固定的滑动步长向前推进，而时间切片的长度也是固定的；会话窗口：根据会话间隔对时间进行切片，当一个切片在大于会话间隔的时间内没有接收到新数据，切片将会关闭，因此该类切片的长度是可变的。

这类时间切片的技术都有一类共同点。虽然可以通过对时间进行切片，然后对每个切片流水进行聚合计算，在每一个切片内达到毫秒级的查询时延。但是如果需要查询某时间段内的原始流水数据而不是聚合数据，或者是原始数据序列由于网络延时等原因导致乱序，上述时间切片方式就没法实现。假设一个场景，该场景需要计算“过去一段时间的某人每两笔交易之间的变化率”的指标，同时将其可视化。由于网络延迟等原因，原始数据序列可能是乱序的。显然上述的时间切片技术没法做到，因为时间切片内统计是切片内所有数据的聚合量，包括总和，平均值，最大最小值等，而且必须保证时间切片内的数据序列是有序的，一旦查询的指标涉及时间段内的每一条原始流水数据或者原始序列中有乱序和晚到数据，这类方法就失效。在现实场景中，存在大量类似问题。

综上所述，传统的时间窗口查询技术无法同时满足下面的要求：

1)解决乱序事件和晚到数据；

2)提供时间窗口内原始数据指标计算和查询；

3)在2)的基础上，提供毫秒级的查询延时。

发明内容

本发明目的在于针对传统时间窗口数据处理方式产生的问题，本发明提出了一种解决乱序事件和晚到数据的精准窗口处理方法，实现了在海量时序数据下对乱序和晚到数据的更新以及业务流水数据的查询，并且节省存储空间，同时提供毫秒级查询延时。

本发明的目的是通过以下技术方案来实现的：一种解决乱序事件和晚到数据的精准窗口处理方法，包括以下步骤：

(1)精准窗口的创建；用户定义精准窗口数据结构TW。精准窗口数据结构TW有两种类型，包括精准时间窗口TWT和精准计数窗口TWC。具体创建过程如下：

(1.1)每一个TW拥有一个原始数据序列ODS和一个磁盘后备序列BKS，TWT包含一个时间范围参数TWLEN，TWC包含一个计数总量参数TWCOUNT。

(1.2)ODS和BKS中的内容按数据序列达到的时间升序排序，同时给TWLEN或者TWCOUNT初始化。

(2)精准窗口的更新；当新的数据到来时，首先判断TW的类型，然后会按照以下的规则进行更新：

(2.1)如果TW的类型为TWT，则用当前时间减去TWLEN得到过期时限EXPIRE，将ODS序列中时间戳小于EXPIRE的数据加入磁盘后备序列BKS中，然后再判断新的数据的时间戳是否在EXPIRE和当前时间范围内，如果是则插入OBS序列并保持数据按时间升序排序，否则将其加入磁盘后备序列BKS；

(2.2)如果TW的类型为TWC，则需要计算当前ODS序列的长度LENGTH。如果当前ODS序列的长度LENGTH小于TWCOUNT，则直接将新的数据插入ODS序列，并使其保持按时间升序排序。如果当前ODS序列的长度LENGTH等于TWCOUNT，则先判断新的数据的时间戳，如果新的数据的时间戳大于ODS序列中最早时间戳，则把OBS序列中时间戳最早的一条数据插入到磁盘后备序列BKS中，然后将新的数据插入到ODS序列中，并保持按时间升序排序，如果新的数据的时间戳小于等于ODS序列中最早时间戳，此时新来的数据直接插入磁盘后备序列BKS中。

(3)精准窗口的查询；首先判别TW中的窗口类型，然后按照如下步骤进行查询：

(3.1)如果TW的类型为TWT，获取当前ODS序列头数据的时间戳，将序列头数据的时间戳减去TWLEN，得到过期时限EXPIRE，将ODS中所有时间戳晚于过期时限EXPIRE的数据序列保留作为查询结果返回给用户，然后将剩余的数据序列加入磁盘后备序列BKS；

(3.2)如果TW的类型为TWC，则直接返回OBS序列里的数据作为查询结果给用户。

进一步地，步骤(1.1)中，TWLEN范围为当前时间到往前回溯TWLEN时长，TWCOUNT代表距离当前时间最近的计数长度为TWCOUNT的原始数据序列。

进一步地，步骤(1.2)中，用户根据TW指定创建的TWT或TWC，并根据具体的数据结构指定哪一种时间窗口来初始化原始数据序列ODS和磁盘后备队列BKS，默认初始化为空序列。

进一步地，步骤(3.1)中，序列头数据是指序列中距离当前时间最近的数据。

本发明提供的精准窗口处理方法有以下几个优点：

(1)可以按照时间和数量两种方式保存最近的原始数据序列，且保证序列有序。特别是在需要精确查询的每一条原始数据指标且要保证时序的场景下，这种方法解决了时间切片内聚合数据没法还原成原始数据的问题，同时也解决了解决乱序事件和晚到数据；

(2)只将最近几笔或者最近一段时间范围内的原始流水序列保存在内存中，较旧的原始流水序列往往不常访问，因此这部分可以存储在磁盘上，节省了存储空间；

(3)节省了指标查询的时间，不管是在指定时间范围内还是指定数量的场景下。根据用户的习惯，新的数据重要性高于旧的数据，因此对于较新的数据，用户经常会关注到原始数据信息，而对于较旧的历史数据用户只是会关注一些统计的聚合信息。由于此方法在内存中保存了最近的数据序列，可以保证大部分查询指标达到毫秒级的计算和查询延迟。

(4)满足时空局部性要求。在实际业务场景中，最新的指标数据往往最常访问，而时间较旧的指标数据访问频率不高。该方法不仅为最新的指标数据提供精确的查询，同时也能提供时间较旧的指标数据查询，只会牺牲一点计算和查询的时间。

附图说明

图1为本发明精准窗口的数据结构示例；

图2为本发明精准时间窗口的更新流程图；

图3为本发明精准窗口的查询流程图；

图4为本发明实施例中初始精准时间窗口状态示意图；

图5为本发明实施例中插入1条流水后的精准窗口的状态示意图；

图6为本发明实施例中插入2条流水后的精准窗口的状态示意图；

图7为本发明实施例中指标查询的精准窗口范围示意图。

具体处理流程

以下结合附图对本发明具体实施方式作进一步详细说明。

本发明提供了一种解决乱序事件和晚到数据的精准窗口处理方法，在此精准窗口的方法下，在内存里始终保存一个最近几笔或者是最近一段时间范围内的原始有序流水序列，较旧的原始流水序列往往不常访问，因此这部分可以存储在磁盘上。提高了系统存储的数据容量上限。同时用户可以指定不同的维度来实现指标查询，例如，可以指定“过去某时间范围内的某个用户的交易流水变化趋势”或者是“最近10笔交易的时间间隔”。

该方法具体包括以下步骤：

(1)精准窗口的创建；用户定义精准窗口数据结构TW。如图1所示，精准窗口数据结构TW有两种类型，包括精准时间窗口TWT和精准计数窗口TWC。具体创建过程如下：

(1.1)每一个TW拥有一个原始数据序列ODS和一个磁盘后备序列BKS，TWT包含一个时间范围参数TWLEN，TWC包含一个计数总量参数TWCOUNT。TWLEN范围为当前时间到往前回溯TWLEN时长，TWCOUNT代表距离当前时间最近的计数长度为TWCOUNT的原始数据序列。图1展示了一个精准窗口的数据结构例子。该例子定义了两种精准窗口TW，同时包含一个原始数据序列ODS。图1中上面的是精准时间窗口TWT，保存了从当前时间戳往前回溯TWLEN时间长度的原始数据序列ODS。下面的是精准计数窗口TWC，保存最新的TWCOUNT笔的原始数据序列ODS。

(1.2)用户根据TW指定创建的TWT或TWC，并根据具体的数据结构指定哪一种时间窗口来初始化原始数据序列ODS和磁盘后备队列BKS，默认初始化为空序列。ODS和BKS中的内容按数据序列达到的时间升序排序，同时给TWLEN或者TWCOUNT初始化。

(2)精准窗口的更新；如图2所示，当新的数据到来时，首先判断TW的类型，然后会按照以下的规则进行更新：

(2.1)如果TW的类型为TWT，则用当前时间减去TWLEN得到过期时限EXPIRE，将ODS序列中时间戳小于EXPIRE的数据加入磁盘后备序列BKS中，然后再判断新的数据的时间戳是否在EXPIRE和当前时间范围内，如果是则插入OBS序列并保持数据按时间升序排序，否则可能是由于网络丢包等原因晚到的数据，将其加入磁盘后备序列BKS；

(2.2)如果TW的类型为TWC，则需要计算当前ODS序列的长度LENGTH。如果当前ODS序列的长度LENGTH小于TWCOUNT，则直接将新的数据插入ODS序列，并使其保持按时间升序排序。如果当前ODS序列的长度LENGTH等于TWCOUNT，则先判断新的数据的时间戳，如果新的数据的时间戳大于ODS序列中最早时间戳，则把OBS序列中时间戳最早的一条数据插入到磁盘后备序列BKS中，然后将新的数据插入到ODS序列中，并保持按时间升序排序，如果新的数据的时间戳小于等于ODS序列中最早时间戳，此时新来的数据可能是由于网络延时的原因晚到的数据，不需要加入ODS序列，直接插入磁盘后备序列BKS中。

(3)精准窗口的查询；精准窗口的查询和一般的时间窗口的查询步骤不一样。如图3所示，首先判别TW中的窗口类型，然后按照如下步骤进行查询：

(3.1)如果TW的类型为TWT，获取当前ODS序列头数据的时间戳，序列头数据是指序列中距离当前时间最近的数据，将序列头数据的时间戳减去TWLEN，得到过期时限EXPIRE，将ODS中所有时间戳晚于过期时限EXPIRE的数据序列保留作为查询结果返回给用户，然后将剩余的数据序列加入磁盘后备序列BKS；

(3.2)如果TW的类型为TWC，则直接返回OBS序列里的数据作为查询结果给用户。

实施例：

本发明将通过以下实施例对上述精准窗口数据处理方法进行进一步的说明。

该实施例有如下假设：

1)样例中计算的指标为“某人最近8min内的每两次交易流水金额的变化率”，这在金融领域是较常见的一种统计量；

2)假设某个用户，他每隔一段时间都会产生一条交易流水，且金额不固定；

3)定义一个TWT类型的TW：同时初始化TWT，初始化原始数据序列ODS和磁盘后背序列BKS(默认初始化空序列)，给TWLEN初始化(此时初始化值为0)；

4)当前时间为2020年11月24日12时，目前ODS已经存储了最近8min的流水数据，ODS的长度为5，BKS的长度为3，TWLEN为8min。

根据上述假设，初始的状态如图4所示，初始状态下，过了1分钟，来了一条用户的交易流水，金额为700元。此时处理的步骤如下：

(1)首先用当前时间减去TWLEN得到过期时间EXPIRE为“2020-10-15 11:53:00”

(1.1)此时ODS序列中时间戳没有小于EXPIRE的数据，故此时只需要将“2020-10-15 12:01:00”的这一条金额为700的交易数据加入ODS序列中，并保持有序；

(1.2)计算最新的两条交易数据(此时应为时间戳“2020-10-15 12:01:00”和“2020-10-15 12:00:00”的两条数据)金额之间的变化率，存入新来数据的rate变量中。此时的状态如图5所示。

在图5的状态下，过了5分钟，来了一条用户的交易流水，金额为400元。此时处理的步骤如下：

(2)首先用当前时间减去TWLEN得到过期时间EXPIRE为“2020-10-15 11:58:00”

(2.1)此时ODS序列中时间戳有小于EXPIRE的数据3条，将这三条数据加入后备磁盘序列BKS，此时判断新来交易流水的时间戳“2020-10-15 12:04:00”，是在EXPIRE“2020-10-15 11:58:00”和当前时间戳“2020-10-15 11:06:00”之间，故将此条金额为400的交易数据插入ODS队列，并保持有序；

(2.2)计算最新的两条交易数据(此时应为时间戳“2020-10-15 12:04:00”和“2020-10-15 12:01:00”的两条数据)金额之间的变化率，存入新来数据的rate变量中。此时的状态如图6所示。

再说明查询过程，此时只需找到查询给定范围的交易数据边界，并将边界内的所有数据的rate以列表的形式返回即可。假设在图5的状态下，查询“过去8分钟用户的每两笔的交易金额变化率”这两笔交易的边界如图7所示，TWT的查询左边界为“2020-10-15 11:53:00”，右边界为“2020-10-15 12:01:00”，将TWT边界范围内的所有数据的rate值加入列表，得到列表结果[3,-0.16,0.6,0,2.5]，并返回给用户即可。

TWC类型的TW的查询和更新过程同TWT类型的TW类似，不再赘述。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.一种解决乱序事件和晚到数据的精准窗口处理方法，其特征在于，包括以下步骤：

(1)精准窗口的创建；用户定义精准窗口数据结构TW；精准窗口数据结构TW有两种类型，包括精准时间窗口TWT和精准计数窗口TWC；具体创建过程如下：

(1.1)每一个TW拥有一个原始数据序列ODS和一个磁盘后备序列BKS，TWT包含一个时间范围参数TWLEN，TWC包含一个计数总量参数TWCOUNT；TWLEN范围为当前时间到往前回溯TWLEN时长，TWCOUNT代表距离当前时间最近的计数长度为TWCOUNT的原始数据序列；

(1.2)ODS和BKS中的内容按数据序列达到的时间升序排序，同时给TWLEN或者TWCOUNT初始化；

(2)精准窗口的更新；当新的数据到来时，首先判断TW的类型，然后会按照以下的规则进行更新：

(2.1)如果TW的类型为TWT，则用当前时间减去TWLEN得到过期时限EXPIRE，将ODS序列中时间戳小于EXPIRE的数据加入磁盘后备序列BKS中，然后再判断新的数据的时间戳是否在EXPIRE和当前时间范围内，如果是则插入OBS序列并保持数据按时间升序排序，否则将其加入磁盘后备序列BKS；

(2.2)如果TW的类型为TWC，则需要计算当前ODS序列的长度LENGTH；如果当前ODS序列的长度LENGTH小于TWCOUNT，则直接将新的数据插入ODS序列，并使其保持按时间升序排序；如果当前ODS序列的长度LENGTH等于TWCOUNT，则先判断新的数据的时间戳，如果新的数据的时间戳大于ODS序列中最早时间戳，则把OBS序列中时间戳最早的一条数据插入到磁盘后备序列BKS中，然后将新的数据插入到ODS序列中，并保持按时间升序排序，如果新的数据的时间戳小于等于ODS序列中最早时间戳，此时新来的数据直接插入磁盘后备序列BKS中；

(3)精准窗口的查询；首先判别TW中的窗口类型，然后按照如下步骤进行查询：

(3.1)如果TW的类型为TWT，获取当前ODS序列头数据的时间戳，将序列头数据的时间戳减去TWLEN，得到过期时限EXPIRE，将ODS中所有时间戳晚于过期时限EXPIRE的数据序列保留作为查询结果返回给用户，然后将剩余的数据序列加入磁盘后备序列BKS；

(3.2)如果TW的类型为TWC，则直接返回OBS序列里的数据作为查询结果给用户。

2.根据权利要求1所述的一种解决乱序事件和晚到数据的精准窗口处理方法，其特征在于，步骤(1.2)中，用户根据TW指定创建的TWT或TWC，并根据具体的数据结构指定哪一种时间窗口来初始化原始数据序列ODS和磁盘后备队列BKS，默认初始化为空序列。

3.根据权利要求1所述的一种解决乱序事件和晚到数据的精准窗口处理方法，其特征在于，步骤(3.1)中，序列头数据是指序列中距离当前时间最近的数据。

Images