CN113127511B - 多数据流的数据拼接方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种多数据流的数据拼接方法、装置、电子设备和存储介质，涉及大数据处理技术领域。具体实现方案为：当多数据流中第一数据流的第一数据到达时，确定第一数据流是否是指定的拼接触发数据流；其中，多数据流中的部分数据流被预先指定为拼接触发数据流；在确定第一数据流是指定的拼接触发数据流时，从缓存的第二数据流的数据中查找与第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。由此通过预先指定部分数据流为拼接触发数据流，只有拼接触发数据流的某一数据到来时，才会从第二数据流中查询与之匹配的数据，以完成数据拼接，由此能够有效减少数据查询次数，进而降低资源开销，同时也降低了实现数据拼接的复杂度。

Description

多数据流的数据拼接方法、装置、电子设备和存储介质

技术领域

本申请实施例涉及互联网技术领域，尤其涉及大数据处理技术领域，具体涉及了一种多数据流的数据拼接方法、装置、电子设备和存储介质。

背景技术

数据拼接是指两种以上的不同数据，由于业务上关联，通过某些同类属性的关键字值合并为一份数据。

现有技术中，通常采用对称哈希联接(symmetric hash join)算法对多个数据流的数据进行拼接。在采用symmetric hash join算法对多个数据流的数据进行拼接时，当多个数据流中的任意一条数据流有数据到来时，均会触发数据拼接，比如两条数据流中数据流1的数据1到来时，会去缓存的数据流2中数据中查找与数据1相匹配的数据，并将查找到的数据与数据1进行拼接；同样的，数据流2的数据2到来时，会去缓存的数据流1中数据中查找与数据2相匹配的数据，并将查找到的数据与数据2进行拼接。

然而现有的数据拼接方法仍存在一定的不足：在数据流的数据量比较大的情况下，采用上述现有数据拼接方法，触发数据拼接的次数会非常多，导致资源开销和复杂度都非常高。

发明内容

本申请实施例公开一种多数据流的数据拼接方法、装置、电子设备和存储介质，以解决数据拼接所需的资源开销和实现拼接的复杂度高的技术问题。

第一方面，本申请实施例公开了一种多数据流的数据拼接方法，包括：

当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流；其中，所述多数据流中的部分数据流被预先指定为拼接触发数据流；

在确定所述第一数据流是指定的拼接触发数据流时，从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

上述申请中的一个实施例具有如下优点或有益效果：通过预先指定部分数据流为拼接触发数据流，只有拼接触发数据流的某一数据到来时，才会从第二数据流中查询与之匹配的数据，以完成数据拼接，由此能够有效减少数据查询次数，进而降低资源开销，同时也降低了实现数据拼接的复杂度。

另外，根据本申请上述实施例的多数据流的数据拼接方法，还可以具有如下附加的技术特征：

可选的，在确定所述第一数据流是指定的拼接触发数据流之后、从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据之前，所述方法还包括：

确定所述第二数据流中与所述第一数据匹配的第二数据是否已到达；

若是，则触发执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作，否则，将第一数据进行缓存。

上述申请中的一个实施例具有如下优点或有益效果：通过预先确定第二数据到达，才触发数据拼接的操作，由此可以保证数据拼接的成功率，并且避免对无效数据进行拼接，以节约资源开销。

可选的，在确定所述第一数据流是指定的拼接触发数据流之后、从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据之前，所述方法还包括：

确定所述第一数据是否是延迟时间在允许范围内的数据；

若是，则触发执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作，否则，将第一数据进行缓存。

上述申请中的一个实施例具有如下优点或有益效果：若第一数据是延迟时间在允许范围内的数据，则确定第一数据是有效的需要进行数据拼接的，此时触发数据拼接的操作，可以保证数据拼接的成功率，并且避免对无效数据进行拼接，以节约资源开销。

可选的，确定所述第二数据流中与所述第一数据匹配的第二数据是否已到达，包括：

获取所述第一数据中携带的第二数据流的事件时间，以及第二数据流的当前高水位值；其中，第二数据流的当前高水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最大事件时间；

若所述第一数据中携带的第二数据流的事件时间不大于所述第二数据流的当前高水位值，则确定所述第二数据流中与所述第一数据匹配的第二数据已到达，否则，确定所述第二数据流中与所述第一数据匹配的第二数据未到达。

上述申请中的一个实施例具有如下优点或有益效果：基于第一数据中携带的第二数据流的事件时间，以及第二数据流的当前高水位值，确定与第一数据匹配的第二数据已到达，可以提升判断第二数据到达的准确性。

可选的，确定所述第一数据是否是延迟时间在允许范围内的数据，包括：

获取所述第一数据中携带的第一数据流的事件时间以及所述第一数据流的当前低水位值；其中，第一数据流的当前低水位值是指当前第一数据流的所有已到达的各数据，所携带的第一数据流的事件时间中的最小事件时间；

若所述第一数据中携带的第一数据流的事件时间，不小于所述第一数据流的低水位值与第一数据流的允许延迟时间的差值，则确定所述第一数据是延迟时间在允许范围内的数据，否则，确定所述第一数据不是延迟时间在允许范围内的数据。

上述申请中的一个实施例具有如下优点或有益效果：基于第一数据中携带的第一数据流的事件时间以及第一数据流的当前低水位值，确定第一数据是否有效，进而根据确定是否对第一数据执行数据拼接的操作，由此可避免对无效数据进行拼接，降低资源开销。

可选的，所述方法还包括：

若未从缓存的第二数据流的数据中查找到与所述第一数据匹配的第二数据，则将第一数据进行缓存；

将缓存中的各第一数据按照各第一数据携带的第二数据流的事件时间，划分入不同的时间窗口。

上述申请中的一个实施例具有如下优点或有益效果：通过按照各第一数据携带的第二数据流的事件时间，将各第一数据划分入不同的时间窗口，以便后续针对不同的时间窗口的第一数据进行再次数据拼接，以提升数据拼接的成功率。并且，与按照各第一数据携带的第一数据流的事件时间，将各第一数据划分入不同的时间窗口相比，本方案将为第一数据流的数据划分时间窗口时采用的依据与为第二数据流的数据划分时间窗口时采用的依据进行了统一，即均采用第二数据流的事件时间作为划分依据，在第一数据流的事件时间和第二数据流的事件时间存在差别时，能够使用统一的事件时间为各数据划分时间窗口，从而提高了为数据划分时间窗口的准确性，进而可以提高数据拼接准确性。

可选的，所述方法还包括：

确定第二数据流的属于当前时间窗口的数据，是否全部到达；

若是，遍历当前时间窗口内的第一数据，对于遍历到的第一数据，从缓存的第二数据流的数据中查找与遍历到的第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

上述申请中的一个实施例具有如下优点或有益效果：在第二数据流的属于当前时间窗口的数据全部到达时，也即确定与未拼接成功的第一数据相匹配的第二数据到达了，此时再次触发数据拼接，可进一步提升数据拼接的成功率。

可选的，确定第二数据流的属于当前时间窗口的数据，是否全部到达，包括：

若第二数据流的当前低水位值与第二数据流的允许延迟时间的差值，大于或等于当前时间窗口的结束时间，则确定第二数据流的属于当前时间窗口的数据，已全部到达，否则，确定第二数据流的属于当前时间窗口的数据，未全部到达；

其中，第二数据流的当前低水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最小事件时间。

上述申请中的一个实施例具有如下优点或有益效果：通过将第二数据流的当前低水位值与第二数据流的允许延迟时间的差值，与当前时间窗口的结束时间相比较，可提升判断第二数据流的属于当前时间窗口的数据是否到达的准确性。

可选的，所述方法还包括：

在预先配置的定时器到时或缓存的第一数据的数量达到设定阈值时，遍历缓存的第一数据，对于遍历到的第一数据，从缓存的第二数据流的数据中查找与遍历到的第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

上述申请中的一个实施例具有如下优点或有益效果：通过在预先配置的定时器到时或缓存的第一数据的数量达到设定阈值时，也触发数据拼接操作，可以进一步提升某些时效性要求较高，或乱序较为严重的业务场景下的数据拼接的时效性和成功率。

可选的，所述多数据流中的拼接触发数据流的数据量，小于所述多数据流中的非拼接触发数据流的数据量。

上述申请中的一个实施例具有如下优点或有益效果：通过将数据量小的数据流作为拼接触发数据流，可以有效减少触发数据拼接的次数。

第二方面，本申请实施例公开了一种行人属性的识别装置，包括：

数据流确定模块，用于当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流；其中，所述多数据流中的部分数据流被预先指定为拼接触发数据流；

第一拼接模块，用于在确定所述第一数据流是指定的拼接触发数据流时，从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

第三方面，本申请实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的多数据流的数据拼接方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的多数据流的数据拼接方法。

上述申请中的一个实施例具有如下优点或有益效果：通过预先指定部分数据流为拼接触发数据流，只有拼接触发数据流的某一数据到来时，才会从第二数据流中查询与之匹配的数据，以完成数据拼接，由此能够有效减少数据查询次数，进而降低资源开销，同时也降低了实现数据拼接的复杂度。若存在第一数据未拼接成功，将第一数据划分到对应的时间窗口，并在第二数据流的属于当前时间窗口的数据全部到达时，也即确定与未拼接成功的第一数据相匹配的第二数据到达时，再次触发数据拼接，可进一步提升数据拼接的成功率。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例多数据流的数据拼接方法的流程示意图；

图2是根据本申请第二实施例多数据流的数据拼接方法的流程示意图；

图3是根据本申请第三实施例多数据流的数据拼接方法的流程示意图；

图4是根据本申请第四实施例多数据流的数据拼接装置的结构示意图；

图5是用来实现本申请实施例的多数据流的数据拼接方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是本申请实施例的多数据流的数据拼接方法的流程示意图，本实施例可适用于广告日志分析或用户行为分析等情况。该方法可由一种多数据流的数据拼接装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如服务器或计算机设备。

如图1所示，该方法具体包括如下：

S101、当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流。

本申请实施例中，在对广告日志分析或用户行为分析时，数据中心需要源源不断的接收多条数据流的数据，并将接收的数据进行拼接处理。在对多流数据进行数据拼接的过程中，发明人发现，在多数据流的数据量差异比较大时，对于其中数据量较大的数据流的部分数据，在其他数据量较少的数据流中可能并不存在与之相匹配的数据，如果还采用只要有数据到达，就触发数据拼接的方法，会造成资源的浪费。基于此，发明人创造性的提出了仅在部分数据流比如一条指定数据流的数据到达时，才触发数据拼接的方案。而在具体实现时，可将多数据流中的部分数据流被预先指定为拼接触发数据流，可选的，选取拼接成功率相对较高的数据流，作为触发数据拼接的数据流，例如选取数据量较小的数据流作为拼接触发数据流，也即多数据流中的拼接触发数据流的数据量，小于多数据流中的非拼接触发数据流的数据量，示例性的，拼接触发数据流为广告转化日志数据流，非拼接触发数据流为广告展现日志数据流。

因此，在预先指定拼接触发数据流后，当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流，若是，则执行S102以进行数据拼接，若否，则将第一数据缓存。

S102、在确定所述第一数据流是指定的拼接触发数据流时，从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

由于数据拼接是指两种以上的不同数据，由于业务上关联，通过某些同类属性的关键字值合并为一份数据。因此，在确定第一数据流是指定的拼接触发数据流时，也即确定需要进行数据拼接，可通过解析器对第一数据流的第一数据进行解析处理，得到第一数据中包括的拼接关键字和待拼接字段。进而从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据时，可基于第一数据所包括的拼接关键字，从第二数据流的数据中查询包括相同拼接关键字的第二数据，进而将第一数据和第二数据进行拼接，也即是将第一数据和第二数据中各自的待拼接字段进行拼接。

本申请实施例中，通过预先指定部分数据流为拼接触发数据流，只有拼接触发数据流的某一数据到来时，才会从第二数据流中查询与之匹配的数据，以完成数据拼接，由此能够有效减少数据查询次数，也即减少触发拼接的次数，进而降低资源开销，同时也降低了实现数据拼接的复杂度。

图2是本申请实施例的多数据流的数据拼接方法的流程示意图，本实施例是在上述实施的基础上进行优化，增加了验证与第一数据相匹配的第二数据是否到达以及第一数据是否有效的操作，参见图2，该方法具体包括：

S201、当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流。

其中，所述多数据流中的部分数据流被预先指定为拼接触发数据流。

S202、在确定所述第一数据流是指定的拼接触发数据流时，确定所述第二数据流中与所述第一数据匹配的第二数据是否已到达。

在确定所述第一数据流是指定的拼接触发数据流时，需要先判断第二数据是否到达。只有确定第二数据到达时，才触发数据拼接的操作，由此可以保证数据拼接的成功率，并且避免对无效数据进行拼接，以节约资源开销。

可选的，确定第二数据流中与第一数据匹配的第二数据是否已到达的操作包括：

S01.获取所述第一数据中携带的第二数据流的事件时间，以及第二数据流的当前高水位值。

每个数据流都有其分别对应的事件时间字段，比如，广告展现日志数据流对应的事件时间字段是广告展现时间字段，广告转化日志数据流对应的事件时间字段是广告转化时间字段。在任一数据流的各个数据中均会携带该数据流对应的事件时间字段的时间值，该数据流对应的事件时间字段的时间值即是该数据流的事件时间。对于具有关联关系的多个数据流的一部分数据流(比如从数据流)来说，该数据流的各个数据中除了会携带该数据流对应的事件时间字段的时间值也即该数据流的事件时间外，还会携带另一部分数据流(比如主数据流)对应的事件时间字段的时间值也即另一部分数据流的事件时间，比如，广告转化日志数据流的广告转化数据中除了会携带广告转化时间字段的时间值也即广告转化日志数据流的事件时间外，还会携带广告展现时间字段的时间值即广告展现日志数据流的事件时间。这里的主数据流可以是指多数据流中对应的事件时间最早的数据流，其他数据流为从数据流，比如，同一广告展现的时间早于该广告转化的时间，那么，广告展现日志数据流为主数据流，广告转化日志数据流为从数据流。

S02.若所述第一数据中携带的第二数据流的事件时间不大于所述第二数据流的当前高水位值，则确定所述第二数据流中与所述第一数据匹配的第二数据已到达，否则，确定所述第二数据流中与所述第一数据匹配的第二数据未到达。

其中，第一数据除了包括拼接关键字、待拼接字段外，还包括第二数据流的事件时间(Event Time)。示例性的，第一数据流为广告转化日志数据流，第二数据流为广告展现日志数据流，若第一数据为购买某一广告产品的数据，则第一数据中除了购买广告产品的时间外，还包括该广告产品的展现时间(即第二数据流的事件时间)。而第二数据流的当前高水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最大事件时间。示例性的，当前第二数据流共有四个已到达的广告产品展现数据，其对应的事件时间分别为10:00:00、10:06:30、10:10:25、10:20:00，则第二数据流的当前高水位值为10:20:00。

示例性的，第一数据(例如广告转化数据)中包括广告产品的展现时间为10:06:30，小于第二数据流的当前高水位值(例如10:20:00)，则第一数据对应的广告产品展现数据已到达。反之，若第一数据中包括广告产品的展现时间为10:26:30，大于第二数据流的当前高水位值(例如10:20:00)，则确定第一数据对应的广告产品展现数据没有到达。

而确定第一数据是否有效的标准是：判断第一数据是否是延迟时间在允许范围内的数据，若是，则确定第一数据为有效数据，否则第一数据为无效数据，而对于无效数据，并不会触发数据拼接。在此需要说明的是，延迟时间的允许范围是根据具体业务确定的。

进一步的，除了上述的根据第二数据流中与第一数据匹配的第二数据到达时，触发执行从缓存的第二数据流的数据中查找与第一数据匹配的第二数据的操作以外，还可以根据第一数据是否是延迟时间在允许范围内的数据来触发。

可选的，确定所述第一数据是否是延迟时间在允许范围内的数据的操作包括：

S11.获取所述第一数据中携带的第一数据流的事件时间以及所述第一数据流的当前低水位值。

其中，第一数据中除了携带第二数据流的事件时间，还携带第一数据流的事件时间，示例性的，第一数据流为广告转化日志数据流，若第一数据为购买某一广告产品的数据，则第一数据中携带购买广告产品的时间(即第一数据流的事件时间)。而第一数据流的当前低水位值是指当前第一数据流的所有已到达的各数据，所携带的第一数据流的事件时间中的最小事件时间。示例性的，当前第一数据流共有四个已到达的广告产品转化数据，其对应的事件时间分别为10:01:00、10:07:30、10:12:25、10:21:00，则第一数据流的当前低水位值为10:01:00。

S12.若所述第一数据中携带的第一数据流的事件时间，不小于所述第一数据流的低水位值与第一数据流的允许延迟时间的差值，则确定所述第一数据是延迟时间在允许范围内的数据，否则，确定所述第一数据不是延迟时间在允许范围内的数据。

在具体业务中，由于上游数据源或流式系统内部的网络抖动、跨地域传输、拥塞等原因，会导致第一数据延迟到达，因此预先设置允许延迟时间，如果第一数据在允许延迟时间内到达，则确定第一数据为有效数据，可以触发数据拼接。作为一种可选的实施方式，只要第一数据中携带的第一数据流的事件时间，不小于第一数据流的低水位值与第一数据流的允许延迟时间的差值，确定第一数据是延迟时间在允许范围内的数据，否则，确定所述第一数据不是延迟时间在允许范围内的数据。

如此，通过S11-S12确定第一数据是延迟时间在允许范围内的数据时，也即第一数据为有效数据时，可触发执行从缓存的第二数据流的数据中查找与第一数据匹配的第二数据的操作，否则，将第一数据进行缓存。

在此需要说明的是，为了进一步的保证数据拼接的成功率，避免对无效数据进行拼接，可在同时满足第二数据流中与第一数据匹配的第二数据已到达，且第一数据是延迟时间在允许范围内的数据时，才触发执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作。

由此，通过上述操作确定第二数据流中与第一数据相匹配的第二数据已到达，和/或，确定第一数据是延迟时间在允许范围内的数据，则执行S203。

S203、触发执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作，否则，将第一数据进行缓存。

在确定第二数据到达，和/或第一数据有效时，触发数据拼接的操作，也即是执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作，示例性的，可基于第一数据所包括的拼接关键字，从第二数据流的数据中查询包括相同拼接关键字的第二数据，进而将第一数据和第二数据进行拼接。在此需要说明的是，如果第二数据流的数据中没有查找到与所述第一数据匹配的第二数据，也即是与第一数据相匹配的第二数据还有到达，表明本次数据拼接未成功，并将第一数据进行缓存，以便后续对未拼接成功的数据进行二次拼接，以提升数据拼接的成功率。

本实施例中，通过预先确定第二数据到达，和/或第一数据有效时，才触发数据拼接的操作，由此可以保证数据拼接的成功率，并且避免对无效数据进行拼接，以节约资源开销。

图3是本申请实施例的多数据流的数据拼接方法的流程示意图，本实施例是在上述实施的基础上进行优化，增加了对未拼接成功的第一数据进行二次拼接的操作，参见图3，该方法具体包括：

S301、若未从缓存的第二数据流的数据中查找到与所述第一数据匹配的第二数据，则将第一数据进行缓存。

如果第二数据流的数据中没有查找到与所述第一数据匹配的第二数据，也即是与第一数据相匹配的第二数据还有到达，表明本次数据拼接未成功，而将第一数据进行缓存，便于后续对未拼接成功的数据进行二次拼接。

S302、将缓存中的各第一数据按照各第一数据携带的第二数据流的事件时间，划分入不同的时间窗口。

由于实时数据流是永不停歇的，无法获取所有的数据并产出一个最终的结果。很多情况下更关心的是最近的状态，而不是从实时数据流启动至今的统计数据。因此需要将数据流切分为一个个片段，这些片段也即是数据窗口。数据窗口是将无边界的实时数据流进行划分的一种机制。本申请实施例中，数据窗口是基于事件时间的时间窗口。将缓存中的各第一数据(即未拼接成功的第一数据)按照各第一数据携带的第二数据流的事件时间，划分入不同的时间窗口。示例性的，未拼接成功的三个第一数据携带第二数据流的事件时间分别为10:01:00、10:03:30、10:08:25，而时间窗口1为10:00:00～10:05:00，时间窗口2为10:05:00～10:10:00，则将携带第二数据流的事件时间10:01:00和10:03:30的第一数据划入时间窗口1，将携带第二数据流的事件时间10:08:25的第一数据划入时间窗口2。

在此需要说明的是，由于第一数据流的事件时间和第二数据流的事件时间有时会存在差别，示例性的，第一数据流为广告转化日志数据流，第二数据流为广告展现日志数据流，由于广告展现后，可能需要几分钟、几十分钟甚至更长的时间延迟才能转化，因此这两类数据流的事件时间天然存在差别。而为了第一数据流和第二数据流的数据精准的进行拼接，需要将第一数据流中的第一数据和与其匹配的第二数据流的第二数据划分到一个时间窗口，因此在对数据划分时间窗口时需要一个统一的依据。可选的，均采用第二数据流的事件时间作为划分依据。由此可以确保在第一数据流的事件时间和第二数据流的事件时间存在差别时，能够使用统一的事件时间为各数据划分时间窗口，从而提高了为数据划分时间窗口的准确性，进而可以提高数据拼接准确性。

S303、确定第二数据流的属于当前时间窗口的数据，是否全部到达。

针对当前时间窗口，判断第二数据流的属于当前时间窗口的数据，是否全部到达，如果全部到达，则按照S304再次触发数据拼接，由此可以保证部分未拼接成功的第一数据查找到匹配的第二数据，以完成数据拼接，达到提升数据拼接成功率的目的。

而确定第二数据流的属于当前时间窗口的数据，是否全部到达的操作包括：若第二数据流的当前低水位值与第二数据流的允许延迟时间的差值，大于或等于当前时间窗口的结束时间，则确定第二数据流的属于当前时间窗口的数据，已全部到达，否则，确定第二数据流的属于当前时间窗口的数据，未全部到达；其中，第二数据流的当前低水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最小事件时间。

S304、若是，遍历当前时间窗口内的第一数据，对于遍历到的第一数据，从缓存的第二数据流的数据中查找与遍历到的第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

由于当前时间窗口内的第一数据都是已缓存的未拼接成功的数据，因此每遍历到一个第一数据时，从缓存的第二数据流的数据中查找是否存在与遍历到的第一数据匹配的第二数据，若存在则将将第一数据与第二数据进行拼接。

本申请实施例中，通过将第二数据流的当前低水位值与第二数据流的允许延迟时间的差值，与当前时间窗口的结束时间相比较，可提升判断第二数据流的属于当前时间窗口的数据是否到达的准确性。而且在第二数据流的属于当前时间窗口的数据全部到达时，也即确定与未拼接成功的第一数据相匹配的第二数据可能到达了，此时再次触发数据拼接，可进一步提升数据拼接的成功率。

进一步的，在某些时效性要求较高，或乱序较为严重的业务场景下，在对已缓存的未拼接成功的第一数据进行上述的拼接之前，也即是在第二数据流的属于当前时间窗口的数据全部到达之前，还可预先基于定时器或根据第一数据量完成一次数据拼接尝试。可选的，在预先配置的定时器到时或缓存的第一数据的数量达到设定阈值时，遍历缓存的第一数据，对于遍历到的第一数据，从缓存的第二数据流的数据中查找与遍历到的第一数据匹配的第二数据，以将第一数据与第二数据进行拼接，由此可以保证数据拼接的时效性。

图4是本申请实施例提供的一种多数据流的数据拼接装置的结构示意图，该装置适用于广告日志分析或用户行为分析等情况，参见图4，该装置400包括：

数据流确定模块401，用于当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流；其中，所述多数据流中的部分数据流被预先指定为拼接触发数据流；

第一拼接模块402，用于在确定所述第一数据流是指定的拼接触发数据流时，从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

本申请实施例中，通过预先指定部分数据流为拼接触发数据流，只有拼接触发数据流的某一数据到来时，才会从第二数据流中查询与之匹配的数据，以完成数据拼接，由此能够有效减少数据查询次数，也即减少触发拼接的次数，进而降低资源开销，同时也降低了实现数据拼接的复杂度。

可选的，所述装置还包括：

第一判断模块，用于确定所述第二数据流中与所述第一数据匹配的第二数据是否已到达；

第一触发模块，用于若第一判断模块的判断结果为是，则触发执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作，否则，将第一数据进行缓存。

可选的，所述装置还包括：

第二判断模块，用于确定所述第一数据是否是延迟时间在允许范围内的数据；

第二触发模块，用于若第二判断模块的判断结果为是，则触发执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作，否则，将第一数据进行缓存。

可选的，所述第一判断模块包括：

第一获取单元，用于获取所述第一数据中携带的第二数据流的事件时间，以及第二数据流的当前高水位值；其中，第二数据流的当前高水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最大事件时间；

第一判断单元，用于若所述第一数据中携带的第二数据流的事件时间不大于所述第二数据流的当前高水位值，则确定所述第二数据流中与所述第一数据匹配的第二数据已到达，否则，确定所述第二数据流中与所述第一数据匹配的第二数据未到达。

可选的，所述第一判断模块包括：

第二获取单元，用于获取所述第一数据中携带的第一数据流的事件时间以及所述第一数据流的当前低水位值；其中，第一数据流的当前低水位值是指当前第一数据流的所有已到达的各数据，所携带的第一数据流的事件时间中的最小事件时间；

第二判断单元，用于若所述第一数据中携带的第一数据流的事件时间，不小于所述第一数据流的低水位值与第一数据流的允许延迟时间的差值，则确定所述第一数据是延迟时间在允许范围内的数据，否则，确定所述第一数据不是延迟时间在允许范围内的数据。

可选的，所述装置还包括：

缓存模块，用于若未从缓存的第二数据流的数据中查找到与所述第一数据匹配的第二数据，则将第一数据进行缓存；

划分模块，用于将缓存中的各第一数据按照各第一数据携带的第二数据流的事件时间，划分入不同的时间窗口。

可选的，所述装置还包括：

第三判断模块，用于确定第二数据流的属于当前时间窗口的数据，是否全部到达；

第二拼接模块，用于若第三判断模块的判断结果为是，遍历当前时间窗口内的第一数据，对于遍历到的第一数据，从缓存的第二数据流的数据中查找与遍历到的第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

可选的，所述第三判断模块具体用于：

若第二数据流的当前低水位值与第二数据流的允许延迟时间的差值，大于或等于当前时间窗口的结束时间，则确定第二数据流的属于当前时间窗口的数据，已全部到达，否则，确定第二数据流的属于当前时间窗口的数据，未全部到达；

其中，第二数据流的当前低水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最小事件时间。

可选的，所述装置还包括：

第三拼接模块，用于在预先配置的定时器到时或缓存的第一数据的数量达到设定阈值时，遍历缓存的第一数据，对于遍历到的第一数据，从缓存的第二数据流的数据中查找与遍历到的第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

可选的，所述多数据流中的拼接触发数据流的数据量，小于所述多数据流中的非拼接触发数据流的数据量。

本申请实施例所提供的多数据流的数据拼接装置可执行本申请任意实施例所提供的多数据流的数据拼接方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是根据本申请实施例的多数据流的数据拼接方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的多数据流的数据拼接方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的多数据流的数据拼接方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的多数据流的数据拼接方法对应的程序指令/模块(例如，附图4所示的数据流确定模块401和第一拼接模块402)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的多数据流的数据拼接方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现多数据流的数据拼接方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至实现多数据流的数据拼接方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现多数据流的数据拼接方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与实现多数据流的数据拼接方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括用户端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者用户端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过预先指定部分数据流为拼接触发数据流，只有拼接触发数据流的某一数据到来时，才会从第二数据流中查询与之匹配的数据，以完成数据拼接，由此能够有效减少数据查询次数，进而降低资源开销，同时也降低了实现数据拼接的复杂度。若存在第一数据未拼接成功，将第一数据划分到对应的时间窗口，并在第二数据流的属于当前时间窗口的数据全部到达时，也即确定与未拼接成功的第一数据相匹配的第二数据到达时，再次触发数据拼接，可进一步提升数据拼接的成功率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (11)

1.一种多数据流的数据拼接方法，其特征在于，包括：

当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流；其中，所述多数据流中的部分数据流被预先指定为拼接触发数据流；

在确定所述第一数据流是指定的拼接触发数据流时，确定第二数据流中与所述第一数据匹配的第二数据是否已到达；

若是，从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据，以将第一数据与第二数据进行拼接；否则，将第一数据进行缓存；

其中，确定所述第二数据流中与所述第一数据匹配的第二数据是否已到达，包括：

获取所述第一数据中携带的第二数据流的事件时间，以及第二数据流的当前高水位值；其中，第二数据流的当前高水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最大事件时间；

若所述第一数据中携带的第二数据流的事件时间不大于所述第二数据流的当前高水位值，则确定所述第二数据流中与所述第一数据匹配的第二数据已到达，否则，确定所述第二数据流中与所述第一数据匹配的第二数据未到达。

2.根据权利要求1所述的方法，其特征在于，在确定所述第一数据流是指定的拼接触发数据流之后、从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据之前，所述方法还包括：

确定所述第一数据是否是延迟时间在允许范围内的数据；

若是，则触发执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作，否则，将第一数据进行缓存。

3.根据权利要求2所述的方法，其特征在于，确定所述第一数据是否是延迟时间在允许范围内的数据，包括：

获取所述第一数据中携带的第一数据流的事件时间以及所述第一数据流的当前低水位值；其中，第一数据流的当前低水位值是指当前第一数据流的所有已到达的各数据，所携带的第一数据流的事件时间中的最小事件时间；

若所述第一数据中携带的第一数据流的事件时间，不小于所述第一数据流的低水位值与第一数据流的允许延迟时间的差值，则确定所述第一数据是延迟时间在允许范围内的数据，否则，确定所述第一数据不是延迟时间在允许范围内的数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若未从缓存的第二数据流的数据中查找到与所述第一数据匹配的第二数据，则将第一数据进行缓存；

将缓存中的各第一数据按照各第一数据携带的第二数据流的事件时间，划分入不同的时间窗口。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

确定第二数据流的属于当前时间窗口的数据，是否全部到达；

若是，遍历当前时间窗口内的第一数据，对于遍历到的第一数据，从缓存的第二数据流的数据中查找与遍历到的第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

6.根据权利要求5所述的方法，其特征在于，确定第二数据流的属于当前时间窗口的数据，是否全部到达，包括：

若第二数据流的当前低水位值与第二数据流的允许延迟时间的差值，大于或等于当前时间窗口的结束时间，则确定第二数据流的属于当前时间窗口的数据，已全部到达，否则，确定第二数据流的属于当前时间窗口的数据，未全部到达；

其中，第二数据流的当前低水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最小事件时间。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在预先配置的定时器到时或缓存的第一数据的数量达到设定阈值时，遍历缓存的第一数据，对于遍历到的第一数据，从缓存的第二数据流的数据中查找与遍历到的第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述多数据流中的拼接触发数据流的数据量，小于所述多数据流中的非拼接触发数据流的数据量。

9.一种多数据流的数据拼接装置，其特征在于，包括：

数据流确定模块，用于当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流；其中，所述多数据流中的部分数据流被预先指定为拼接触发数据流；

第一判断模块，用于在确定所述第一数据流是指定的拼接触发数据流时，确定第二数据流中与所述第一数据匹配的第二数据是否已到达；

第一拼接模块，用于在判断结果为是时，从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据，以将第一数据与第二数据进行拼接；否则，将第一数据进行缓存；

其中，所述第一判断模块包括：

第一获取单元，用于获取所述第一数据中携带的第二数据流的事件时间，以及第二数据流的当前高水位值；其中，第二数据流的当前高水位值是指当前第二数据流的所有已到达的各数据，所携带的第二数据流的事件时间中的最大事件时间；

第一判断单元，用于若所述第一数据中携带的第二数据流的事件时间不大于所述第二数据流的当前高水位值，则确定所述第二数据流中与所述第一数据匹配的第二数据已到达，否则，确定所述第二数据流中与所述第一数据匹配的第二数据未到达。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的多数据流的数据拼接方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的多数据流的数据拼接方法。