CN117319312B - 一种数据流量控制方法及装置 - Google Patents

Abstract

本发明公开了一种数据流量控制方法及装置，涉及金融技术领域。该方法的一具体实施方式包括：通过流量预测模型，预测未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；根据流量值，确定多个时段对应的目标窗口时长，以根据目标窗口时长设置滚动窗口以接收金融资产序号集合；通过根据目标窗口时长设置的滚动窗口，分批接收金融资产序号集合；将接收到的金融资产序号集合，分批发送给下游节点，以使下游节点对金融资产序号集合进行处理。该实施方式实现了根据流量预测值，在线调整窗口，避免了流量波动导致的下游系统崩溃，造成数据丢失和错误，或计算资源浪费的情况；窗口滚动自增以接收数据，避免了窗口调整造成的数据丢失。

Description

一种数据流量控制方法及装置

技术领域

本发明涉及金融技术领域，尤其涉及一种数据流量控制方法及装置。

背景技术

随着当今大数据技术和相关业务的发展，金融领域的数据流量增长迅猛。在某些特定的时间点和场景下，数据流量控制系统节点接收的数据流量可能会超过其实际处理能力范围，这样就可能导致数据流量控制系统无法及时处理数据，从而导致某些数据丢失和错误，甚至系统崩溃。因此，如何控制金融数据流量对于数据流量控制的实时性和正确性至关重要。

发明内容

有鉴于此，本发明实施例提供一种数据流量控制方法及装置，通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。由此实现了根据流量预测值的大小，在线调整滚动窗口时长而无需中断业务处理，并且避免了流量较大时导致下游系统崩溃，造成数据丢失和错误，以及在流量较小时，下游系统空闲时间过长，计算资源严重浪费的情况；根据目标窗口时长使窗口滚动自增以接收数据，避免了窗口时长调整造成的数据丢失。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据流量控制方法。

本发明实施例的一种数据流量控制方法包括：通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。

可选地，所述根据所述流量值，确定所述多个时段对应的目标窗口时长，包括：根据滚动窗口预设的初始窗口时长以及所述多个时段，将所述第一预设时间范围切分为多个目标时段；确定所述多个目标时段分别对应的目标流量值；确定所述目标流量值是否均不超过所述初始窗口时长对应的滚动窗口的最大容纳量；在所述目标流量值中的至少一个超过所述最大容纳量的情况下，将所述初始窗口时长以预设步长递增，并将递增后的初始窗口时长作为新的初始窗口时长；循环执行以上步骤，直至所述目标流量值均不超过所述最大容纳量，并将所述初始窗口时长确定为所述目标窗口时长。

可选地，所述确定所述多个目标时段分别对应的目标流量值，包括：根据所述多个时段对应的流量值，确定所述多个目标时段分别对应的总流量值；根据预先确定的窗口时长-重复比例曲线，确定所述初始窗口时长对应的金融资产序号的重复比例；根据所述总流量值和所述重复比例，确定所述多个目标时段分别对应的目标流量值。

可选地，所述根据所述总流量值和所述重复比例，确定所述多个目标时段分别对应的目标流量值，包括：根据所述重复比例，确定所述初始窗口时长对应的金融资产序号的非重复比例；其中所述非重复比例与所述重复比例之和为1；将所述总流量值与所述非重复比例的乘积作为所述目标流量值。

可选地，所述通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合，包括：确定当前数据流量控制系统的系统时间，并确定所述系统时间对应的时段；根据所述时段对应的目标窗口时长，调整当前用于接收金融资产序号集合的滚动窗口的窗口宽度；通过当前滚动窗口，分批接收所述金融资产序号集合。

可选地，所述通过当前滚动窗口，分批接收所述金融资产序号集合，包括：确定所述当前滚动窗口的起始时间和结束时间；确定Flink获取到金融资产序号集合的第一时间；确定所述第一时间是否大于等于所述起始时间且小于所述结束时间；在所述第一时间大于等于所述起始时间且小于所述结束时间的情况下，通过所述当前滚动窗口接收所述金融资产序号集合。

可选地，本发明提供的方法还包括：在所述第一时间大于等于所述结束时间的情况下，通过更新后的滚动窗口，接收所述金融资产序号集合；所述更新后的滚动窗口是根据所述目标窗口时长对所述当前滚动窗口更新得到的。

可选地，所述通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值，包括：确定历史上第二预设时间范围内获取到金融资产序号集合的第二时间，以及所述金融资产序号集合的数据量；将所述第二时间作为时间戳，并将所述数据量作为所述时间戳对应的流量值；将所述时间戳和所述流量值输入到训练完成的所述流量预测模型；将所述流量预测模型的输出作为所述第一预设时间范围内的多个时段对应的金融资产序号集合的流量值。

可选地，所述将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理，包括：在所述第一时间大于等于所述结束时间的情况下，将所述当前滚动窗口内接收到的金融资产序号集合发送给所述下游系统。

为实现上述目的，根据本发明实施例的又一方面，提供了一种数据流量控制装置。

本发明实施例的一种数据流量控制装置包括：预测模块，用于通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；窗口时长确定模块，用于根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；接收模块，用于通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；处理模块，用于将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。

为实现上述目的，根据本发明实施例的又一方面，提供了一种服务器。

本发明实施例的一种服务器包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种数据流量控制方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读存储介质。

本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种数据流量控制方法。

上述发明中的一个实施例具有如下优点或有益效果：通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。由此实现了根据流量预测值的大小，在线调整滚动窗口时长而无需中断业务处理，并且避免了流量较大时导致下游系统崩溃，造成数据丢失和错误，以及在流量较小时，下游系统空闲时间过长，计算资源严重浪费的情况；根据目标窗口时长使窗口滚动自增以接收数据，避免了窗口时长调整造成的数据丢失。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种数据流量控制方法的主要步骤的示意图；

图2是根据本发明实施例的一种预测未来多个时段金融资产序号集合的流量值的主要步骤的示意图；

图3是根据本发明实施例的一种确定多个时段对应的目标窗口时长的主要步骤的示意图；

图4是根据本发明实施例的一种确定多个目标时段对应的目标流量值的主要步骤的示意图；

图5是根据本发明实施例的一种窗口时长-重复比例曲线的示意图；

图6是根据本发明实施例的一种通过滚动窗口分批接收金融资产序号集合的主要步骤的示意图；

图7是根据本发明实施例的一种数据流量控制装置的主要模块的示意图；

图8是本发明实施例可以应用于其中的示例性系统架构图；

图9是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。

图1是根据本发明实施例的数据流量控制方法的主要步骤的示意图。

如图1所示，本发明实施例的数据流量控制方法主要包括以下步骤：

步骤S101：通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值。为了避免上游系统数据流量较大时对下游系统造成较大冲击，造成下游系统崩溃的情况，或者上游系统数据流量较小，使得下游系统的计算资源严重浪费，通过流量预测模型对未来预设时间段，比如未来1小时、12小时、一天、一周、十天、一个月内的数据流量进行预测。其中流量预测模型可以是用于时间序列预测的GRU（Gated Recurrent Unit，门控循环单元）神经网络模型。金融资产序号即金融数据，金融资产序号集合即金融数据包。可以理解的是，未来预设时间段可以根据数据业务的特点以及流量预测模型的预测能力灵活设置，本实施例对此不做限定。

通过历史预设时间段内的金融资产序号集合，对未来某一时段的流量进行预测，在本发明可选的实施例中，所述通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值，包括步骤S201-S204，如图2所示：

步骤S201：确定历史上第二预设时间范围内获取到金融资产序号集合的第二时间，以及所述金融资产序号集合的数据量；

步骤S202：将所述第二时间作为时间戳，并将所述数据量作为所述时间戳对应的流量值；

步骤S203：将所述时间戳和所述流量值输入到训练完成的所述流量预测模型；

步骤S204：将所述流量预测模型的输出作为所述第一预设时间范围内的多个时段对应的金融资产序号集合的流量值。若要预测未来一段时长内的数据流量，需要对应的数倍于该时长的历史数据，其中该历史数据包括获取到金融资产序号集合的时间，以及该金融资产序号集合包括的金融资产序号的个数。将获取到金融资产序号集合的时间确定为时间戳，将金融资产序号的个数确定为流量值，那么历史数据可以为多个时间戳-流量值的序列。将历史数据包括的时间戳-流量值序列输入到流量预测模型，那么流量预测模型的输出即为未来时间段内多个时段及其对应的流量值。其中，训练流量预测模型采用的训练数据、验证数据和测试数据均是历史上预设时间段内金融资产序号集合对应的时间戳-流量值序列。

步骤S102：根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合。假设对未来第一预设时间范围内的多个时段对应的金融资产序号集合的流量值进行预测，得到如下的预测数据：

其中，时段编号1、2、3……、60均表示时间点，多个时间点之间间隔均匀；流量值即为该时间点对应的数据流量大小，即金融资产序号的个数。根据预测数据，确定滚动窗口的窗口时长，根据该窗口时长创建滚动窗口，以分批接收多个时段内的金融资产序号集合。在本实施例中，时段1即表示在第一预设时间范围内的第一分钟内，比如第一预设时间范围为00:00-1:00，那么时段1即表示00:00-00:01这个时间段，且包括00:00，不包括00:01，时段2即表示在第二分钟内，即在00:01-00:02范围内，且包括00:01，不包括00:02，后面依次类推。可以理解的是，时段1还可以表示，第一个小时内、第一天内等，根据业务特点可以灵活设定。另外，在本实施例中，流量值对应的范围可以是数据包，也可以是表示数据流量的单位，比如GB、MB、KB等，再次不作限定。

需要说明的是，本发明的各个实施例中，时段、目标时段、流量值、总流量值以及目标流量值对应的单位均对应符合上述说明。

针对各时段不同流量值的金融资产序号集合，确定各时段对应的窗口时长，在本发明可选的实施例中，所述根据所述流量值，确定所述多个时段对应的目标窗口时长，包括S301-S305，如图3所示：

步骤S301：根据滚动窗口预设的初始窗口时长以及所述多个时段，将所述第一预设时间范围切分为多个目标时段；

步骤S302：确定所述多个目标时段分别对应的目标流量值；

步骤S303：确定所述目标流量值是否均不超过所述初始窗口时长对应的滚动窗口的最大容纳量；

步骤S304：在所述目标流量值中的至少一个超过所述最大容纳量的情况下，将所述初始窗口时长以预设步长递增，并将递增后的初始窗口时长作为新的初始窗口时长；

步骤S305：执行步骤S301，直至所述目标流量值均不超过所述最大容纳量，并将所述初始窗口时长确定为所述目标窗口时长。首先，将根据初始窗口时长创建滚动窗口，其中初始窗口时长根据业务特点可以设置为一个较小的值，比如3，确定长度为3的滚动窗口可以容纳的最大数据量（如1000）,即最大容纳量，根据长度为3的滚动窗口的最大容纳量以及多个时段对应的时长，将多个时段按照时长划分为多个目标时段。其中, 不同的窗口时长对应的最大容纳量由一系列测试统计得出，是一个具体值。不同物理配置和计算配置情况下，同一窗口时长对应的最大容纳量也不同。仍以上述预测数据为例，将多个时段划分为目标时段如下表所示：

在本发明可选的实施例中，所述确定所述多个目标时段分别对应的目标流量值，包括S401-S403，如图4所示：

步骤S401：根据所述多个时段对应的流量值，确定所述多个目标时段分别对应的总流量值；

步骤S402：根据预先确定的窗口时长-重复比例曲线，确定所述初始窗口时长对应的金融资产序号的重复比例；

步骤S403：根据所述总流量值和所述重复比例，确定所述多个目标时段分别对应的目标流量值。其中，每个目标时段对应多个金融资产序号集合，由于业务本身的特点，不同金融资产序号集合中包括重复的金融资产序号集合，其重复比例与接收该金融资产序号集合的滚动窗口的时长有关。因此，需要根据窗口时长确定重复比例，并根据总流量值和重复比例确定目标流量值，即去重后的流量值。

在本发明可选的实施例中，所述根据所述总流量值和所述重复比例，确定所述多个目标时段分别对应的目标流量值，包括：根据所述重复比例，确定所述初始窗口时长对应的金融资产序号的非重复比例；其中所述非重复比例与所述重复比例之和为1；将所述总流量值与所述非重复比例的乘积作为所述目标流量值。根据窗口时长-重复比例曲线，如图5所示，确定窗口时长为3时，对应的重复比例为26%，利用长度为3的滚动窗口接收的金融资产序号集合中，金融资产序号的重复比例c为26%，那么根据如下公式可以确定每个目标时段对应的目标流量值：

目标流量值=总流量值*(1-c)

因此，根据窗口长度为3划分得到的目标时段，其对应的目标流量值如下表所示：

由于下游系统在与窗口时长对应的时间段内处理超过最大容纳量的数据，易造成数据丢失或错误，因此需要确保一次发送给下游系统的数据量不能超过最大容纳量，换言之就是需要确保滚动窗口在其对应的窗口时长内接收的金融资产序号的目标流量值不超过最大容纳量。因此，需要将多个目标时段对应的目标流量值与长度为3的滚动窗口对应的最大容纳量（如1000）进行比较，确定多个目标流量值是否均不超过最大容纳量，在多个目标流量值中的至少一个超过最大容纳量的情况下，将窗口时长，例如3，以预设步长递增，比如步长为1，将窗口时长3调整为4。根据窗口时长4对多个时段对应的流量值进行重新划分，如下表所示：

根据窗口时长-重复比例曲线，可以确定对应的重复比例为30%，根据目标流量值的计算公式以及重复比例30%，可以确定重新划分后的多个目标时段对应的目标流量值，如下表所示：

假设长度为4的窗口时长对应的最大容纳量为1300，将多个目标时段对应的目标流量值与当前滚动窗口对应的最大容纳量，例如1300比较，可以确定当前划分的多个目标时段对应的目标流量值均未超过滚动窗口的最大容纳量，那么将窗口长度4确定为目标窗口时长，将目标窗口时长与多个时段对应存储在缓存中，比如以多个时段的时段特征作为键，以其对应的目标窗口时长，例如3，作为键值存储于ignite的缓存Optimal_value_cache中。可以理解的是，可以依次预测多个第一预设时间范围内的流量值，分别确定其对应的时段的目标窗口时长，并将时段与其对应的目标窗口时长进行对应保存。

步骤S103：通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合。在本发明可选的实施例中，所述通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合，包括步骤S601-S603，如图6所示：

步骤S601：确定当前数据流量控制系统的系统时间，并确定所述系统时间对应的时段；

步骤S602：根据所述时段对应的目标窗口时长，调整当前用于接收金融资产序号集合的滚动窗口的窗口宽度；

步骤S603：通过当前滚动窗口，分批接收所述金融资产序号集合。在接收该多个第一预设时间范围内的金融数据时，先确定当前系统时间，根据该系统时间确定对应时段，并根据时段从缓存内获取对应的目标窗口时长。根据确定的目标窗口时长创建滚动窗口，例如目标窗口时长为4，则设置滚动窗口的起始时间与结束时间间隔为4，将在一个滚动窗口内接收的金融资产序号集合一次发送给下游系统。

在本发明可选的实施例中，所述通过当前滚动窗口，分批接收所述金融资产序号集合，包括：确定所述当前滚动窗口的起始时间和结束时间；确定Flink获取到金融资产序号集合的第一时间；确定所述第一时间是否大于等于所述起始时间且小于所述结束时间；在所述第一时间大于等于所述起始时间且小于所述结束时间的情况下，通过所述当前滚动窗口接收所述金融资产序号集合。确定金融资产序号集合对应的第一时间，将第一时间在[起始时间，结束时间)范围内的金融:资产序号集合作为一批数据，一次发送给下游系统。当系统时间大于等于结束时间时，将当前窗口的起始时间和结束时间分别加上目标窗口时长以更新滚动窗口。

在本发明可选的实施例中，本发明实施例的方法还包括：在所述第一时间大于等于所述结束时间的情况下，通过更新后的滚动窗口，接收所述金融资产序号集合；所述更新后的滚动窗口是根据所述目标窗口时长对所述当前滚动窗口更新得到的。将第一时间在更新后的滚动窗口内的金融资产序号集合作为一批数据，并一次发送给下游业务系统进行处理。

步骤S104：将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。在本发明可选的实施例中，所述将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理，包括：在所述第一时间大于等于所述结束时间的情况下，将所述当前滚动窗口内接收到的金融资产序号集合发送给所述下游系统。在一个滚动窗口的生命周期结束后，将该窗口内的金融资产序号集合发送给下游系统，以使下游系统及时对该窗口内的金融资产序号集合进行及时处理，以保证业务处理的时效性。

根据本发明实施例的数据流量控制方法可以看出，通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。由此实现了根据流量预测值的大小，在线调整滚动窗口时长而无需中断业务处理，并且避免了流量较大时导致下游系统崩溃，造成数据丢失和错误，以及在流量较小时，下游系统空闲时间过长，计算资源严重浪费的情况；根据目标窗口时长使窗口滚动自增以接收数据，避免了窗口时长调整造成的数据丢失。

图7是根据本发明实施例的数据流量控制装置的主要模块的示意图。

如图7所示，本发明实施例的数据流量控制装置700包括：

预测模块701，用于通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；

窗口时长确定模块702，用于根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；

接收模块703，用于通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；

处理模块704，用于将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。

在本发明可选的实施例中，窗口时长确定模块702，还用于根据滚动窗口预设的初始窗口时长以及所述多个时段，将所述第一预设时间范围切分为多个目标时段；确定所述多个目标时段分别对应的目标流量值；确定所述目标流量值是否均不超过所述初始窗口时长对应的滚动窗口的最大容纳量；在所述目标流量值中的至少一个超过所述最大容纳量的情况下，将所述初始窗口时长以预设步长递增，并将递增后的初始窗口时长作为新的初始窗口时长；循环执行以上步骤，直至所述目标流量值均不超过所述最大容纳量，并将所述初始窗口时长确定为所述目标窗口时长。

在本发明可选的实施例中，窗口时长确定模块702，还用于根据所述多个时段对应的流量值，确定所述多个目标时段分别对应的总流量值；根据预先确定的窗口时长-重复比例曲线，确定所述初始窗口时长对应的金融资产序号的重复比例；根据所述总流量值和所述重复比例，确定所述多个目标时段分别对应的目标流量值。

在本发明可选的实施例中，窗口时长确定模块702，还用于根据所述重复比例，确定所述初始窗口时长对应的金融资产序号的非重复比例；其中所述非重复比例与所述重复比例之和为1；将所述总流量值与所述非重复比例的乘积作为所述目标流量值。

在本发明可选的实施例中，接收模块703，还用于确定当前数据流量控制系统的系统时间，并确定所述系统时间对应的时段；根据所述时段对应的目标窗口时长，调整当前用于接收金融资产序号集合的滚动窗口的窗口宽度；通过当前滚动窗口，分批接收所述金融资产序号集合。

在本发明可选的实施例中，接收模块703，还用于确定所述当前滚动窗口的起始时间和结束时间；确定Flink获取到金融资产序号集合的第一时间；确定所述第一时间是否大于等于所述起始时间且小于所述结束时间；在所述第一时间大于等于所述起始时间且小于所述结束时间的情况下，通过所述当前滚动窗口接收所述金融资产序号集合。

在本发明可选的实施例中，接收模块703，还用于在所述第一时间大于等于所述结束时间的情况下，通过更新后的滚动窗口，接收所述金融资产序号集合；所述更新后的滚动窗口是根据所述目标窗口时长对所述当前滚动窗口更新得到的。

在本发明可选的实施例中，预测模块701，还用于确定历史上第二预设时间范围内获取到金融资产序号集合的第二时间，以及所述金融资产序号集合的数据量；将所述第二时间作为时间戳，并将所述数据量作为所述时间戳对应的流量值；将所述时间戳和所述流量值输入到训练完成的所述流量预测模型；将所述流量预测模型的输出作为所述第一预设时间范围内的多个时段对应的金融资产序号集合的流量值。

在本发明可选的实施例中，处理模块704，还用于在所述第一时间大于等于所述结束时间的情况下，将所述当前滚动窗口内接收到的金融资产序号集合发送给所述下游系统。

根据本发明实施例的数据流量控制装置可以看出，通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。由此实现了根据流量预测值的大小，在线调整滚动窗口时长而无需中断业务处理，并且避免了流量较大时导致下游系统崩溃，造成数据丢失和错误，以及在流量较小时，下游系统空闲时间过长，计算资源严重浪费的情况；根据目标窗口时长使窗口滚动自增以接收数据，避免了窗口时长调整造成的数据丢失。

图8示出了可以应用本发明实施例的数据流量控制方法或数据流量控制装置的示例性系统架构800。

如图8所示，系统架构800可以包括数据预测系统801、802、803，网络804、806，服务器805和业务处理系统807、808、809。网络804、806用以在数据预测系统801、802、803，服务器805和业务处理系统807、808、809之间提供通信链路的介质。网络804、806可以包括各种连接类型，例如有线、无线通信链路或光纤电缆等等。

数据预测系统801、802、803，业务处理系统807、808、809通过网络804、806与服务器805交互，以接收或发送消息等。数据预测系统801、802、803为预测未来预设时间范围内数据流量值的电子设备，服务器805从数据预测系统801、802、803获取预测得到的未来多个时段的数据流量值，并根据预测的流量值确定出各时段对应的目标窗口时长，并根据目标窗口时长创建滚动窗口以接收数据，最后将接收到的数据发送给下游的业务处理系统807、808、809。

服务器805可以是提供各种服务的服务器，例如服务器805为从数据预测系统801、802、803获取预测流量值并对预测的流量值进行分析处理等提供支持的后台管理服务器。后台管理服务器可以对获取到的流量值进行分析等处理，并将处理结果，比如金融资产序号集合发送给业务处理系统807、808、809。

需要说明的是，本发明实施例所提供的任务分配方法一般由服务器805执行，相应地，任务分配装置一般设置于服务器805中。

应该理解，图8中的数据预测系统、业务处理系统、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图9，其示出了适于用来实现本发明实施例的终端设备的计算机系统900的结构示意图。图9示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元（CPU）901，其可以根据存储在只读存储器（ROM）902中的程序或者从存储部分908加载到随机访问存储器（RAM）903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出（I/O）接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元（CPU）901执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括预测模块、窗口时长确定模块、接收模块和处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，处理模块还可以被描述为“将接收到的金融资产序号集合分批发送给下游节点的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。

根据本发明实施例的技术方案，通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值；根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。由此实现了根据流量预测值的大小，在线调整滚动窗口时长而无需中断业务处理，并且避免了流量较大时导致下游系统崩溃，造成数据丢失和错误，以及在流量较小时，下游系统空闲时间过长，计算资源严重浪费的情况；根据目标窗口时长使窗口滚动自增以接收数据，避免了窗口时长调整造成的数据丢失。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种数据流量控制方法，其特征在于，包括：

通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值，金融资产序号即金融数据；金融资产序号集合即金融数据包；具体包括：确定历史上第二预设时间范围内获取到金融资产序号集合的第二时间，以及所述金融资产序号集合的数据量；将所述第二时间作为时间戳，并将所述数据量作为所述时间戳对应的流量值；将所述时间戳和所述流量值输入到训练完成的所述流量预测模型；将所述流量预测模型的输出作为所述第一预设时间范围内的多个时段对应的金融资产序号集合的流量值；

根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；

所述根据所述流量值，确定所述多个时段对应的目标窗口时长，包括：根据滚动窗口预设的初始窗口时长以及所述多个时段，将所述第一预设时间范围切分为多个目标时段；确定所述多个目标时段分别对应的目标流量值；确定所述目标流量值是否均不超过所述初始窗口时长对应的滚动窗口的最大容纳量；在所述目标流量值中的至少一个超过所述最大容纳量的情况下，将所述初始窗口时长以预设步长递增，并将递增后的初始窗口时长作为新的初始窗口时长；循环执行以上步骤，直至所述目标流量值均不超过所述最大容纳量，并将所述初始窗口时长确定为所述目标窗口时长；

所述确定所述多个目标时段分别对应的目标流量值，包括：根据所述多个时段对应的流量值，确定所述多个目标时段分别对应的总流量值；根据预先确定的窗口时长-重复比例曲线，确定所述初始窗口时长对应的金融资产序号的重复比例；根据所述总流量值和所述重复比例，确定所述多个目标时段分别对应的目标流量值；

通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；

将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述总流量值和所述重复比例，确定所述多个目标时段分别对应的目标流量值，包括：

根据所述重复比例，确定所述初始窗口时长对应的金融资产序号的非重复比例；其中所述非重复比例与所述重复比例之和为1；

将所述总流量值与所述非重复比例的乘积作为所述目标流量值。

3.根据权利要求1所述的方法，其特征在于，所述通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合，包括：

确定当前数据流量控制系统的系统时间，并确定所述系统时间对应的时段；

根据所述时段对应的目标窗口时长，调整当前用于接收金融资产序号集合的滚动窗口的窗口宽度；

通过当前滚动窗口，分批接收所述金融资产序号集合。

4.根据权利要求3所述的方法，其特征在于，所述通过当前滚动窗口，分批接收所述金融资产序号集合，包括：

确定所述当前滚动窗口的起始时间和结束时间；

确定Flink获取到金融资产序号集合的第一时间；

确定所述第一时间是否大于等于所述起始时间且小于所述结束时间；

在所述第一时间大于等于所述起始时间且小于所述结束时间的情况下，通过所述当前滚动窗口接收所述金融资产序号集合。

5.根据权利要求4所述的方法，其特征在于，还包括：

在所述第一时间大于等于所述结束时间的情况下，通过更新后的滚动窗口，接收所述金融资产序号集合；所述更新后的滚动窗口是根据所述目标窗口时长对所述当前滚动窗口更新得到的。

6.根据权利要求4所述的方法，其特征在于，所述将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理，包括：

在所述第一时间大于等于所述结束时间的情况下，将所述当前滚动窗口内接收到的金融资产序号集合发送给所述下游节点。

7.一种数据流量控制装置，其特征在于，包括：

预测模块，用于通过流量预测模型，预测得到未来第一预设时间范围内多个时段分别对应的金融资产序号集合的流量值，金融资产序号即金融数据；金融资产序号集合即金融数据包；还用于确定历史上第二预设时间范围内获取到金融资产序号集合的第二时间，以及所述金融资产序号集合的数据量；将所述第二时间作为时间戳，并将所述数据量作为所述时间戳对应的流量值；将所述时间戳和所述流量值输入到训练完成的所述流量预测模型；将所述流量预测模型的输出作为所述第一预设时间范围内的多个时段对应的金融资产序号集合的流量值；

窗口时长确定模块，用于根据所述流量值，确定所述多个时段对应的目标窗口时长，以根据所述目标窗口时长设置滚动窗口以接收所述金融资产序号集合；还用于根据滚动窗口预设的初始窗口时长以及所述多个时段，将所述第一预设时间范围切分为多个目标时段；确定所述多个目标时段分别对应的目标流量值；确定所述目标流量值是否均不超过所述初始窗口时长对应的滚动窗口的最大容纳量；在所述目标流量值中的至少一个超过所述最大容纳量的情况下，将所述初始窗口时长以预设步长递增，并将递增后的初始窗口时长作为新的初始窗口时长；循环执行以上步骤，直至所述目标流量值均不超过所述最大容纳量，并将所述初始窗口时长确定为所述目标窗口时长；

还用于根据所述多个时段对应的流量值，确定所述多个目标时段分别对应的总流量值；根据预先确定的窗口时长-重复比例曲线，确定所述初始窗口时长对应的金融资产序号的重复比例；根据所述总流量值和所述重复比例，确定所述多个目标时段分别对应的目标流量值；

接收模块，用于通过根据所述目标窗口时长设置的滚动窗口，分批接收所述金融资产序号集合；

处理模块，用于将接收到的金融资产序号集合，分批发送给下游节点，以使所述下游节点对金融资产序号集合进行处理。

8.一种服务器，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。