CN112583862A - 数据并发的处理方法、装置、存储介质及设备 - Google Patents

Abstract

本发明实施例提供一种数据并发的处理方法、装置、存储介质和设备，属于计算机技术领域，数据并发的处理方法包括：获取引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；在消息缓存器端，按照应用请求的初始设定并发值，向目标系统发送应用请求；以及根据目标系统对所发送的应用请求的响应情况，调整下一次发送应用请求的并发值。通过将从引擎系统获取的应用请求按顺序存储至预先配置的消息缓存器，在消息缓存器端向目标系统发送应用请求，并根据目标系统响应情况调整应用请求的并发数，在保证应用请求发送效率的基础上，减少了目标系统的服务负载，提高了引擎系统和目标系统通讯的稳定性。

Description

数据并发的处理方法、装置、存储介质及设备

技术领域

本发明涉及计算机技术领域，具体地涉及一种数据并发的处理方法、装置、存储介质及设备。

背景技术

随着互联网技术的发展，利用网络的大数据进行营销的模式已经被广泛应用，为了获取数据、处理数据和传输数据等过程，多系统之间需要进行通信，以实现大数据的利用。

目前，数据获取、处理和传输过程，当引擎系统处于某个节点向目标系统发送并发任务时，没有对数据并发进行合理控制，容易出现并发数非常高的情况，并由此对目标系统造成服务阻塞的问题。例如，在自动化营销过程中，自动化营销系统作为引擎系统向目标系统发送数据获取请求或数据分析请求的指令，若得不到及时响应，会造成自动化营销系统无法正常获取其所需要的数据，自动化营销系统的执行效率与准确性也会大大降低，并由此带来多个系统间通信超时的问题。

本申请发明人在实现本发明的过程中发现，现有技术的上述方案存在没有对系统间的通信进行合理并发控制，由此带来系统指令得不到及时响应、系统执行效率和准确率较低的缺陷。

发明内容

本发明实施例的目的是提供一种数据并发的处理方法、装置、存储介质及设备，以解决或至少部分解决上述技术问题。

为了实现上述目的，本发明实施例提供一种数据并发的处理方法，所述数据并发是指引擎系统向目标系统发送应用请求的数据并发，并且所述数据并发的处理方法包括：获取所述引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；在消息缓存器端，按照所述应用请求的初始设定并发值，向所述目标系统发送应用请求；以及若所述目标系统成功响应所发送的应用请求，则在下一次发送所述应用请求时，增加所述应用请求的并发值；否则，在下一次发送所述应用请求时，减少所述应用请求的并发值。

可选的，所述数据并发的处理方法还包括：通过有序集合Redis Zset预先配置所述消息缓存器。

可选的，所述将所获取的应用请求进行排序后存储至消息缓存器包括：按照所述应用请求的发出时间顺序，对需要发送至同一个所述目标系统的所述应用请求进行排序；以及将排序后的所述应用请求存储至与该应用请求需要发送至的目标系统相对应的所述消息缓存器。

可选的，所述增加所述应用请求的并发值包括：将所述应用请求的并发值增加至任意大于当前所述应用请求的并发值的值；和/或所述减少所述应用请求的并发值包括：将所述应用请求的并发值减少至任意小于当前所述应用请求的并发值的值。

可选的，所述数据并发的处理方法还包括：在减少所述应用请求的并发值之后的下一次发送所述应用请求时，降低所述应用请求的并发值增加的幅度。

根据本发明实施例的第二方面，还提供一种数据并发的处理装置，所述数据并发是指引擎系统向目标系统发送应用请求的数据并发，并且所述数据并发的处理装置包括：获取模块，用于获取所述引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；发送模块，用于在消息缓存器端，按照所述应用请求的初始设定并发值，向所述目标系统发送应用请求；以及调整模块，用于在所述目标系统成功响应所发送的应用请求时，则在下一次发送所述应用请求时，增加所述应用请求的并发值；否则，在下一次发送所述应用请求时，减少所述应用请求的并发值。

可选的，所述数据并发的处理装置还包括：配置模块，用于通过有序集合RedisZset预先配置所述消息缓存器。

可选的，所述获取模块包括：排序子模块，用于按照所述应用请求的发出时间顺序，对需要发送至同一个所述目标系统的所述应用请求进行排序；以及缓存子模块，用于将排序后的所述应用请求存储至与该应用请求需要发送至的目标系统相对应的所述消息缓存器。

可选的，所述调整模块包括：增加子模块，用于将所述应用请求的并发值增加至任意大于当前所述应用请求的并发值的值；和/或减少子模块，用于将所述应用请求的并发值减少至任意小于当前所述应用请求的并发值的值。

可选的，所述调整模块还包括：微调子模块，用于在减少所述应用请求的并发值之后的下一次发送所述应用请求时，降低所述应用请求的并发值增加的幅度。

相应的，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述数据并发的处理方法。

相应的，本发明实施例还提供一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述数据并发的处理方法。

通过上述技术方案，通过将从引擎系统发出的应用请求按顺序存储至预先配置的消息缓存器，在消息缓存器端向目标系统发送应用请求，并根据目标系统响应情况调整应用请求的并发数。在保证应用请求发送效率的基础上，减少了目标系统的服务负载，从而提高了引擎系统的稳定性，同时提升包括引擎系统和目标系统的服务集群的稳定性与可用性。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明实施例提供的数据并发的处理方法的流程图；

图2是本发明实施例提供的数据并发的处理方法并发值调整的一个示例；

图3是本发明实施例提供的数据并发的处理装置的框图；

图4是本发明实施例提供的数据并发的处理装置的获取模块的框图；

图5是本发明实施例提供的数据并发的处理装置的调整模块的框图；以及

图6是本发明实施例提供的设备的结构示意图。

附图标记说明

1、获取模块 11、排序子模块

12、缓存子模块 2、发送模块

3、调整模块 31、增加子模块

32、减少子模块 4、配置模块

50、设备 501、处理器

502、存储器 503、总线

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

在本发明的实施例中，数据并发是指引擎系统向目标系统发送应用请求的数据并发。

图1是本发明是示例提供的数据并发的处理方法的流程图，如图1所示的数据并发的处理方法可以包括如下步骤：

S100、获取引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中。

在本发明的优选实施例中，该步骤S100可以具体包括：获取引擎系统发出的应用请求，并按照应用请求的发出时间顺序，对需要发送至同一个目标系统的应用请求进行排序；以及将排序后的应用请求存储至与该应用请求需要发送至的目标系统相对应的消息缓存器。

具体来讲，就是通过一个消息缓存器，将引擎系统所发出的应用请求完整的接收并存储，为了保证所有应用请求再从消息缓存器中的发出时的顺序性，在本发明的优选实施例中，采用时间顺序，对需要发送至同一个目标系统的应用请求进行排序，并将排序后的应用请求存储至与该应用请求需要发送至的目标系统相对应的消息缓存器。

在本发明优选的实施例中，数据并发的处理方法还包括：通过有序集合RedisZset预先配置消息缓存器。

进一步的，根据应用请求所要发送至的目标系统不同，将应用请求划分为不同的类型，通过Redis Zset为每一类型的应用请求预先配置一个消息缓存器。

举例说明，引擎系统(例如：某可视化流程引擎—自动化营销系统)需要通知目标系统(例如：某第三方应用)，将应用请求的相关信息存入的Redis ZSet中，为了保证所有应用请求从Redis ZSet向目标系统发送的顺序性，将每一个应用请求对应的Score(表示Redis ZSet的一个参数)设置为当前时间，当然也可以采用为应用请求按照预定规则进行编号排序等方式，合理方式设定每一个应用请求对应的Score。

S200、在消息缓存器端，按照应用请求的初始设定并发值，向目标系统发送应用请求。

具体来讲，根据其他引擎系统向目标系统的过程中并发响应的情况，设定一个应用请求的初始设定并发值。在消息缓存器端，按照步骤S100中对应用请求的排序，向目标系统发送应用请求。

举例来讲，引擎系统为自动化营销引擎系统，目标系统为多个应用，为每个应用配置一个“应用请求缓存器”，自动化营销引擎系统启动时，默认所有应用请求的最长的等待时间为六秒(即若在发出应用请求后六秒内，所发出的应用请求均得到目标系统的响应，则认为目标系统响应成功)，向不同应用发起通信的初始并发默认为1/10s，即每10秒内只能发起1次并发。

每一个应用请求缓存器一次性获取该应用的若干个Redis ZSet value(RedisZSet value表示Redis ZSet中应用请求的参数)存入对应的应用请求缓存器并按照Score排序，以减少自动化营销系统与Redis ZSet之间的通信，当某一个应用请求缓存器中的应用请求数量为0时，获取新的Redis ZSet value存入缓存。

将每个应用的并发concurrency(concurrency表示一秒内发送应用请求的个数，1/concurrency表示两次发送应用请求的时间间隔)与上次请求的时间lastSendAt进行初始化，即按照应用请求的初始设定并发值，对Redis ZSet的参数进行设置，以进行并发控制。

S300、若目标系统成功响应所发送的应用请求，则在下一次发送所述应用请求时，增加应用请求的并发值；否则，在下一次发送所述应用请求时，减少应用请求的并发值。

在本发明的优选实施例中本步骤S300中增加应用请求的并发值具体包括：将应用请求的并发值增加至任意大于当前应用请求的并发值的值。

具体来讲，引擎系统中所发出的应用请求被全部缓存至消息缓存器，在消息缓存器端，向目标系统发出应用请求。

在本发明实施例中，采用每经过一个预定的时间间隔(例如：0.1s)，在消息缓存器端向目标系统发出一个包含设定数量应用请求指令的应用请求组，若目标系统成功响应所发送的应用请求，例如在设定时间(例如：6s)内，向目标系统发送的所有应用请求均得到响应，认为目标系统成功响应所发送的应用请求。由此，说明当前应用请求并发在目标系统的承受范围之内，引擎系统和目标系统之间可以正常通讯。此时，可以在下一次发送应用请求时，增加应用请求的并发值，举例来说：可以减小发送应用请求组的预定时间间隔、或增加组成应用请求组的应用请求指令的数量，例如：将应用请求的并发值增加至当前应用请求并发值的一定倍数(例如：两倍或三倍)。

在本发明的优选实施例中本步骤S300中减少应用请求的并发值具体包括：将应用请求的并发值减少至任意小于当前应用请求的并发值的值。

优选的，在将应用请求的并发值减少至任意小于当前应用请求的并发值的值之后的下一次发送所述应用请求时，降低应用请求的并发值增加的幅度。

具体来讲，若目标系统未能成功响应所发送的应用请求，例如在设定时间(例如：6s)内，引擎系统向目标系统发送的部分应用请求未能得到目标响应，由此，说明当前应用请求并发已经超出目标系统的承受范围，引擎系统和目标系统之间无法正常通讯，此时，需要在下一次发送应用请求时，减少引擎系统向目标系统的并发值，以使目标系统能够及时对引擎系统所发出的应用请求做出响应，保证引擎系统和目标系统之间通讯的稳定性。例如：可以将应用请求的并发值减少当前应用请求并发值的一半、三分之一、三分之二等。

进一步的，将应用请求的并发值减少至任意小于当前应用请求的并发值的值之后，说明当前应用请求并发值已经趋于饱和，此时，需要在下一次发送应用请求时降低应用请求的并发值增加的幅度。

依据预设时间内，目标系统是否响应了所有应用请求。若成功响应，则增加并发值，再次发送应用请求，优选增加至当前并发值的两倍；否则(包括完全没有响应或部分响应)，减少并发值，再次发送应用请求，优选减少至当前并发值的一半，并在减少至当前并发值一半的下一次发出应用请求时，降低并发值增加的增幅。

参见图2，具体举例如下：若初始设定并发值为10，若成功响应，则增加至20；若又一次成功响应，则增加至40，若未成功响应，则减少至20。对于并发值20，若成功响应，则增加至21，成功响应再增加至22……，直至增加至30，若未成功响应，再减少至15……

具体来讲，首先，对于计算机来将，并发并不是我们理解的同时发出若干个应用请求，并且能够在同一时刻同步的被处理，而是指在一定时间内发出若干个应用请求，计算机服务器能够在设定时间内对所接收到的若干个应用请求做出响应。那么在本发明的实施例中，如果引擎系统向目标系统发送的部分应用请求未能得到目标响应，则说明目标系统的服务器在设定时间内能够处理的应用请求数量小于在相应时间内应用请求的并发数量。

在本发明的实施例中，以concurrency表示一秒内发送应用请求的个数，则1/concurrency表示两次发送应用请求的时间间隔，例如：假设每秒的并发值为1，则一秒钟发送应用请求的数量为1，也就是说两次发送应用请求的时间间隔1秒，假设每秒的并发值为2，则发送应用请求的数量为两个，也就是说两次发送应用请求的时间间隔为1/2秒。

举例说明，以某一个Redis Zset中的应用请求的初始设定并发值为concurrency为例，并发值进行调整的具体过程如下：

1、在Redis Zset中初始化每个应用的并发值为concurrency，上次请求的时间lastSendAt，以对向目标系统发送的应用请求进行并发控制。

2、弹出应用缓存器中的第一个元素，发起应用请求，记录对应的应用请求发送时间lastSendAt。

3、如果应用请求响应成功，将该应用的应用请求并发值增加至concurrency*2。如果应用请求响应失败，将该应用的应用请求并发值减少至concurrency/2。

4、如果当前发送应用请求的前一次应用请求响应成功，则继续弹出应用缓存器的元素发起请求，根据concurrency与lastSendAt判断是否允许发送请求，如果允许，则发送新的请求，并按照上一步来调整concurrency。如果不允许，将元素重新退回消息缓存器中并按照时间重新进行排序。

5、如果当前发送应用请求的前一次应用请求响应失败，则在减少应用请求的并发值之后，下一次发送应用请求时降低应用请求的并发值增加的幅度(例如：前一次应用请求并发值基础上，每次增长1，而不再是每次增加至concurrency*2)。

通过上述技术方案，通过将从引擎系统发出的应用请求按顺序存储至预先配置的消息缓存器，在消息缓存器端向目标系统发送应用请求，并根据目标系统响应情况调整应用请求的并发数。在保证应用请求发送效率的基础上，减少了目标系统的服务负载，从而提高了引擎系统的稳定性，同时提升包括引擎系统和目标系统的服务集群的稳定性与可用性。

图3是本发明实施例提供的数据并发的处理装置的框图，如图3所示，数据并发的处理装置包括：获取模块1，用于获取引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；发送模块2，用于在消息缓存器端，按照应用请求的初始设定并发值，向目标系统发送应用请求；以及调整模块3，用于在目标系统成功响应所发送的应用请求时，则在下一次发送所述应用请求时，增加应用请求的并发值；否则，在下一次发送所述应用请求时，减少应用请求的并发值。

其中，配置模块4是本发明实施例提供的更为优选的方案中所包括的模块，其用于通过有序集合Redis Zset预先配置消息缓存器。

图4是本发明实施例提供的数据并发的处理装置的获取模块的框图，如图4所示，获取模块1包括：排序子模块11，用于按照应用请求的发出时间顺序，对需要发送至同一个目标系统的应用请求进行排序；以及缓存子模块12，用于将排序后的应用请求存储至与该应用请求需要发送至的目标系统相对应的消息缓存器。

图5是本发明实施例提供的数据并发的处理装置的调整模块的框图，如图5所示，调整模块3包括：增加子模块31，用于将应用请求的并发值增加至任意大于当前应用请求的并发值的值；和/或减少子模块31，用于将应用请求的并发值减少至任意小于当前应用请求的并发值的值。

在本发明的优选实施例中，调整模块3还可以包括微调子模块(图中未示出)，用于在减少所述应用请求的并发值之后的下一次发送所述应用请求时，降低应用请求的并发值增加的幅度。

数据并发的处理装置的其他具体实施方式和有益效果参考上述数据并发的处理方法，此处不再赘述。

数据并发的处理装置包括处理器和存储器，上述获取模块、发送模块、调整模块、配置模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决由于未对系统间的通信并发控制而带来的系统指令得不到及时响应、系统执行效率和准确率较低的技术问题。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述数据并发的处理方法。

图6是本发明实施例提供的设备的结构示意图，如图6所示，本发明实施例提供的设备50包括至少一个处理器501、以及与处理器501连接的至少一个存储器502、总线；其中，处理器501、存储器502通过总线503完成相互间的通信；处理器501用于调用存储器502中的程序指令，以执行上述数据并发的处理方法。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述数据并发的处理方法的步骤的程序。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据并发的处理方法，其特征在于，所述数据并发是指引擎系统向目标系统发送应用请求的数据并发，并且所述数据并发的处理方法包括：

获取所述引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；

在消息缓存器端，按照所述应用请求的初始设定并发值，向所述目标系统发送应用请求；以及

若所述目标系统成功响应所发送的应用请求，则在下一次发送所述应用请求时，增加所述应用请求的并发值；否则，在下一次发送所述应用请求时，减少所述应用请求的并发值。

2.根据权利要求1所述的数据并发的处理方法，其特征在于，所述数据并发的处理方法还包括：通过有序集合Redis Zset预先配置所述消息缓存器。

3.根据权利要求1所述的数据并发的处理方法，其特征在于，所述将所获取的应用请求进行排序后存储至消息缓存器包括：

按照所述应用请求的发出时间顺序，对需要发送至同一个所述目标系统的所述应用请求进行排序；以及

将排序后的所述应用请求存储至与该应用请求需要发送至的目标系统相对应的所述消息缓存器。

4.根据权利要求1所述的数据并发的处理方法，其特征在于，

所述增加所述应用请求的并发值包括：将所述应用请求的并发值增加至任意大于当前所述应用请求的并发值的值；和/或

所述减少所述应用请求的并发值包括：将所述应用请求的并发值减少至任意小于当前所述应用请求的并发值的值。

5.根据权利要求1所述的数据并发的处理方法，其特征在于，所述数据并发的处理方法还包括：在减少所述应用请求的并发值之后的下一次发送所述应用请求时，降低所述应用请求的并发值增加的幅度。

6.一种数据并发的处理装置，其特征在于，所述数据并发是指引擎系统向目标系统发送应用请求的数据并发，并且所述数据并发的处理装置包括：

获取模块，用于获取所述引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；

发送模块，用于在消息缓存器端，按照所述应用请求的初始设定并发值，向所述目标系统发送应用请求；以及

调整模块，用于在所述目标系统成功响应所发送的应用请求时，则在下一次发送所述应用请求时，增加所述应用请求的并发值；否则，在下一次发送所述应用请求时，减少所述应用请求的并发值。

7.根据权利要求6所述的数据并发的处理装置，其特征在于，所述数据并发的处理装置还包括：配置模块，用于通过有序集合Redis Zset预先配置所述消息缓存器。

8.根据权利要求6所述的数据并发的处理装置，其特征在于，所述获取模块包括：

排序子模块，用于按照所述应用请求的发出时间顺序，对需要发送至同一个所述目标系统的所述应用请求进行排序；以及

缓存子模块，用于将排序后的所述应用请求存储至与该应用请求需要发送至的目标系统相对应的所述消息缓存器。

9.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-5中任一项所述的数据并发的处理方法。

10.一种设备，其特征在于，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行权利要求1-5中任一项所述的数据并发的处理方法。

Images