CN105468784A - 处理高并发流量的方法及其装置 - Google Patents

Abstract

本发明提供了一种用于处理高并发流量的方法及其对应装置。该方法包括以同步方式接收来自上游系统的高并发流量；对接收到的高并发流量进行缓冲；以及以受控的方式向依赖于数据库的系统异步转发所缓冲的高并发流量。上述方法和装置解决了依赖于RDBMS的系统可能受到上游系统高并发流量冲击的技术问题，能够在保证数据一致性和完整性的情况下处理高并发的数据流量。

Description

处理高并发流量的方法及其装置

技术领域

本发明涉及流量处理领域，具体涉及一种处理高并发流量的方法及其对应装置。

背景技术

目前互联网系统后端的联机交互事务处理(OLTP)类系统(例如电商后端的订单生产系统(仓储、配送、客户售后等))依赖于关系数据库管理系统(RDBMS)。然而RDBMS的并发性能和吞吐能力相对有限，导致上述依赖于RDBMS的系统的并发性能和吞吐能力直接受到RDBMS的制约。例如在电子商务背景下，特定时间内在系统中可能产生极大的流量，使得上述依赖于RDBMS的系统难以处理这些流量，导致系统被挂起或雪崩，严重影响系统的正常运行。

对于依赖数据库(DB)的系统，目前存在三种提高系统并发性能和吞吐量的方法，包括：

1.热点缓存，将相对静态的数据进行分布式缓存，尽可能减少对数据库的访问；

2.读写分离，读的并发性能和吞吐量可以通过水平扩展从库实现，写的并发性能和吞吐量只能通过分库分表来实现，一旦分库分表之后关联、聚合等查询无法处理，存在很大的局限性；

3.异步写库，同步操作先将数据写入缓存或者消息队列中，然后异步方式写入数据库；

然而上述三种方式都存在着数据一致性和完整性方面的缺陷。例如方式1和方式2仅能够解决读的性能。方式3可在一定程度上解决写的性能，但数据一致性难以保证，存在着丢失数据的风险(缓存或者消息队列故障时还未来得及异步入库的数据可能会丢失)。

因此需要一种处理高并发流量的方法，使得能够在保证数据一致性和完整性的情况下处理高并发的数据流量。

发明内容

为了解决上述问题，本发明实施例提供了一种用于处理高并发流量的方法及其对应装置。

根据本发明的一个方案，提供了一种用于处理高并发流量的方法及其对应装置。该方法包括以同步方式接收来自上游系统的高并发流量；对接收到的高并发流量进行缓冲；以及以受控的方式向依赖于数据库的系统异步转发所缓冲的高并发流量。

根据本发明的第二方案，提供了一种用于处理高并发流量的装置。该装置包括：同步端，用于以同步方式接收来自上游系统的高并发流量；流量缓冲模块，用于对接收到的高并发流量进行缓冲；以及异步端，用于以受控的方式向依赖于数据库的系统异步转发所缓冲的高并发流量。

基于上述方法和设备，可以通过在依赖于数据库的系统之上增加一层缓冲防护层，将不可控的瞬时高并发流量缓冲平滑下来，有效保护依赖于数据库的系统，提升系统的并发性、吞吐量和稳定性。

附图说明

通过下面结合附图对发明进行的详细描述，将使本发明的上述特征和优点更加明显，其中：

图1是示出根据本发明的实施例的用于处理高并发流量的装置的示意性框图；

图2是示出根据本发明的实施例的用于处理高并发流量的方法的示意性流程图；

图3是示出根据本发明的原理的示意图；

图4是示出根据本发明的原理的另一示意图；以及

图5是示出根据本发明的实施例的高并发流量处理的一个示例的详细示意图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，以避免使本发明的主题不清楚。

图1示出了根据本发明的实施例的用于处理高并发流量的装置。如图1所示，该装置包括：同步端100，用于以同步方式接收来自上游系统的高并发流量；流量缓冲模块200，用于对接收到的高并发流量进行缓冲；以及异步端300，用于以受控的方式向依赖于数据库的系统异步转发所缓冲的高并发流量。。

在图1所示的装置中，同步端100可包括：接收单元110，用于以同步方式接收来自上游系统的高并发流量；以及校验单元120，用于对以同步方式接收的高并发流量进行合法性校验。

在一些示例中，接收单元110可接收由上游系统通过调用服务的方式发送的高并发流量，其中，上游系统调用的服务是内存操作。

经校验单元120校验过的数据可被发送给流量缓冲模块200。具体地，在本发明的一些示例中，流量缓冲模块可包括：消息队列存储器210，用于在其消息队列中存放合法性校验通过的数据；以及分布式存储器220，用于分布式地存放合法性校验未通过的数据。其中，消息队列存储器210和/或分布式存储器220可以是可容量扩容的。由于消息队列存储器210和/或分布式存储器220支持水平扩容，使得可根据需要控制用于缓存数据的缓冲池的容量。

在本发明的一些示例中，异步端300可包括消费单元310，用于对消息队列存储器210中存放的数据进行消费，并调用依赖于数据库的系统的服务进行相应业务逻辑处理。其中，如在消费过程中出现异常，将所消费的来自于消息队列的数据发送到分布式存储器220。

异步端300还可包括任务调度单元320，用于通过调度的方式轮询出分布式存储器中存放的数据，并调用依赖于数据库的系统的服务进行相应业务逻辑处理。

消费单元310还可用于根据依赖于数据库的系统的负荷能力，动态调整所述消息队列的消费线程的数量。

图2示出了根据本发明实施例的用于处理高并发流量的方法。如图2所示，该方法包括：步骤410，以同步方式接收来自上游系统的高并发流量；；步骤420，对接收到的高并发流量进行缓冲；；以及步骤430，以受控的方式向依赖于数据库的系统异步转发所缓冲的高并发流量。

在一些示例中，还可对以同步方式接收的高并发流量进行合法性校验。校验可包括例如对传入参数进行判空等非法性校验，或也可以包括本领域中常用或本领域技术人员可知的其他合法性校验，本发明不对此进行限制。

在一些示例中，以同步方式接收来自上游系统的高并发流量包括：接收由上游系统通过调用服务的方式发送的高并发流量，其中，上游系统调用的服务内部逻辑是内存操作。

此外，同步端200执行的其他一些操作，例如数据合法性校验的操作也可以是内存操作。本发明所采用的内存操作的方式实现简单快捷，即使在上游系统传送的数据流量很大时，也可保证同步服务的高并发性能和吞吐量，亦即，可以应对来自上游系统的高并发和大流量。在本发明的一些示例中，所有执行的逻辑操作都可以是内存操作，通过执行内存操作提高了同步端200的操作性能。

可根据是否通过合法性校验来对以同步方式接收的高并发流量进行处理。例如，在一些示例中，将合法性校验通过的数据存放消息队列中；以及将合法性校验未通过的数据分布式地存放分布式存储器中。

在一些示例中，上述的消息队列和/或分布式存储器支持水平扩容。

根据本发明实施例的处理高并发流量的方法还可包括：对消息队列中的数据进行消费，并调用依赖于数据库的系统的服务进行相应业务逻辑处理；以及如在消费过程中出现异常，将所消费的数据发送到分布式存储器。

在一些示例中，该方法还可包括通过调度的方式轮询出分布式存储器220中存储的数据，并调用依赖于数据库的系统的服务进行相应业务逻辑处理。

在一些示例中，可根据依赖于数据库的系统的负荷能力，动态调整所述消息队列的消费线程的数量。

从上述参考图1和图2所述的本发明的技术方案可以看出，本发明实质上在上游系统和下游的依赖于数据库的系统之间插入了一个缓冲层，以对来自上游系统的高并发数据量进行缓冲。图3示出了现有技术的数据处理系统以及根据本发明实施例的数据处理系统之间的差异。从图3可以看出，在现有技术中，依赖于数据库的系统从上游系统直接接收数据。而在本发明的实施例中，由于在上游系统和依赖于数据库的系统之间插入了缓冲层，来自上游系统的高并发流量直接下传到缓冲层，先由缓冲层进行缓冲，再通过异步方式将流量有控制地下传给依赖于数据库的系统。该缓冲层中的逻辑简单，只是将上游数据卸载下来，这样能确保其卸载数据的高并发性能和吞吐量。这样就很好的解决了依赖于数据库的系统的读和写的并发性能和吞吐量，而且数据一致性也能得到很好的保证。

通过同步端100以同步方式接收高并发数据且由流量缓冲模块200进行缓冲，到达依赖于数据库的系统的流量可被调节为适合该系统的数据量输入速率要求。该机制类似于漏斗。如日常生活所常见的，漏斗有两个口，一个用于流进液体的大口和一个用于流出液体的小口，大口口径大，可以支持大流量液体流入，小口口径小，液体只能以相对缓慢的速度流出，在大小口之间有一定的容积，液体可以在里面存留一定时间。根据本发明一些实施例的方案利用了漏斗的原理。例如图3中所示的缓冲层便可以是利用漏斗原理的装置。

图4示出了这样的漏斗原理的一个示意图。如图4所示，漏斗上端的大口径可以接收上游系统的高并发大流量，中间部分是一个流量缓冲池，流量可以在这里缓冲一定时间，下端的小口径负责将流量下传给上文中提到的依赖于数据库的系统，在一些实施例中，小口端可具有流控阀门，可以根据下游依赖于数据库的系统所能承载的吞吐量有效地控制下传流量，从而更好地保护下游系统，提高系统的可用性和稳定性。

下面将参考图5，根据图1示出的结构和图2示出的方法，通过具体示例的方式对图3和图4中示出的原理进行详细描述。图5是示出根据本发明的实施例的高并发流量处理的一个示例的详细示意图。如图5所示，其漏斗结构可被划分为三个部分：漏斗上端(或称为同步端)、漏斗中端(或称为流量缓冲池/模块)以及漏斗下端(或称为异步端)。

漏斗上端(对应图1中的同步端100)可例如通过图1中示出的接收单元110以同步方式接收来自上游系统的高并发流量。例如，上游系统可通过调用服务(例如WebService、dubbo等协议)的方式将数据下传给本发明中处理高并发流量的装置。该服务为同步调用，因此其并发性能和吞吐量显得尤其重要。为了满足高并发性能和和吞吐量，漏斗上端的内部逻辑尽可能简单(只是简单地卸载上游系统下传的数据)，所有操作均为内存操作。在本发明的示例中，由合法性校验模块(图5中的标记1，对应于图1中的校验单元120)对以同步方式接收的高并发流量进行合法性校验，例如对传入参数进行判空等非法性校验等。如果校验通过则将数据发送到消息队列(MQ)(图5中的标记2，对应于图1中的消息队列存储器210)中，并在之后返回成功状态。如果校验未通过则直接返回错误码。在发送数据到消息队列的过程中，对于发送失败的数据会通过异步的方式持久化到分布式存储器中。在图5所示的示例中，以Mysql存储集群(图5中的标记3，对应于图1中的分布式存储器220)作为分布式存储器的示例，然而在其他示例中，也可以使用本领域技术人员常用或所知的其他分布式存储器，本发明不对此进行限制。

在本发明的同步端中所采用的内存操作的方式实现简单快捷，即使在上游系统传送的数据流量很大时，也可保证同步服务的高并发性能和吞吐量，亦即，可以应对来自上游系统的高并发和大流量。

如上所述，漏斗中端(对应于图1中的流量缓冲模块200)从上游接收到的数据会有两条路径：其一是漏斗上端校验通过的数据进入到消息队列中，其二是校验失败的数据进入分布式存储器(例如分布式Mysql存储集群)中。图4中示出的缓冲池的容量主要靠消息队列(或消息队列存储器210)决定，其存储容量可根据需要来水平扩容。在例如分布式Mysql存储集群中，可以容易地保证所需的容量，因为存储上游数据的表结构可以非常简单，而且均可按ID查询，使得路由规则明确，非常容易进行分库分表。此外，分布式Mysql存储集群的存储容量也可根据需要来水平扩容，通过分布式来保证分布式Mysql存储集群的存储容量。

在漏斗上端中已经将上游系统的数据都卸载下来，正常的数据会进入消息队列中，只有极少异常数据(例如发送消息队列失败的数据)才会被异步持久化到分布式存储器中。漏斗下端(对应于图1中的异步端300)将这些数据(正常数据和异常数据)通过异步方式分别消费到依赖于数据库的系统。在消息队列(MQ)的消费端(图5中的标记4，对应于图1中的消费单元310)，可使用一个或多个线程接收到从队列中出来的数据，并通过调用依赖于数据库的系统提供的服务来进行相应的业务逻辑处理。在消息队列的消费过程中如果出现异常，则将该产生异常的数据直接异步持久化到例如分布式Mysql集群中，并将其数据状态置为“待处理”(如之后所述，这部分数据可交由任务调度框架去处理)。对于上述异常数据(被持久化到Mysql集群中的数据)，可通过任务调度框架((图5中的标记5，对应于图1中的任务调度单元320))通过调度的方式去Mysql集群中轮询出待处理的任务数据，并调用依赖于数据库的系统提供的服务进行相应的业务逻辑处理(该服务和消息队列消费线程提供的服务可以是一致的)。

根据本发明实施例的技术方案，利用了类似漏斗的特性，采用同步快速接收数据，根据依赖于数据库的系统的处理能力异步处理数据的方式对高并行流量进行处理。其中，以同步方式接收端逻辑简单，全部为内存操作，具有很好的并发性能和吞吐量，能够极大地提升系统的并发性和吞吐量。

本发明实施例提供的处理高并发流量的装置可以将不可控的瞬时高并发流量缓冲平滑下来，有效保护依赖于数据库的系统，提升系统的并发性、吞吐量和稳定性。

数据缓冲池的容量可通过消息队列和分布式Mysql集群来保证，二者均可做到按需线性的水平扩容。

根据本发明实施例的上述依赖于数据库的系统可以是OLTP类业务系统。这类系统往往业务逻辑复杂，而且大多业务均需要同步操作数据库，其并发性能和吞吐量受制于数据库。本发明实施例提供的方案采用异步方式调用依赖于数据库的系统的服务，这样就排除了依赖于数据库的系统直接面对高并发流量的风险。

此外，消息队列的消费线程可以动态调整线程数量，根据调整线程数量来控制消费的速度，这样的好处是可以根据依赖于数据库的系统的负荷能力进行下传流量控制，从而有效保护下游系统，提升系统的稳定性和高可用性。该功能相当于一个流控阀门。可提供了统一的Web页面来操作用于控制线程数量的开关/阀门。该Web页面可采用本领域常用或公知的方式提供，本发明对此不作限制。通过该流控阀门的使用，可根据依赖于数据库的系统的吞吐能力控制向该系统传输的数据量，可以有效地保护下游系统的稳定性。

在一些示例中，还可以提供消息模式和调度模式之间的切换开关，一旦消息队列宕机，可以通过该切换开关从消息模式动态切换到调度模式，以调度的方式消费同步端100发送的通过合法性校验的数据。这里所说的消息模式是本文上述的利用消息队列存储器210缓冲数据并由消费单元310进行消费的模式，而调度模式指的是不经过消息队列存储器210而由消费单元310通过调度的方式直接消费数据的模式。

本发明实施例提供的技术方案通过在依赖于数据库的系统之上增加一层缓冲防护层，对依赖于数据库的系统进行有效保护。例如，如果有一个依赖于数据库的系统直接对外提供服务，由于直接对外部提供服务，并发量和流量都是不可控的，往往在某些时间段(例如对于电子商务系统而言，在诸如双11之类的时间段期间)会受到瞬时流量(瞬时的高并发大流量)的冲击。在这种场景下特别适合使用根据本发明实施例的技术方案来缓冲平滑掉瞬时流量，有效保护好位于其后的依赖于数据库的系统。根据本发明实施例的技术方案还可适用于另一种场景：系统内部分为上下游两个子系统，上游子系统要调用下游子系统提供的服务，同时两个子系统的并发性能和吞吐量差异较大。在这种场景下也可以使用根据本发明实施例的技术方案来适配两个系统的性能差异，有效保护并发性能相对较差的子系统。从而提升该子系统或甚至整个系统的稳定性和可用性。

此外，需要注意的是，本发明实施例所记载的技术方案在不冲突的情况下可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (16)

1.一种用于处理高并发流量的方法，包括：

以同步方式接收来自上游系统的高并发流量；

对接收到的高并发流量进行缓冲；以及

以受控的方式向依赖于数据库的系统异步转发所缓冲的高并发流量。

2.根据权利要求1所述的方法，还包括：

对以同步方式接收的高并发流量进行合法性校验。

3.根据权利要求2所述的方法，还包括：

将合法性校验通过的数据存放消息队列中；以及

将合法性校验未通过的数据分布式地存放分布式存储器中。

4.根据权利要求1至3中任一项所述的方法，其中，以同步方式接收来自上游系统的高并发流量包括：接收由所述上游系统通过调用服务的方式发送的高并发流量，其中，所述上游系统调用的服务的内部逻辑是内存操作。

5.根据权利要求3所述的方法，其中，所述消息队列和所述分布式存储器支持水平扩容。

6.根据权利要求5所述的方法，还包括：

对所述消息队列中的数据进行消费，并调用依赖于数据库的系统的服务进行相应业务逻辑处理；以及

如在消费过程中出现异常，将所消费的数据发送并存储到所述分布式存储器。

7.根据权利要求6所述的方法，还包括：

通过调度的方式轮询出所述分布式存储器中存储的数据，并调用依赖于数据库的系统的服务进行相应业务逻辑处理。

8.根据权利要求6-7中任一项所述的方法，还包括：

根据依赖于数据库的系统的负荷能力，动态调整所述消息队列的消费线程的数量。

9.一种用于处理高并发流量的装置，包括：

同步端，用于以同步方式接收来自上游系统的高并发流量；

流量缓冲模块，用于对接收到的高并发流量进行缓冲；以及

异步端，用于以受控的方式向依赖于数据库的系统异步转发所缓冲的高并发流量。

10.根据权利要求9所述的装置，其中，所述同步端包括：

接收单元，用于以同步方式接收来自上游系统的高并发流量；以及

校验单元，用于对以同步方式接收的高并发流量进行合法性校验。

11.根据权利要求9所述的装置，其中，所述接收单元接收由所述上游系统通过调用服务的方式发送的高并发流量，其中，所述上游系统调用的服务内部逻辑是内存操作。

12.根据权利要求10所述的装置，其中，所述流量缓冲模块包括：

消息队列存储器，用于在其消息队列中存放合法性校验通过的数据；以及

分布式存储器，用于分布式地存放合法性校验未通过的数据。

13.根据权利要求12所述的装置，其中，所述消息队列和所述分布式存储器支持水平扩容。

14.根据权利要求13所述的装置，其中，所述异步端包括：

消费单元，用于对所述消息队列存储器中存放的数据进行消费，并调用依赖于数据库的系统的服务进行相应业务逻辑处理，以及如在消费过程中出现异常，将所消费的数据发送到所述分布式存储器。

15.根据权利要求14所述的装置，其中，所述异步端还包括：

任务调度单元，用于通过调度的方式轮询出所述分布式存储器中存放的数据，并调用依赖于数据库的系统的服务进行相应业务逻辑处理。

16.根据权利要求14-15中任一项所述的方法，其中，所述异步端还用于：

根据依赖于数据库的系统的负荷能力，动态调整所述消息队列的消费线程的数量。