CN115208834A - 一种基于数据库存储过程设计的服务流量限制方法 - Google Patents

Abstract

本发明公开了一种基于数据库存储过程设计的服务流量限制方法，属于银行核心技术领域，解决防止因流量暴增而导致的系统运行缓慢或宕机。主要方案包括，应用端进行报文转换，并通过消息中间件发送给核心数据库端，接口调度存储过程先从接口限流参数配置表中获取对应服务码的限流配置，获取令牌，返回的令牌数大于0，再根据接口调用的接口服务码，判断调用的存储过程，即接口的业务逻辑实现是通过数据库存储过程实现，根据服务码匹配出需要调用的存储过程，按调用顺序依次执行，执行结束之后调用限流事务的回收令牌功能函数，回收令牌，并按正常业务处理逻辑处理完成后返回执行结果；否则结束。

Description

一种基于数据库存储过程设计的服务流量限制方法

技术领域

一种基于数据库存储过程设计的服务流量限制方法，用于流量限制，属于银行核心技术领域的流量控制领域，保障互联网时代由于流量高峰系统的高可用和稳定性。

背景技术

随着移动互联网的发展，现在很多应用服务器都面临着高并发的难题，而且互联网时代随时都面临着浪涌问题，例如抢购，一旦短时间的流量高峰超过应用服务器的系统负载，可能导致系统的不可用或崩溃。为了解决高并发带来的不稳定性问题，流量控制概念被提了出来，且一般在系统架构设计时，往往会在应用服务系统前增加一个服务网关，用于专门做接服务转发和流量控制。但传统的单体应用架构改造难度较大，特别是基于数据库存储过程开发的接口服务，扩展能力有限，如果某个接口服务发生异常耗时较长或者短时间的高并发交易流量，导致应用系统的数据库连接池占满，即会导致应用系统不可用或处理缓慢，最终对业务产生较大影响。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于数据库存储过设计的服务流量限制方法，解决互联网流量高峰或者接口服务发生异常时，导致接口服务耗时变长，最终占满应用系统的数据库连接池，导致业务系统不可用，无法对外提供服务。

为了达到上述目的，本发明采用如下技术方案：

一种基于数据库存储过程设计的服务流量限制方法，步骤如下：

步骤1：当核心应用接收接口调用请求时，核心应用端进行报文转换为数据库可识别的数据类型，通过消息中间件发送给核心数据库，核心数据库收到请求后，接口调度存储过程根据接口服务码的关键要素message_type和message_code从接口限流参数配置表中获取该接口的限流配置，其中接口限流配置指核心应用对外提供的服务的接口对应的令牌初始化大小；

步骤2：若获取限流配置失败，直接封装特定含义错误码返回，接口调用结束，并登记交易登记簿，即登记每笔交易的请求流水，开始和结束时间，交易状态，错误码，错误描述，令牌等信息；

步骤3：若获取限流配置成功，调用获取令牌功能方法，根据此方法的返回值判断是否获取令牌成功，若返回值大于0，表示获取令牌成功，执行步骤4；否则，即表示获取令牌失败，封装特定含义错误码返回，接口调用结束，并登记交易登记簿，即登记每笔交易的请求流水，开始和结束时间，交易状态，错误码，错误描述，令牌信息；

步骤4：根据服务码匹配该接口调用的存储过程，即此接口的业务逻辑实现通过数据库存储过程完成，按调用顺序依次执行各存储过程，执行结束之后调用限流公共包的回收令牌功能方法回收令牌，并返回业务逻辑执行结果，并登记交易登记簿，即登记每笔交易的请求流水，开始和结束时间，交易状态，错误码，错误描述，令牌等信息。

上述技术方案中，所述服务码即唯一标识核心业务系统的服务接口的一种编码，用于从接口限流参数配置表中获取限流参数。

上述技术方案中，所述接口限流参数配置表是根据服务接口的性能压测结果提前在数据库中配置好对应的限流参数，即接口服务的令牌数，其中，配置表包括接口服务码和该服务码对应的令牌初始值。

上述技术方案中，所述的存储过程是由一组为了完成特定功能的过程化SQL语句集定义，包是一组相关的存储过程、函数及其使用的游标，变量等构成的程序单元。

上述技术方案中，所述接口调用请求为数据库端一个一个存储过程片段组成，并按照实现该接口定义的片段调用顺序依次按顺序调用。

上述技术方案中，所述接口调度存储过程，即按照核心应用对外提供的服务接口码定义的一组可执行存储过程集合，按照定义好的调用顺序依次执行各存储过程。

上述技术方案中，所述步骤3中获取令牌功能方法的实现步骤如下：

步骤3.1：根据服务码获取对应服务码的当前令牌数CURR_NUM，并针对此服务码增加数据库行锁；

步骤3.2：若CURR_NUM-1大于等于0，则设置CURR_NUM＝CURR_NUM-1，即表示获取令牌成功，并返回当前时间毫秒数，一个正整形数，作为令牌的唯一标识，再执行步骤3.3；否则，表示令牌获取失败，执行步骤3.3；

步骤3.3：独立事务提交，释放数据库行锁。

上述技术方案中，所述步骤4中回收令牌功能方法的实现步骤如下：

步骤4.1：获取INIT_NUM初始化令牌数和CURR_NUM当前令牌数，调用参数n，n表示入参令牌，若n小于0，则直接结束，即回收令牌功能方法执行结束，否则执行步骤4.2；

步骤4.2：根据服务码获取对应服务码的当前令牌数CURR_NUM，并针对此服务码增加数据库行锁：

步骤4.3：如果CURR_NUM+1小于或者等于INIT_NUM，则设置CURR_NUM＝CURR_NUM+1，继续执行步骤4.5；

步骤4.4：如果CURR_NUM+1大于INIT_NUM，则设置CURR_NUM＝INIT_NUM，继续执行步骤4.5；

步骤4.5：独立事务提交，释放数据库行锁，令牌回收成功。

一种基于数据库存储过程设计的服务流量限制方法，包括用于设置核心业务系统的接口服务码和令牌数的接口限流参数配置表，根据接口服务码获取对应的限流参数，调用限流公共包的获取令牌方法申请准入令牌，接口业务逻辑执行完成后，调用限流公共包的释放令牌方法释放令牌，上述两种方法均采用数据库独立事务方式执行。

本发明同现有技术相比，其有益效果表现在：

一、本发明通过采用数字令牌的思想，对应用系统自身的服务请求设置对应的令牌数，当服务请求调用量激增或自身接口服务发生异常时，能够平稳的进行服务调用处理，能有效防止因不可预知的流量高峰导致的应用堵塞问题；

二、本发明针对应用系统的接口服务进行定制化配置，如某个接口服务A配置的令牌数为20，平均响应时间为200毫秒，则系统每秒的吞吐量为100，若该接口发生异常耗时增加，平均耗时2秒，则系统每秒吞吐量为10，则系统吞吐量与接口服务的执行效率成比例，如接口的执行效率高，系统吞吐量大，若接口服务耗时变长，则系统吞吐量则降低，根据接口服务的耗时情况动态变化，当超过该服务接口的系统吞吐量时，超出部分会被限流拒绝，从而防止因为高并发流量下，系统发生拥堵崩溃。

三、本发明通过接口服务码设置固定的令牌容量，可针对每个接口服务进行令牌设置，配置灵活，且令牌配置立即生效，在应用服务突然面临较大交易流量或者部分常用接口发生异常时，能够保证系统的高可用和稳定对外提供服务。

附图说明

图1为本发明的流程示意图；

图2为本发明中获取令牌功能方法的实现流程图；

图3为本发明中回收令牌功能方法的实现流程图；

图4为本应用接口服务调用实现流程图；

图5为本应用示例图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

而基于回收令牌的服务流量限制方式，不会因某接口的性能低下，导致整个服务器的雪崩。该方式通过给具体的接口设定固定的令牌数，在服务请求处理前先申请令牌，在获取令牌后才进行下一步业务逻辑处理，等处理完之后归还领令牌。由于令牌数是固定的，所以服务请求调用的处理数量跟接口的处理效率相关。接口处理的越快，则服务请求调用的处理的越多越快，反之，处理的越少越慢。通过这种方式，可以避免因为某个接口的性能问题导致整个服务器的雪崩。

系统(即指应用服务器)在处理业务逻辑之前必须申请令牌(可以申请多个)，如果申请失败则服务直接返回或者拒绝处理。如果令牌申请成功，则令牌桶的数量会相应减少，系统继续处理业务逻辑，等业务逻辑处理完成之后返还令牌，最后返回业务逻辑处理结果。

在互联网行业应用服务器的流量控制、金融行业应用服务器的流量控制、互联网网关系统的服务流量控制和软件系统网关流量控制等领域中，具体实现步骤如下：

一种基于数据库存储过程设计的服务流量限制方法，步骤如下：

步骤1：当核心应用接收接口调用请求时，核心应用端进行报文转换为数据库可识别的数据类型，通过消息中间件发送给核心数据库，核心数据库收到请求后，接口调度存储过程根据接口服务码的关键要素message_type和message_code从接口限流参数配置表中获取该接口的限流配置，其中接口限流配置指核心应用对外提供的服务的接口对应的令牌初始化大小；

步骤2：若获取限流配置失败，直接封装特定含义错误码返回，接口调用结束，并登记交易登记簿(即登记每笔交易的请求流水，开始和结束时间，交易状态，错误码，错误描述，令牌等信息)；

步骤3：若获取限流配置成功，调用接口限流包中的获取令牌功能方法，根据此方法的返回值判断是否获取令牌成功，若返回值大于0，表示获取令牌成功，执行步骤4；否则，即表示获取令牌失败，封装特定含义错误码返回，接口调用结束，并登记交易登记簿(即登记每笔交易的请求流水，开始和结束时间，交易状态，错误码，错误描述，令牌等信息)；

步骤4：根据服务码匹配该接口调用的存储过程，即此接口的业务逻辑实现通过数据库存储过程完成，按调用顺序依次执行各存储过程，执行结束之后调用限流公共包的回收令牌功能方法回收令牌，并返回业务逻辑执行结果，并登记交易登记簿((即登记每笔交易的请求流水，开始和结束时间，交易状态，错误码，错误描述，令牌等信息)。

上述技术方案中，所述服务码即唯一标识核心业务系统的服务接口的一种编码，用于从接口限流参数配置表中获取限流参数。

上述技术方案中，所述接口限流参数配置表是根据服务接口的性能压测结果提前在数据库中配置好对应的限流参数，即接口服务的令牌数，其中，配置表包括接口服务码和该服务码对应的令牌初始值。

上述技术方案中，所述的存储过程是由一组为了完成特定功能的过程化SQL语句集定义。包是一组相关的存储过程、函数及其使用的游标，变量等构成的程序单元。

上述技术方案中，所述接口调用请求为数据库端一个一个存储过程片段组成，并按照实现该接口定义的片段调用顺序依次按顺序调用。

上述技术方案中，所述接口调度存储过程，即按照核心应用对外提供的服务接口码定义的一组可执行存储过程集合，按照定义好的调用顺序依次执行各存储过程。

上述技术方案中，所述步骤3中获取令牌功能方法的实现步骤如下：

步骤3.1：根据服务码获取对应服务码的当前令牌数CURR_NUM，并针对此服务码增加数据库行锁；

步骤3.2：若CURR_NUM-1大于等于0，则设置CURR_NUM＝CURR_NUM-1，即表示获取令牌成功，并返回当前时间毫秒数，一个正整形数，作为令牌的唯一标识，再执行步骤3.3；否则，表示令牌获取失败，执行步骤3.3；

步骤3.3：独立事务提交，释放数据库行锁。

上述技术方案中，所述步骤4中回收令牌功能方法的实现步骤如下：

步骤4.1：获取INIT_NUM初始化令牌数和CURR_NUM当前令牌数，调用参数n，n表示入参令牌，若n小于0，则直接结束，即回收令牌功能方法执行结束，否则执行步骤4.2；

步骤4.2：根据服务码获取对应服务码的当前令牌数CURR_NUM，并针对此服务码增加数据库行锁；

步骤4.3：如果CURR_NUM+1小于或者等于INIT_NUM，则设置CURR_NUM＝CURR_NUM+1，继续执行步骤4.5；

步骤4.4：如果CURR_NUM+1大于INIT_NUM，则设置CURR_NUM＝INIT_NUM，继续执行步骤4.5；

步骤4.5：独立事务提交，释放数据库行锁，令牌回收成功。

一种基于数据库存储过程设计的服务流量限制方法，包括用于设置核心业务系统的接口服务码和令牌数的接口限流参数配置表，根据接口服务码获取对应的限流参数，调用限流公共包的获取令牌方法申请准入令牌，接口业务逻辑执行完成后，调用限流公共包的释放令牌方法释放令牌，上述两种方法均采用数据库独立事务方式执行。

实施例

银行核心业务系统作为一个基础类重要后端系统，面向渠道提供的服务包括存款、贷款、结算、帐务、客户、账户管理等功能，所有线上线下的业务开展，都离不开核心业务系统的支撑，核心银行业务系统提供24小时不间断服务，一旦统出现问题，全行的存款、贷款、支付业务都将受到影响，对内，系统间对账困难时效性不高，对外，将产生较大的社会影响，客户体验差，银行声誉受损。

造成核心业务系统出问题的一个重要的因素就是针对本身不具备架构优势的单体应用，且核心业务处理逻辑都存在于数据库当中，升级扩展较为困难，当前端流量突然激增的情况下，会造成核心业务系统的系统压力较大，且达到一定系统负载后，核心业务系统因无法支撑导致系统不可用。举例来说，假设核心业务系统有5台应用，每台应用服务器配置的jdbc连接池为200，其中核心业务系统的常用接口服务A，在正常情况下的平均响应时间是200毫秒，则对于接口服务A，5台应用服务器在一秒钟内能处理5x200x(1000/200)＝1000笔请求服务。如果接口服务A出现问题，其响应时间变成了5秒，则整体核心业务系统针对服务接口A，其1秒钟的吞吐量也不过是5x200x(1000/5000)＝200。然而，前端系统不会因为核心业务系统的问题就停止接收其他服务请求调用，当核心业务系统接收的服务接口A的服务流量超过可承载的服务流量后，会导致整个核心业务系统没有充足的JDBC连接池资源或者JDBC连接释放的比较慢，对外的表现就是前端所有的请求都得不到响应，或者响应很慢。

如果在同样条件下，针对服务接口A进行服务流量限制，为保证在平均响应时间为200毫秒的条件下能够达到每秒1000吞吐量，则给每台应用每个接口服务配置40个令牌。按照本方法，令牌在核心业务系统接收到前端请求调用时申请，在接口服务业务逻辑执行结束后回收(每个令牌的使用时间是200毫秒)，则每台应用的40个令牌在一秒钟内能重复使用40x(1000/200)＝200次。5应用服务器200个令牌能重复使用5x40x(1000/200)＝1000次，刚好吻合每秒钟1000吞吐量。如果假设服务接口A出现异常，该接口耗时从200毫秒变成了5秒，即令牌的使用时间从200毫秒变成了5秒，则核心业务系统的200个令牌在5秒钟内的只能重复使用200x(1000/5000)＝40次。也就说，在核心业务系统服务接口A出现异常的时间段内，无论核心业务系统接收到多少请求调用，只能按照平均1秒钟40个的数量完成服务接口A的请求服务，避免了因某个服务接口A发生异常导致整个核心业务系统不可用。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (9)

1.一种基于数据库存储过程设计的服务流量限制方法，其特征在于：步骤如下：

步骤1：当核心应用接收接口调用请求时，核心应用端进行报文转换为数据库可识别的数据类型，通过消息中间件发送给核心数据库，核心数据库收到请求后，接口调度存储过程根据接口服务码的关键要素message_type和message_code从接口限流参数配置表中获取该接口的限流配置，其中接口限流配置指核心应用对外提供的服务的接口对应的令牌初始化大小；

步骤2：若获取限流配置失败，直接封装特定含义错误码返回，接口调用结束，并登记交易登记簿；

步骤3：若获取限流配置成功，调用获取令牌功能方法，根据此方法的返回值判断是否获取令牌成功，若返回值大于0，表示获取令牌成功，执行步骤4；否则，即表示获取令牌失败，封装特定含义错误码返回，接口调用结束，并登记交易登记簿，即登记每笔交易的请求流水，开始和结束时间，交易状态，错误码，错误描述，令牌信息；

步骤4：根据服务码匹配该接口调用的存储过程，即此接口的业务逻辑实现通过数据库存储过程完成，按调用顺序依次执行各存储过程，执行结束之后调用限流公共包的回收令牌功能方法回收令牌，并返回业务逻辑执行结果，并登记交易登记簿。

2.根据权利要求1所述的一种基于数据库存储过程设计的服务流量限制方法，其特征在于：所述服务码即唯一标识核心业务系统的服务接口的一种编码，用于从接口限流参数配置表中获取限流参数。

3.根据权利要求2所述的一种基于数据库存储过程设计的服务流量限制方法，其特征在于：所述接口限流参数配置表是根据服务接口的性能压测结果提前在数据库中配置好对应的限流参数，即接口服务的令牌数，其中，配置表包括接口服务码和该服务码对应的令牌初始值。

4.根据权利要求3所述的一种基于数据库存储过程设计的服务流量限制方法，其特征在于：所述的存储过程是由一组为了完成特定功能的过程化SQL语句集定义。

5.根据权利要求4所述的一种基于数据库存储过程设计的服务流量限制方法，其特征在于：所述接口调用请求为数据库端一个一个存储过程片段组成，并按照实现该接口定义的片段调用顺序依次按顺序调用。

6.根据权利要求5所述的一种基于数据库存储过程设计的服务流量限制方法，其特征在于：所述接口调度存储过程，即按照核心应用对外提供的服务接口码定义的一组可执行存储过程集合，按照定义好的调用顺序依次执行各存储过程。

7.根据权利要求6所述的一种基于数据库存储过程设计的服务流量限制方法，其特征在于：所述步骤3中获取令牌功能方法的实现步骤如下：

步骤3.1：根据服务码获取对应服务码的当前令牌数CURR_NUM，并针对此服务码增加数据库行锁；

步骤3.2：若CURR_NUM-1大于等于0，则设置CURR_NUM＝CURR_NUM-1，即表示获取令牌成功，并返回当前时间毫秒数，一个正整形数，作为令牌的唯一标识，再执行步骤3.3；否则，表示令牌获取失败，执行步骤3.3；

步骤3.3：独立事务提交，释放数据库行锁。

8.根据权利要求6所述的一种基于数据库存储过程设计的服务流量限制方法，其特征在于：所述步骤4中回收令牌功能方法的实现步骤如下：

步骤4.1：获取INIT_NUM初始化令牌数和CURR_NUM当前令牌数，调用参数n，n表示入参令牌，若n小于0，则直接结束，即回收令牌功能方法执行结束，否则执行步骤4.2；

步骤4.2：根据服务码获取对应服务码的当前令牌数CURR_NUM，并针对此服务码增加数据库行锁；

步骤4.3：如果CURR_NUM+1小于或者等于INIT_NUM，则设置CURR_NUM＝CURR_NUM+1，继续执行步骤4.5；

步骤4.4：如果CURR_NUM+1大于INIT_NUM，则设置CURR_NUM＝INIT_NUM，继续执行步骤4.5；

步骤4.5：独立事务提交，释放数据库行锁，令牌回收成功。

9.一种基于数据库存储过程设计的服务流量限制方法，其特征在于：包括用于设置核心业务系统的接口服务码和令牌数的接口限流参数配置表，根据接口服务码获取对应的限流参数，调用限流公共包的获取令牌方法申请准入令牌，接口业务逻辑执行完成后，调用限流公共包的释放令牌方法释放令牌，上述两种方法均采用数据库独立事务方式执行。

Images