CN110012098A

CN110012098A - 一种web高并发访问处理系统及方法

Info

Publication number: CN110012098A
Application number: CN201910269953.0A
Authority: CN
Inventors: 彭宏; 何仕杰; 孟利民; 吴涛
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2019-04-04
Filing date: 2019-04-04
Publication date: 2019-07-12

Abstract

一种web高并发访问处理系统，包括数据库服务器，Nginx前端服务器与web服务器集群；所述数据库服务器包括主从分布式数据库模块与数据库缓存模块；所述主从分布式数据库模块中，主服务器负责网站的NonQuery操作，从服务器负责Query操作，主从服务器利用MySQL的二进制日志文件，实现数据同步；所述的数据库缓存模块中，由Redis作为MySQL数据库的缓存，将用户常用查询内容存放入Redis缓存中，并集中管理用户session。以及提供一种web高并发访问处理方法。本发明提高系统处理高并发事件的能力，以应对用户高并发访问对服务器造成的如滞缓、宕机等严重问题，减少服务器压力。

Description

一种web高并发访问处理系统及方法

技术领域

本发明涉及互联网技术领域，特别是涉及一种web高并发访问处理系统及方法。

背景技术

近十年来，互联网上网人数一直保持着指数增长的趋势，年中国互联网络信息中心(CNNIC)发布《第次中国互联网络发展状况统计报告》，报告显示，截至年月底，我国网民数量达到亿，首次超过美国跃居世界第一位，并且中国网民规模继续呈现持续高速发展的趋势，网民数量的增加给未来Web系统设计和运行带来巨大的挑战。

大数据时代的来临，基于MapReduce的云计算无疑是一种比较好的解决方案，阿里巴巴Ocean Base数据库能够对每天6000万用户登录以及20亿PV量应对自如。但针对普通企业级用户搭建云平台有着费用大、维护难、建设周期长及技术壁垒等诸多问题。

发明内容

为了解决以上问题，本发明提供了一种web高并发访问处理系统及方法，从数据库，缓存，负载均衡入手，将用户请求精准有效的分发到各个服务器中，从而提高系统处理高并发事件的能力，以应对用户高并发访问对服务器造成的如滞缓、宕机等严重问题，减少服务器压力。

本发明的目的可以通过以下技术方案实现：

一种web高并发访问处理系统，所述高并发访问系统包括数据库服务器，Nginx前端服务器与web服务器集群；

所述数据库服务器包括主从分布式数据库模块与数据库缓存模块；

所述主从分布式数据库模块中，主服务器负责网站的NonQuery 操作，从服务器负责Query操作，主从服务器利用MySQL的二进制日志文件，实现数据同步；

所述的数据库缓存模块中，由Redis作为MySQL数据库的缓存，将用户常用查询内容存放入Redis缓存中，并集中管理用户session；

用户通过正向代理提交请求需要处理时，由所述Nginx前端服务器进行处理，首先查询Redis缓存中的内容，若无查询结果，则于数据库模块中查询，将获得的静态资源返回客户端；

对于用户的动态请求需要处理时，由所述的Nginx前端服务器进行反向代理，通过一种负载均衡算法，动态的调整Nginx服务器的 upstream列表，将用户请求分配到所述的多个web服务器中；

所述的多个web服务器，通过配置不同的端口实现web服务器集群。

进一步，所述负载均衡算法是一种基于Nginx加权轮询负载均衡算法的动态加权轮询算法，所述动态负载均衡算法是在原有的Nginx 静态加权轮询算法的基础上，将静态轮询算法的权值作为新算法的默认权值，即服务器的初始权值，加入服务器负载权值与响应时间差权值；

假设W_i为某后端服务器的当前权值，W_id表示服务器默认权值，则服务器集群权值为W＝[W₁，W₂，...，W_n]，用W_il表示第i台服务器的负载权值，W_it表示第i台服务器的时间差权值，由于W_il和W_it与服务器处理能力成反比，将两个值结合即可得到：W_i＝W_id-W_il-W_it， W_i越大，被分配概率越大。

更进一步，所述服务器负载权值反应了当前服务器的负载能力，所述的响应时间差权值，即上两次请求时间的差值，乘以初始权值W_id得到，反应了服务器对请求的实时响应情况；过程如下：

服务器负载量W_is是由第i台服务器的CPU使用率Lc与第i台服务器的内存使用率Lm计算所得，公式如下：

W_is＝k₁×Lc+k₂×Lm其中k₁+k₂＝1

C_i为第i台服务器的处理能力，假设P为第i台服务器CPU的个数，M为第i台服务器内存的大小，公式如下：

C_i＝k₁×P+k₂×M其中k₁+k₂＝1

那么，第i台服务器的负载权值为：

W_il＝W_is/C_i×W_id

假设T_{_i2}为前前一次的响应时间，T_{_i1}为前一次的响应时间，则：

W_it＝k×(T_{_i1}-T_{_i2})×W_id

进一步的，如果服务器长时间未分配，则有：

上式即为改进的Nginx动态加权负载均衡算法的公式；

所述的动态负载均衡，使用Consul实现对动态负载均衡注册与发现功能，使用Upsync实现Nginx服务器动态获取最新upstream列表，每次修改完Nginx配置信息后，Nginx实时读取配置信息；

所述Consul使用Raft算法实现集群数据一致性；

所述的Upsync是新浪微博开源的基于Nginx实现动态配置的第三方模块；

Nginx-Upsync-Module的功能是拉取Consul的后端server列表，并动态更新Nginx的路由信息。

一种web高并发访问处理方法，包括以下步骤：

S1、用户通过正向代理提交请求需要处理时，由所述Nginx前端服务器进行处理，在查询数据库缓存模块的数据后，将获得的静态资源返回客户端；

S2、对于用户的动态请求需要处理时，由所述的Nginx前端服务器进行反向代理，通过一种负载均衡算法，动态的调整Nginx服务器的upstream列表，将用户请求分配到所述的web服务器集群中；

S3、web服务器集群通过与数据库模块交互获取信息，并通过数据库缓存模块共享session。

本发明的有益效果：

(1)数据库的主从式分布大大提高了数据库的处理能力，加入了 Redis数据库缓存，减少用户与数据库的交互，并能够管理用户session 信息，实现服务器session共享。

(2)新的加权轮询算法加入了负载权值与时间差权值，在应对高并发请求时，能够更好的反应服务器的实时性能情况，减轻繁忙服务器的压力。

(3)加入了Nginx动态读取upstream列表机制，在服务器权值改变后，使得Nginx可以实时更新动态的upstream列表，而不需要经过重启来读取配置。

附图说明

图1是由本发明的数据库服务器、Nginx前端服务器以及多个web 服务器组成的系统框架图。

图2是Nginx负载均衡算法流程图。

图3是Nginx间隔时间动态获取配置信息示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种web高并发访问处理系统，包括Nginx前端服务器110，web服务器集群120和数据库服务器130，所述数据库服务器包括主从分布式数据库模块与数据库缓存模块；

一种所述web高并发访问处理系统实现的web高并发访问处理方法，步骤如下：

S1：用户通过正向代理提交请求需要处理时，由Nginx前端服务器110进行处理，首先查询Redis缓存131中的内容，若无查询结果，则于数据库模块132中查询，将获得的静态资源返回客户端，所述的静态资源主要包括文字、图片等信息；

S2：对于用户的动态请求需要处理时，由所述的Nginx前端服务器110进行反向代理，通过一种负载均衡算法，动态的调整Nginx服务器的upstream列表，将用户请求分配到所述的web服务器集群120 中；

S3：web服务器集群120接收到用户请求后，由Redis数据库缓存131管理用户session，实现session共享，并在数据库服务器130 中查询用户所需数据，返还给客户端。

所述步骤S2中，所述的负载均衡算法流程图如图2所示，此负载均衡算法是一种基于Nginx加权轮询负载均衡算法的动态加权轮询算法。新的动态负载均衡算法是在原有的Nginx静态加权轮询算法的基础上，将静态轮询算法的权值作为新算法的默认权值，即服务器的初始权值，加入服务器负载权值与响应时间差权值；

假设W_i为某后端服务器的当前权值，W_id表示服务器默认权值，则服务器集群权值为W＝[W₁，W₂，...，W_n]，用W_il表示第i台服务器的负载权值，W_it表示第i台服务器的时间差权值，由于W_il和W_it与服务器处理能力成反比，将两个值结合即可得到：W_i＝W_id-W_il-W_it， W_i越大，被分配概率越大；

负载权值由服务器实时参数的性能值，通过加权平均后，乘以初始权值W_id得到，反应了服务器的实时负载性能；

响应时间差权值，是由上两次请求时间的差值，乘以初始权值W_id得到，反应了服务器对请求的实时响应情况；

算法的具体实施步骤为：

(1)初始化Nginx服务器，并初始化各服务器的初始权值，写入配置信息中；

(2)当服务器接收到客户端的请求建立连接后，如果接收到信息，则判断是否负载均衡，若无连接，则设置标志位，服务器宕机；

(3)根据各服务器权值判断是否负载均衡，若不均衡，对服务器负载权值参数进行修改，最后将请求分发给服务器集群。

如图3所示，Nginx服务器在获取实时的upstream配置列表时，为了解决Nginx重启读取配置的问题，避免Nginx服务器重启，使用Consul实现对动态负载均衡注册与发现功能，使用Upsync实现Nginx 服务器动态获取最新upstream列表，每次修改完Nginx配置信息后， Nginx实时读取配置信息；

图中，ConsulServer专门注册负载均衡配置信息，由ConsulWeb 可视化管理，Nginx服务器间隔时间通过upsync读取ConsulServer中的配置信息，从而使得Nginx可以实时更新动态的upstream列表，而不需要经过重启来读取配置。

Claims

1.一种web高并发访问处理系统，其特征在于：所述高并发访问系统主要包括数据库服务器，Nginx前端服务器与web服务器集群；

所述主从分布式数据库模块中，主服务器负责网站的NonQuery操作，从服务器负责Query操作，主从服务器利用MySQL的二进制日志文件，实现数据同步；

对于用户的动态请求需要处理时，由所述的Nginx前端服务器进行反向代理，通过一种负载均衡算法，动态的调整Nginx服务器的upstream列表，将用户请求分配到所述的多个web服务器中；

2.如权利要求1所述的一种web高并发访问处理系统，其特征在于：所述负载均衡算法是一种基于Nginx加权轮询负载均衡算法的动态加权轮询算法。所述动态负载均衡算法是在原有的Nginx静态加权轮询算法的基础上，将静态轮询算法的权值作为新算法的默认权值，即服务器的初始权值，并加入服务器负载权值与响应时间差权值。

3.如权利要求2所述的一种web高并发访问处理系统，其特征在于：根据服务器状况设置初始权值后，加入了各服务器负载权值与服务器响应时间差权值，将三个参数耦合后，得到服务器的实时状况权值，根据此权值的大小，可以实时的反应服务器状态，根据服务器状态分发用户请求；

假设W_i为某后端服务器的当前权值，W_id表示服务器默认权值，则服务器集群权值为W＝[W₁，W₂，...，W_n]，用W_il表示第i台服务器的负载权值，W_it表示第i台服务器的时间差权值，由于W_il和W_it与服务器处理能力成反比，将两个值结合即可得到：W_i＝W_id-W_il-W_it，W_i越大，被分配概率越大。

4.如权利要求2或3所述的一种web高并发访问处理系统，其特征在于：所述的负载权值为服务器CPU与内存加权得到，所述的响应时间差权值，是由上两次请求时间的差值，乘以初始权值W_id得到，反应了服务器对请求的实时响应情况；过程如下：

W_is＝k₁×Lc+k₂×Lm其中k₁+k₂＝1

C_i＝k₁×P+k₂×M其中k₁+k₂＝1

那么，第i台服务器的负载权值为：

W_il＝W_is/C_i×W_id

假设T_-i2为前前一次的响应时间，T_-i1为前一次的响应时间，则：

W_it＝k×(T_-i1-T_-i2)×W_id

进一步的，如果服务器长时间未分配，则有：

5.如权利要求1～3之一所述的一种web高并发访问处理系统，其特征在于：所述的动态负载均衡，使用Consul实现对动态负载均衡注册与发现功能，使用Upsync实现Nginx服务器动态获取最新upstream列表，每次修改完Nginx配置信息后，Nginx实时读取配置信息。

6.如权利要求5所述的一种web高并发访问处理系统，其特征在于：所述的Upsync是新浪微博开源的基于Nginx实现动态配置的第三方模块；Nginx-Upsync-Module的功能是拉取Consul的后端server列表，并动态更新Nginx的路由信息。

7.一种如权利要求1所述的web高并发访问处理系统实现的方法，其特征在于，所述方法包括以下步骤：

8.如权利要求7所述的方法，其特征在于，所述步骤S2中，负载均衡算法是一种基于Nginx加权轮询负载均衡算法的动态加权轮询算法，所述动态负载均衡算法是在原有的Nginx静态加权轮询算法的基础上，将静态轮询算法的权值作为新算法的默认权值，即服务器的初始权值，加入服务器负载权值与响应时间差权值。