CN106210019A - 一种大型高并发web应用系统 - Google Patents

Abstract

一种大型高并发WEB应用系统，包括数据应用层、WEB应用层、缓存加速层、负载均衡层、面向用户层；数据应用层包括主从分布式数据库模块和数据库缓存模块；WEB应用层包括动态处理模块和静态处理模块；缓存加速层包括缓存加速模块；负载均衡层包括负载均衡模块；面向用户层包括CDN内容分发模块；WEB服务器处理和数据库数据交换部分都进行了优化，在WEB服务器部分，利用动静分离技术分流到对应的动静服务器，在静态处理过程中利用分布式文件系统可以加快海量文件的访问速度，动态处理中，数据库缓存系统和分布式数据库的结构能够尽可能的降低数据库瓶颈的问题。

Description

一种大型高并发WEB应用系统

技术领域

本发明涉及计算机技术领域，具体的涉及一种大型高并发WEB应用系统。

背景技术

如今互联网所传递的内容发生了巨大的变化，早期互联网以静态、文本的公共信息为主要内容，交互性不强，而目前的互联网则传递着大量的动态信息。同时，随着网络的普及，人们把日常生活搬入网络，网络流量的逐年增多，业务范围也在逐年扩大，互联网中的赶集、疯抢购物现象也越来越频繁。随之而来，高并发，高流量，数据量大的网络新特性正在考验着当前的互联网。

以下为几个典型实例：

2011年11月11日，国内某大型B2C商务平台启动光棍节促销活动，来自官方数据显示，11日零点刚过1分钟内即有342万人进入网站。在活动当日，该网站并未出现任何高并发带来的瓶颈问题，轻松的处理了57000/s的访问连接。

2011年11月1日，另一B2C商务平台的“全场满额立减”活动因其系统却因为访问量过大而出现故障瘫痪半小时，2日官方增加三倍服务器，10时至13时活动再次进入瘫痪状态，从中暴露出其技术上的缺陷。

2012年1月1日，全国火车票网络订票计划启动，但从订票网站正式上线至今，由于50访问量过大，不少旅客在网购车票时，频频遭遇“系统忙”而无法访问。据统计，该网站的日均访问IP为194万，另据推测日访问量高达500多万。即便增加足够的服务器与带宽，但是软件系统架构性能不高，其加速效果并不明显。

为了解决以上缺陷，本发明提供一种大型高并发WEB应用系统，用于提供可靠的高并发网络服务。

发明内容

本发明的目的在于提供一种大型高并发WEB应用系统。

本发明的目的可以通过以下技术方案实现：

一种大型高并发WEB应用系统，其特征在于：包括数据应用层、WEB应用层、缓存加速层、负载均衡层、面向用户层；

所述的数据应用层包括主从分布式数据库模块和数据库缓存模块；

所述的主从分布式数据库系统模块的工作机制为，动态页面服务器对数据库进行写操作时，数据全部写入主数据库，从数据库进行拷贝，同时实现热备功能；

所述的数据库缓存模块模块采用Memcached作为数据库缓存机制；

所述的WEB应用层包括动态处理模块和静态处理模块；

所述的动态处理模块的工作机制为，动态页面服务器加入负载均衡和缓存系统，统一采用cookie方式来处理session，所有服务器在数据库中共享session信息；

所述的静态处理模块的工作机制为，在静态页面服务器中，采用Nginx服务器，进行动静分离，将请求通过负载均衡发送给动态页面服务器，通过FastDFS分布式文件系统和Nginx两者的搭配实现极好的性能；

所述的缓存加速层包括缓存加速模块，采用开源HTTP加速器Varnish；

所述的负载均衡层包括负载均衡模块，采用四层交换的负载均衡器，动静分离放在缓存加速后进行处理；

所述的面向用户层包括CDN内容分发模块，采用CDN内容分发机制，采用公用型的CDN，同时对公用CDN系统容错处理。

本发明的有益效果：

1)利用CDN和内网负载均衡、缓存服务器对请求进行快速响应，对后台请求进行分流，并大大降低了请求对后台服务器的冲击效应；

2)利用动静分离技术，将静态服务器和文件系统组合，快速响应静态事件，动态服务器则与数据库进行数据交换，提高请求响应速度；

3)数据库的KV缓存系统大大加速了数据库数据的读取速度，在主从分布是数据库中，采用负载均衡技术对数据库进行分流处理，加快读取数据的速度。

附图说明

下面结合附图和具体实施例对本发明作进一步详细描述。

图1是本发明的物理分层架构图。

图2是本发明的逻辑结构示意图。

具体实施方式

如图1-2所示，本发明提供一种大型高并发WEB应用系统，包括数据应用层110、WEB应用层120、缓存加速层130、负载均衡层140、面向用户层150；

所述的数据应用层110包括主从分布式数据库模块111和数据库缓存模块112；

所述的主从分布式数据库系统模块111的工作机制为，动态页面服务器对数据库进行写操作时，数据全部写入主数据库，从数据库进行拷贝，同时实现热备功能。而对于网站，动态页面的读操作要远远多于写操作，利用从数据库集群和四层负载均衡技术可以很好的解决读效率慢的问题；

所述的数据库缓存模块112模块采用Memcached作为数据库缓存已，在运行中，动态页面服务器将首先查看Memcached缓存服务器，若未查找到相关数据，再通过主从分布式数据库进行查找，最后把查找到的数据再次写入Memcached中；

所述的WEB应用层120包括动态处理模块121和静态处理模块122；

所述的动态处理模块121的工作机制为，动态页面服务器部署根据不同网站的服务将有不同的选择，传统的WEB服务器集群可以处理HTTP请求调用数据库数据，如apache服务器集群等；而商用类型的应用服务器也可以根据扩展展开更为丰富的业务逻辑，在保持session方面，因为加入负载均衡和缓存系统，Nginx的保持session方式不再使用，设计方案需对后台脚本语言的编写上作要求，统一采用cookie方式来处理session，为防止不能采用cookie方式处理，同时将session信息写进数据库，所有服务器将在数据库中共享session信息；

所述的静态处理模块122的工作机制为在静态页面服务器中，Nginx的性能较其他服务器都要高出一筹，同时，Nginx可以进行动静分离，将请求通过负载均衡发送给动态页面服务器。在静态处理过程中，则选择分布式文件系统来进行文件管理来防止出现类似图片过多或者文本过多导致崩溃的情况。在设计中，采用了FastDFS分布式文件系统，Nginx也为其提供了接口，两者的搭配可以达到很好的性能；

所述的缓存加速层130包括缓存加速模块131，采用了一款高性能的开源HTTP加速器Varnish，Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。Varnish管理端口丰富，可以使用正则表达式快速、批量地清除部分缓存，方便管理；

所述的负载均衡层140包括负载均衡模块141，采用了四层交换的负载均衡器，转发性能出色，动静分离则放在缓存加速后进行处理。因为采用单源站架构，单独的Haproxy或者Nginx性能很可能会成为系统瓶颈，而LVS性能出色，加上Keepalived构成双机热备，LVS宕机后将及时切换至Keepalived上，同时Keepalived还可以配合LVS检测后台缓存服务器的存活情况；

所述的面向用户层150包括CDN内容分发模块151，采用了CDN内容分发机制，采用公用型的CDN来保证通用性，同时对公用CDN系统容错处理，提高静态页面的命中率；

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (1)

1.一种大型高并发WEB应用系统，其特征在于：包括数据应用层、WEB应用层、缓存加速层、负载均衡层、面向用户层；

所述的数据应用层包括主从分布式数据库模块和数据库缓存模块；

所述的主从分布式数据库系统模块的工作机制为，动态页面服务器对数据库进行写操作时，数据全部写入主数据库，从数据库进行拷贝，同时实现热备功能；

所述的数据库缓存模块模块采用Memcached作为数据库缓存机制；

所述的WEB应用层包括动态处理模块和静态处理模块；

所述的动态处理模块的工作机制为，动态页面服务器加入负载均衡和缓存系统，统一采用cookie方式来处理session，所有服务器在数据库中共享session信息；

所述的静态处理模块的工作机制为，在静态页面服务器中，采用Nginx服务器，进行动静分离，将请求通过负载均衡发送给动态页面服务器，通过FastDFS分布式文件系统和Nginx两者的搭配实现极好的性能；

所述的缓存加速层包括缓存加速模块，采用开源HTTP加速器Varnish；

所述的负载均衡层包括负载均衡模块，采用四层交换的负载均衡器，动静分离放在缓存加速后进行处理；

所述的面向用户层包括CDN内容分发模块，采用CDN内容分发机制，采用公用型的CDN，同时对公用CDN系统容错处理。