CN103369601B - 为手机客户端提供大并发处理及流量控制的方法 - Google Patents

Abstract

本发明公开一种为手机客户端提供大并发处理及流量控制的方法，应用于手机客户端和服务器集群之间的交互，该方法包括：步骤1：手机客户端向服务器集群中的接入服务器发送连接请求；DNS调度接入服务器，与接入服务器进行时延探测，当探测到的时延小于策略参数时，客户端与接入服务器采用UDP进行通信，否则使用TCP进行通信；步骤2：接入服务器接收手机客户端的请求，并控制并发请求数量，如果并发请求数量大于预设值时则拒绝连接，否则将请求分发到负载最少的业务处理服务器上；步骤3：业务处理服务器接收接入服务器分发过来的业务请求，将业务请求按照登录、注销、心跳、数据采集、页面请求进行分类，然后根据该业务请求的分类类型进行分别处理。

Description

为手机客户端提供大并发处理及流量控制的方法

技术领域

本发明涉及无线通信系统，具体来说，涉及一种为手机客户端提供大并发处理并有效进行流量控制的方法。

背景技术

移动互联网中，手机客户端（动漫、视频、游戏、音乐、阅读、LBS位置、手机电商）与接入服务器有两种接入方式，分别是短连接（HTTP）接入方式和长连接（TCPSOCKET）接入方式。参照图1，接入服务器需要接收客户端的短连接、长连接的请求，并把接收到的请求消息负载平衡的分发到部署了业务逻辑模块的业务服务器集群进行处理，并对已建立的连接进行管理维护。这一过程中，手机客户端与接入服务器有以下通信接口：1、注册接口，2、登录接口，3、注销接口，4、心跳接口（通过定时发心跳包，保持和服务端的会话连接），5、获取首页数据接口，6、获配置数据接口。

上述过程中，所需要用到的关键技术有大并发量技术、客户端策略管理技术、负载均衡技术和系统横向扩展技术。其中，负载均衡技术：终端接入服务器支持集群，在实际部署中，通过配置接入交换机的端口对各台的接入服务器的短、长连接的端口进行轮询分发，就可以实现负载均衡。对于注册、登录请求消息，接入交换机轮询分发给某台服务器进行处理，该台服务器处理完成后，将响应消息返回给客户端；对于登录响应消息，该台服务器会将本机的IP返回给客户端，并建立SESSION通道，后续客户端与该服务器直接进行交互。系统横向扩展技术：业务服务器集群中，每台服务器都是互相独立的，互不影响，当用户量逐渐增加后，系统容量不足时，系统可以很容易的实现横向扩展加服务器，增加系统容量。

现有技术中的大并发量技术：接入模块同时兼容长连接（TCP/IP）和短连接(http)两种请求方式。接入模块与处理模块在物理上可以分离，单独部署，单独维护。接入模块根据负载均衡原则对收到的请求通过TCP方式向处理模块进行分发。处理模块处理完请求后将应答返回给接入模块，再由接入模块返回给客户端。接入模块使用单进程监听一个端口，采用连接池的方式维护和客户端的连接，使用epoll的IO模型，一个进程可以支持65535个连接。但是该技术具有如下缺点：A1、接入服务器与业务服务器集群之间采用TCP连接，建立TCP连接需要三次握手协议，因此其处理效率不高；A2、客户端的各接口与接入服务器的处理，没有按业务类型（例如，注册、登录、注销、心跳）区分，在并发用户数达到上万级别时，则用户的登录时间将会耗费很久，进而导致用户流失；A3、客户端登录系统后，没有采用策略分流，导致接入服务器与业务服务器集群、内容服务器的负载能力消耗加大，进而导致首页加载缓慢。

现有技术中的客户端策略管理技术：客户端使用的哪个接入点（WAP、NET/WLAN和专用APN）和一些策略参数，采用网络优选策略，自动判断并调整客户端的接入APN，可以通过服务端后台进行配置管理，业务服务器根据策略，调整业务服务和内容服务。当客户端接入到服务器时，将这些策略参数通知业务服务器集群和内容服务器，并同步客户端策略参数。但是该技术具有如下缺点：B1、参数是静态配置，不能根据网络状况动态调整；B2、心跳接口在高峰时期数据量巨大，保持固定的频率（30秒）与服务器进行通讯，服务器压力巨大。

因此，基于上述大并发量技术和客户端策略管理技术，手机客户端与接入服务器之间进行通讯时，使得手机客户端上的业务不够稳定流畅，降低了用户的体验感。

发明内容

因此，针对上述的问题，本发明提出一种为手机客户端提供大并发处理及流量控制的方法，提高服务器的处理速度，使手机客户端上的业务稳定流畅，提高用户的体验感，以解决现有技术之不足。

为了解决上述技术问题，本发明所采用的思路是，首先，通过DNS调度接入服务器，与接入服务器进行时延探测，当时延小于150ms时，客户端与接入服务器采用UDP进行通信，使业务数据分发及异步的业务处理达到更大的处理量，使其业务处理能力提升35%以上。其次，通过多策略参数控制，实现接入服务器与业务服务器、内容服务器之间进行策略调整，并同步客户端的策略参数，进行不同的心跳机制，使服务器负载实现更大的吞吐，保证业务稳定流畅。再次，通过多策略参数控制，根据不同的接入APN，进行业务服务器与内容服务器的策略调整，例如调整不同的视频码率、音乐码率、图片适配大小、文字容量大小、客户端预缓存处理机制等。

处理模块由于需要处理业务请求，耗时相对长，根据实际的资源消耗情况（CPU，内存，带宽）来进行必要的扩容。

接入模块通过UDP方式透传Client（即手机客户端）的请求给处理模块（UDP速度优于TCP，UDP方式下，接入模块分发请求与应答可以异步进行，效率会高很多）。其中，接入模块分发请求与应答异步进行，是指接入不用等待处理结果出来后在返回给客户端，直接处理下一个数据。处理结果由业务处理模块处理后返回。在局域网内，物理机器之间UDP通信的丢包率是小于0.01%。

HTTP异步处理就是当前的线程会得到一个异步处理上下文对象，之后当前的线程就可以不生成HTTP响应而直接退出去处理其它的HTTP请求，其它线程可以在之后通过异步处理上下文来生成和发送那个HTTP响应。可见所谓的异步HTTP其实只是一种可以让当前的处理线程在不生成响应前就离开，而在之后再处理这个HTTP请求的机制。

具体的，本发明所采用的技术方案是，一种为手机客户端提供大并发处理及流量控制的方法，应用于手机客户端和服务器集群之间的交互，服务器集群包括至少一台数据库、至少一台接入服务器、至少一台业务处理服务器、至少一台内容服务器，该方法包括：

步骤1：手机客户端向服务器集群中的接入服务器发送连接请求；DNS调度接入服务器，与接入服务器进行时延探测，当探测到的时延小于策略参数A时，客户端与接入服务器采用UDP进行通信，否则使用TCP进行通信；优选的，所述策略参数A=150ms；

步骤2：接入服务器接收手机客户端的请求，并控制并发请求数量（一个手机客户端可以有多个请求），如果并发请求数量大于预设值时则拒绝连接，否则将请求分发到负载最少的业务处理服务器上；

步骤3：业务处理服务器接收接入服务器分发过来的业务请求，首先将业务请求按照登录、注销、心跳、数据采集、页面请求（例如访问网页）进行分类，然后根据该业务请求的分类类型进行处理，如果是登录请求，则转到步骤3a，如果是注销请求，则转到步骤3b；如果是心跳请求，则转到步骤3c；如果是数据采集，则转到步骤3d；页面请求，则转到步骤3e；

步骤3a：进一步判断手机客户端接入数量是否大于预设值，如果是则拒绝连接，如果否，则通过数据库服务器验证用户信息，并根据验证结果判定是否允许登录；

步骤3b：业务处理服务器注销登陆，断开与手机客户端的连接；

步骤3c：业务处理服务器根据当前的带宽情况进行判断，下发下次心跳请求的周期时间给手机客户端；

步骤3d：业务处理服务器将手机客户端的相应信息保存至数据库服务器，以做后续数据分析使用；

步骤3e：业务处理服务器将页面请求转发至内容服务器，内容服务器根据手机客户端的接入方式（2G/3G/WIFI）返回相应的页面内容给手机客户端，例如，如果接入方式是2G，返回wap页面；如果接入方式是WIFI或者3G，则返回www页面，从而适当地控制页面产生的流量。

进一步的，所述步骤2中，负载最少的业务处理服务器的判定方法具体如下，首先，业务处理服务器采集当前待处理的业务请求数量以及当前消耗带宽，定期上报给接入服务器，通过公式计算负载：负载=C1*当前待处理业务请求数量/服务器每分钟最高处理业务请求数量+C2*当前消耗带宽/服务器总带宽；其中，C1和C2为权重值，C1+C2=1。另外，当前待处理业务请求数量和当前消耗带宽可以通过手机客户端与服务器集群之间相应的连接参数获得，服务器每分钟最高处理业务请求数量以及服务器总带宽可以通过服务器的性能参数获得。优选的，C1=0.6，C2=0.4。

进一步的，所述步骤3c中，业务处理服务器根据当前待处理的业务请求数量以及当前消耗带宽，动态降低心跳的频率，具体包括：如果当前消耗带宽超过预设值，并且业务请求数量超过预设值，则降低心跳的频率，直至业务请求数量以及当前消耗带宽处于预设阈值内。

本发明与现有技术相比，具有以下优点：

1.手机客户端与接入服务器的通讯连接方式，是根据DNS调度离用户最近的接入服务器，如果当前的网络条件较好，采用UDP与接入服务器进行交互，如果当前的网络条件不好，则采用TCP方式，从而保证了连接可靠性和稳定性；同时，使用UDP与接入服务器进行交互，可有效减少接入服务器的并发连接数；

2.接入服务器将请求分发到负载最少的业务处理服务器上，从而提高服务器的处理速度，进一步保证网络连接的稳定性，使手机客户端上的业务稳定流畅，进而提高用户的体验感；

3.心跳接口在高峰时期数据量巨大，保持固定的频率（30秒）与服务器进行通讯，服务器压力巨大，为了解决该缺点，本发明中，如果带宽消耗超过阀值，则延长心跳的时间间隔，同时根据服务器的负载连接数和带宽消耗情况（例如在高峰时期，当前待处理的业务请求数量以及当前消耗带宽过高时）动态降低心跳的频率；

4.本发明采用多进程处理实现高并发，使得单台服务器支持的处理能力提升；通过动态策略来进行流量控制，在大并发下调节服务器性能；通过不同APN接入点进行业务控制，实现在业务服务器、内容服务器之间采用不同的策略。

附图说明

图1为本发明的系统架构图；

图2为本发明的流程示意图；

图3为本发明的逻辑结构图；

图4为本发明的物理结构图。

具体实施方式

现结合附图和具体实施方式对本发明进一步说明。

本发明主要目的是提高服务器对手机客户端的响应处理速度，使手机客户端上的业务稳定流畅，提高用户的体验感。最好是采用最少的服务器，连接更多的客户端，同时保证这些客户端的连接的稳定性和流畅性。

如图1所示，本发明应用于手机客户端和服务器集群之间的交互，服务器集群包括多个接入服务器（称为接入服务器集群）、多个业务处理服务器（称为业务处理服务器集群）、多个数据库服务器（称为数据库服务器集群）、多个内容服务器（称为内容服务器集群）。其中，手机客户端通过网关连接至接入服务器集群中的某台接入服务器，然后接入服务器将手机客户端的相应请求转发至业务处理服务器，业务处理服务器通过数据库服务器和内容服务器进行相应的处理。

如图2所示，系统按功能可划分为四个子系统：底层通信接入子系统、业务逻辑子系统、配置管理子系统和数据子系统。

其中，通信接入子系统负责给手机客户端提供两种接入方式：分别是短连接（HTTP）接入方式和长连接（TCPSOCKET)接入方式。其中SOCKET接入模块实现TCPSOCKET方式的接入；HTTP接入模块实现HTTP方式的接口。

物理结构由图3所示，包括接入组件、业务处理组件、首页管理组件和监控维护组件。其中，接入组件实现客户端的短连接方式和长连接方式两种方式的接口。它负责接收客户端的短连接、长连接的请求，并把接受到请求消息负载平衡的分发多业务处理组件进行处理；并对已建立的连接进行管理维护。接入组件根据需要可以部署多个实例，可独立部署。业务处理组件实现各种业务逻辑的处理，它负责接收接入组件的请求，解析出消息类型，根据消息类型进行相应的业务逻辑处理；然后将处理结果返回给接入组件。业务处理组件根据需要可以部署多个实例，可独立部署。首页管理组件实现客户端首页数据的配置管理，首页数据包括菜单、N宫格数据。监控维护组件负责实现系统全部配置项的维护管理；提供日志服务报表日志功能。

本发明改进了大并发量技术方案以及流量控制技术方案。对于大并发量技术方案，处理模块由于需要处理业务请求，耗时相对长，可以根据实际的资源消耗情况（CPU，内存，带宽）来进行必要的扩容。接入模块通过UDP方式，透传Client的请求给处理模块（UDP速度优于TCP，UDP方式下接入模块分发请求与应答可以异步进行，效率会高很多）。在局域网内，物理机器之间UDP通信的丢包率是小于0.01%（包大小<MTU,不进行IP分片）。考虑到Client的重试逻辑，丢包率可以忽略。高并发的同时带来过大的流量，对接入服务器带来冲击，接入服务器通过流量控制技术方案，提供两种流量控制功能：1）每秒并发数控制功能；2）同时在线用户数控制功能。其中，每秒并发数控制功能：当手机终端连接请求过来时，系统先检查单位时间内（每秒）并发请求数是否超过了设定的阀值，超过的话就拒绝手机客户端的连接请求。这个功能保护系统在瞬间浪涌下不被击垮。其中，单位时间可配置，一般默认是一秒钟；最大并发数阀值也是可配置的。同时在线用户数控制功能：当手机客户端请求登录的时候，系统检查目前已经登录的用户数是否已经超过设定的阀值，如果超过了系统会拒绝手机客户端的登录请求。这个功能保护系统在长时间内能正常工作。其中，最大同时在线用户数是可配置的。另外，动态降低心跳频率：当服务器的流量达到阀值时，心跳频率变成原来的两倍，当流量恢复正常时，恢复为原值。

调度到其他接入服务器：在每秒的并发数和同时在线数达到控制的阀值时，调度到其他的接入服务器，保证用户能有正确的响应。

策略调整：在手机客户端自动优选网络（WAP\NET\WLAN\专有APN）并登陆，接入服务器判断后，自动根据客户端的APN，调整策略参数并同步到客户端。接入服务器调整后的参数，与业务、内容服务器进行对接，采用不同的业务服务策略。

具体的，参照图4，本发明的技术方案是，一种为手机客户端提供大并发处理及流量控制的方法，其包括以下内容：

步骤1：手机客户端向服务器集群中的接入服务器发送连接请求；DNS（DomainNameSystem，域名解析服务器）调度接入服务器，与接入服务器进行时延探测，当探测到的时延小于策略参数A（例如150ms）时，客户端与接入服务器采用UDP进行通信，否则使用TCP进行通信；

步骤2：接入服务器接收手机客户端的请求，并控制并发请求数量（一个手机客户端可以有多个请求），如果并发请求数量大于预设值时则拒绝连接，否则将请求分发到负载最少的业务处理服务器上；其中，负载最少的业务处理服务器的判定方法具体如下，首先，业务处理服务器采集当前待处理的业务请求数量以及当前消耗带宽，定期上报给接入服务器，通过公式计算负载：负载=C1*当前待处理业务请求数量/服务器每分钟最高处理业务请求数量+C2*当前消耗带宽/服务器总带宽；其中，C1和C2为权重值，C1+C2=1。另外，当前待处理业务请求数量和当前消耗带宽可以通过手机客户端与服务器集群之间相应的连接参数获得，服务器每分钟最高处理业务请求数量以及服务器总带宽可以通过服务器的性能参数获得。优选的，经过测算以及大量实验数据表明，C1=0.6，C2=0.4时，其负载计算最为准确；

步骤3：业务处理服务器接收接入服务器分发过来的业务请求，首先将业务请求按照登录、注销、心跳、数据采集、页面请求（例如访问网页）进行分类，然后根据该业务请求的分类类型进行处理，如果是登录请求，则转到步骤3a，如果是注销请求，则转到步骤3b；如果是心跳请求，则转到步骤3c；如果是数据采集，则转到步骤3d；页面请求，则转到步骤3e；

步骤3a：进一步判断手机客户端接入数量是否大于预设值，如果是则拒绝连接，如果否，则通过数据库服务器验证用户信息，并根据验证结果判定是否允许登录；

步骤3b：业务处理服务器注销登陆，断开与手机客户端的连接；

步骤3c：业务处理服务器根据当前的带宽情况进行判断，下发下次心跳请求的周期时间给手机客户端；业务处理服务器同时还根据当前待处理的业务请求数量来动态降低心跳的频率，具体是：如果当前消耗带宽超过预设值，并且业务请求数量超过预设值，则降低心跳的频率，直至业务请求数量以及当前消耗带宽处于预设阈值内；

步骤3d：业务处理服务器将手机客户端的相应信息保存至数据库服务器，以做后续数据分析使用；

步骤3e：业务处理服务器将页面请求转发至内容服务器，内容服务器根据手机客户端的接入方式（2G/3G/WIFI）返回相应的页面内容给手机客户端，例如，如果接入方式是2G，返回wap页面；如果接入方式是WIFI或者3G，则返回www页面，从而适当地控制页面产生的流量。

上述步骤中，服务器集群中的接入服务器接收到手机客户端的连接请求，首先检查单位时间内（每秒）并发请求数是否超过了设定的阀值，超过的话就拒绝手机客户端的连接请求，如果没有超过则将请求分发到负载最少的业务处理服务器上。业务处理服务器接收接入服务器分发过来的业务请求，根据业务类型（登录、注销、心跳、数据采集、页面请求）进行处理。如果是登录请求，则再次检查目前已经登录的用户数是否已经超过设定的阀值，如果超过了系统会拒绝手机客户端的登录请求，如果没有超过则验证用户信息，并根据验证结果允许用户登录与否。业务处理服务器的监控模块负责采集负责数据（当前待处理业务数，当前带宽消耗）业务处理，定期（例如：30s）上报给接入服务器；数据库服务器负责响应业务服务器的查询请求（例如验证用户名密码）和更新请求（例如，记录登录时间、注销时间，记录客户端上报的数据）。内容服务器根据提客户端接入方式（WIFI，2G,3G）返回相应的页面内容给手机客户端，适当地控制页面产生的流量。

综上所述，本发明的上述方案，是采用更少的服务器，解决了更多的客户端连接，例如本发明实现了单台服务器的事务处理高达5万tpmC。tpmC表示事务处理性能，单位是tpmC。tpm是transactionsperminute的简称，它的定义是每分钟内系统处理的任务个数。其流量稳定在控制的范围80Mbit/s，从而提高服务器的处理速度，使手机客户端上的业务稳定流畅，进而提高了用户的体验感。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (5)

1.一种为手机客户端提供大并发处理及流量控制的方法，应用于手机客户端和服务器集群之间的交互，服务器集群包括至少一台数据库、至少一台接入服务器、至少一台业务处理服务器、至少一台内容服务器，其特征在于：该方法包括：

步骤1：手机客户端向服务器集群中的接入服务器发送连接请求；DNS调度接入服务器，与接入服务器进行时延探测，当探测到的时延小于策略参数A时，客户端与接入服务器采用UDP进行通信，否则使用TCP进行通信；

步骤2：接入服务器接收手机客户端的请求，并控制并发请求数量，如果并发请求数量大于预设值时则拒绝连接，否则将请求分发到负载最少的业务处理服务器上；

步骤3：业务处理服务器接收接入服务器分发过来的业务请求，首先将业务请求按照登录、注销、心跳、数据采集、页面请求进行分类，然后根据该业务请求的分类类型进行处理，如果是登录请求，则转到步骤3a，如果是注销请求，则转到步骤3b；如果是心跳请求，则转到步骤3c；如果是数据采集，则转到步骤3d；页面请求，则转到步骤3e；

步骤3a：进一步判断手机客户端接入数量是否大于预设值，如果是则拒绝连接，如果否，则通过数据库服务器验证用户信息，并根据验证结果判定是否允许登录；

步骤3b：业务处理服务器注销登陆，断开与手机客户端的连接；

步骤3c：业务处理服务器根据当前的带宽情况进行判断，下发下次心跳请求的周期时间给手机客户端；

步骤3d：业务处理服务器将手机客户端的相应信息保存至数据库服务器，以做后续数据分析使用；

步骤3e：业务处理服务器将页面请求转发至内容服务器，内容服务器根据手机客户端的接入方式返回相应的页面内容给手机客户端。

2.根据权利要求1所述的方法，其特征在于：步骤2中，负载最少的业务处理服务器的判定方法具体如下，首先，业务处理服务器采集当前待处理的业务请求数量以及当前消耗带宽，定期上报给接入服务器，通过公式计算负载：负载=C1*当前待处理业务请求数量/服务器每分钟最高处理业务请求数量+C2*当前消耗带宽/服务器总带宽；其中，C1和C2为权重值，C1+C2=1。

3.根据权利要求2所述的方法，其特征在于：C1=0.6，C2=0.4。

4.根据权利要求1所述的方法，其特征在于：所述步骤3c中，业务处理服务器根据当前待处理的业务请求数量以及当前消耗带宽，动态降低心跳的频率，具体包括：如果当前消耗带宽超过预设值，并且业务请求数量超过预设值，则降低心跳的频率，直至业务请求数量以及当前消耗带宽处于预设阈值内。

5.根据权利要求1所述的方法，其特征在于：所述步骤1中，策略参数A=150ms。