CN104811503A - 一种r统计建模系统 - Google Patents

Abstract

本申请提供了一种R统计建模系统，包括浏览器、反向代理服务器以及R服务器集群，其中，R服务器集群中至少包括两个R服务器，浏览器用于向用户提供交互用户；反向代理服务器用于使用负载均衡技术，将访问请求分配给R服务器集群中的服务器，并向浏览器反馈所述R服务器集群中的服务器的请求响应。与现有的服务器版应用模式的R统计建模系统相比，因为本申请中的R统计建模系统包括R服务器集群，因此，计算能力有了提升，并且，又因为反向代理服务器使用负载均衡技术向R服务器集群中的R服务器分配访问请求，所以，可以提升R服务器集群的处理效率，总而言之，本申请中所述的R统计建模系统，可以提升对于海量的数据量和计算量的计算能力。

Description

一种R统计建模系统

技术领域

本申请涉及计算机领域，尤其涉及一种R统计建模系统。

背景技术

R统计建模系统是一套完整的数据处理、计算和制图软件系统。其功能包括：数据存储和处理；数组运算(其向量、矩阵运算方面功能尤其强大)；完整连贯的统计分析；优秀的统计制图功能；简便而强大的编程语言：可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能。

目前已有的R统计建模系统主要包括两种应用模式，一种为桌面单机应用模式，具有轻量灵活、易于使用的优点，却存在功能受限的不足，为了改善桌面单机应用模式的不足，服务器版应用模式应运而生，而在面对海量的数据量和计算量的情况下，服务器版应用模式的处理能力依然不足以满足需求。

可见，如何提升R统计建模系统的处理能力，成为目前亟待解决的问题。

发明内容

本申请提供了一种R统计建模系统，目的在于解决如何提升R统计建模系统的处理能力的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种R统计建模系统，包括：

浏览器、反向代理服务器以及R服务器集群，所述R服务器集群中至少包括两个R服务器；

其中：

所述浏览器用于向用户提供交互用户，所述门户用于接收用户输入的访问请求并向所述用户反馈请求响应；

所述反向代理服务器用于使用负载均衡技术，将所述访问请求分配给所述R服务器集群中的服务器，并向所述浏览器反馈所述R服务器集群中的服务器的请求响应。

可选地，所述R服务器集群中的R服务器均参与负载均衡。

可选地，所述R服务器集群中的R服务器部分参与负载均衡、另一部分用于在参与负载均衡的R服务器繁忙的情况下，作为备份服务器使用。

可选地，所述反向代理服务器用于使用负载均衡技术，将所述访问请求分配给所述R服务器集群中的服务器包括：

所述反向代理服务器具体用于，使用负载均衡技术，将所述访问请求分配给所述参与负载均衡的所述R服务器集群中的服务器，所述负载均衡技术至少包括以下一种：轮询、地址散列算法、地址哈希算法、链接散列算法、链接哈希算法以及智能均衡算法。

可选地，任意一个R服务器用于：

如果被请求的失败次数大于预设数值，向所述反向代理服务器发送错误提示信息。

可选地，所述反向代理服务器还用于：

停止向被请求的次数大于所述预设数值的R服务器分配访问请求。

可选地，还包括：

Web缓存处理服务器，用于将所述浏览器发送的访问请求转发给所述反向代理服务器，并在本地存储所述访问请求；接收所述反向代理服务器发送的请求响应，在本地存储所述请求响应的副本，并建立所述请求响应的副本与所述访问请求之间的对应关系；如果再次接收到与所述访问请求，则向所述浏览器发送与所述访问请求对应的请求响应的副本。

可选地，所述Web缓存处理服务器还用于：

依据预设的规则，清理本地存储的访问请求、请求响应的副本以及所述请求响应的副本与所述访问请求之间的对应关系，所述预设的规则至少包括以下一项：将存储时间最长的记录清除以及将使用频率最低的记录清除。

可选地，还包括：

防火墙；

所述防火墙设置在所述反向代理服务器与所述R服务器集群之间，用于过滤进入所述服务器集群的访问请求；

或者，所述防火墙设置在所述浏览器与所述反向代理服务器之间，用于过滤进入所述反向代理服务器的访问请求。

可选地，所述R服务器集群中的R服务器通过路由器与所述防火墙或所述反向代理服务器相连。

本申请所述的R统计建模系统，包括浏览器、反向代理服务器以及R服务器集群，其中，R服务器集群中至少包括两个R服务器，浏览器用于向用户提供交互用户，所述门户用于接收用户输入的访问请求并向所述用户反馈请求响应；反向代理服务器用于使用负载均衡技术，将访问请求分配给R服务器集群中的服务器，并向浏览器反馈所述R服务器集群中的服务器的请求响应。与现有的服务器版应用模式的R统计建模系统相比，因为本申请中的R统计建模系统包括R服务器集群，因此，计算能力有了提升，并且，又因为反向代理服务器使用负载均衡技术向R服务器集群中的R服务器分配访问请求，所以，可以提升R服务器集群的处理效率，总而言之，本申请中所述的R统计建模系统，可以提升对于海量的数据量和计算量的计算能力。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种R统计建模系统的结构示意图；

图2为本申请实施例公开的又一种R统计建模系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开的一种R统计建模系统，如图1所示，包括：

浏览器、反向代理服务器以及R服务器集群。

服务器集群就是指将至少两个服务器集中起来一起进行同一种服务，在客户端(浏览器用户)看来好像只有一个服务器，服务器可以利用多个计算机进行并行计算从而提高计算速度，也可以用多个计算机互相作为备份，从而使得任何一个机器坏了整个系统还是能正常运行。这种集群技术可以用少的投资获得接近于大型机的性能。本实施例中，R服务器集群中至少包括两个R服务器，每一个R服务器均用于响应用户的访问请求。R服务器集群中的R服务器通过路由器与所述防火墙或所述反向代理服务器相连。

本实施例中，浏览器用于向用户提供交互用户，所述门户用于接收用户输入的访问请求并向所述用户反馈请求响应。

反向代理服务器用于使用负载均衡技术，将访问请求分配给R服务器集群中的服务器，并向浏览器反馈R服务器集群中的服务器的请求响应。

在本实施例中，对于通过浏览器访问的用户而言反向代理服务器就是原始服务器(此框架中就是R-服务器，后文中提到的原始服务器都是此含义)，并且用户不需要进行任何特别的设置。浏览器向反向代理服务器中发送的普通请求，接着反向代理判断向何处(哪个R-服务器)转交请求，并获得内容返回给客户。对用户而言，始终认为自己访问的原始服务器而不是反向代理服务器，但是实际上反向代理服务器接受用户请求，从原始服务器上取得用户的请求资源，然后返回给用户，由防火墙的作用只允许反向代理服务器去访问原始服务器，尽管在这个代理环境中，防火墙和代理服务器保护了原始服务器上的资源，但是浏览器上的用户并不知情。使用反向代理可以降低原始服务器的负载，反向代理服务器承担了对原始服务器的请求，防止原始服务器过载。

负载均衡是指由多台服务器以对称的方式组成一个服务集群，每台服务器有等价的地位，都可以单独对外提供服务而无需其他服务器协助。通过负载分担技术，将外部发送来的请求按照一定算法的分配到对称结构中的某一台相对空闲服务器上，而接收到的服务器独立的回应客户的请求。均衡负载能够平均分配客户请求到服务器集群。

本实施例中，负载均衡具体的实现算法可以包括以下一项或多项：

1.轮询(默认)

每个来自浏览器用户的请求按照时间顺序逐一分配到集群中不同的服务器上，此处可以理解为服务器被按照一定顺序编号，分配时按编号顺序发送，如果集群中有服务器宕机，故障服务器会被自动剔除，那么请求将自动进入下一台服务器上，用户的请求不受影响。此种轮训机制相对简单，无法将服务器的处理性能更加合理的进行安排。因此为了让复杂的处理可以被发送到资源更加充沛的服务器上进行处理，我们还建立了一种更为高级的轮询机制。我们用Weight标识每台服务器的轮询权值，服务器上的剩余资源约充沛，那么它所对应的Weight权值也就越高，分配到的访问几率也就越高，这种方式主要应用于集群中每个服务器性能不均的情况下。

2.地址散列或地址哈希算法

每个来自浏览器用户的请求按按照访问的IP地址的散列结果进行分配，简单来说就是来自同一IP地址的用户请求每次都会固定散列分配到同一台集群中的服务器上。这种方法的好处就是有效解决了动态网页存在的session共享问题。但是对于session共享，这里我们已经在前端的WEB缓存处理中给出了更好的解决方案--WEB缓存处理机制。

3.链接散列或链接哈希算法

每个来自浏览器用户的请求按照访问的链接地址的散列结果进行分配，简单来说就是来自同一链接地址的用户请求每次都会固定散列分配到同一台集群中的服务器上。这种方法的好处就是可以有效利用后端服务器上的缓存数据，不过我们此次的架构中已经植入了前端WEB缓存机制，所以链接散列算法的效果并不明显。

4.智能均衡算法

这个是比上面三种算法都更加智能的负载均衡算法。此种算法可依据页面大小和加载时间长短智能的进行负载均衡，也就是根据后端服务器的响应时间来分配请求，响应时间短的优先分配。

除了可以选择以上负载均衡的具体实现算法之外，本实施例中，还可以规定参与负载均衡的R服务器：

R服务器集群中的R服务器可以均参与负载均衡；也可以部分参与负载均衡，在此情况下，不参与负载均衡的R服务器可以用于在参与负载均衡的R服务器繁忙的情况下，作为备份服务器使用。当其他所有的非备份R服务器出现故障或忙碌的时候，会请求备份机。备份机的压力最轻。具体地，不参与负载均衡的R服务器可以标记为取下状态。

进一步地，本实施例中，任意一个R服务器除了对访问请求做出响应外，还可以用于：如果被请求的失败次数大于预设数值，向反向代理服务器发送错误提示信息。错误提示信息可以作为维护人员的指导信息，指导维护人员进行相应的维修处理。在此情况下，反向代理服务器还可以用于：停止向被请求的次数大于所述预设数值的R服务器分配访问请求，目的在于提高R服务器的处理效率，提升用户体验。

在现有技术中，当有多个用户同时对服务器发送了处理请求的时候，如果是传统的单一服务器版应用方式，当多个用户同时对服务器发起处理请求时，服务器可能因为资源枯竭而无法完成全部处理，那么相对请求滞后的用户只能等待前面的用户处理结束后，释放掉服务器上的CUP、内存或存储等资源时才能对滞后用户的请求做出处理，此时对后面等待的用户来说是一种资源上的浪费。而且即使服务器空闲出了一部分资源，如果当前请求客户的处理量要求超过了刚刚空闲出的服务器资源时服务器仍然会有问题，甚至瘫痪。

为了拓展服务器的处理能力(超大数据量)和处理速度，本实施例中，将服务器配置从单一服务器进行了集群化改造。进一步地，为了使集群里的R服务器互相配合默契从而最高效的为用户提供服务，进一步对多个R服务器采用负载均衡，藉此提供快速获取数据的途径，解决大量并发访问服务问题。

本申请实施例公开的又一种R统计建模系统，与上述实施例相比，性能具有进一步的提升。

如图2所示，本实施例所述的系统包括：

浏览器、反向代理服务器、R服务器集群、Web缓存处理服务器、以及防火墙。

本实施例中，防火墙设置可以在所述反向代理服务器与所述R服务器集群之间，用于过滤进入所述服务器集群的访问请求，也可以设置在防火墙设置在所述浏览器与所述反向代理服务器之间，用于过滤进入所述反向代理服务器的访问请求。

本实施例中，浏览器、反向代理服务器、R服务器集群的功能与上述实施例相同，这里不再赘述。

Web缓存处理服务器用于：将所述浏览器发送的访问请求转发给所述反向代理服务器，并在本地存储所述访问请求；接收所述反向代理服务器发送的请求响应，在本地存储所述请求响应的副本，并建立所述请求响应的副本与所述访问请求之间的对应关系；如果再次接收到与所述访问请求，则向所述浏览器发送与所述访问请求对应的请求响应的副本。

对于传统的服务器访问方式，当用户A通过浏览器发送一个访问请求，此访问请求通过防火墙及路由器后到达R服务器。R服务器在完成处理后将结果数据返回给用户A。在此之后如果有个用户B也发送了与A相同的访问请求，此访问请求同样会通过防火墙及路由器最后到达R服务器。此时R服务器又将执行与上次相同的处理，并最终将相同的数据结果返回给用户B。

而本实施例中，此种重复冗余的处理方式将得到彻底改善，同样是用户A通过浏览器发送访问请求，Web缓存处理服务器本地会存储访问请求以及R服务器对于访问请求做出的响应的副本。在此之后如果用户B也发送了一个访问请求，那么Web缓存服务器首先会判断此次访问请求内容是否已经发生过(即是否和A请求的内容相同)，如果已经发生过，那么则直接到缓存中将前次创建的副本读取出来返回给浏览器上的用户B。反之如果用户B发送的数据请求是个新的数据请求，则跳过缓存处理，重新执行从防火墙及路由器到达R服务器的过程。R服务器处理结束后，Web缓存处理服务器除了将结果数据返回给浏览器上的用户B以外，还会把这个新的处理结果在缓存中再生成一个副本。以此不断累加继续。随着使用的继续，Web缓存处理服务器中的内容会不断累加，直到到达设定的最大缓存。

Web缓存处理服务器用于：依据预设的规则，清理本地存储的访问请求、请求响应的副本以及所述请求响应的副本与所述访问请求之间的对应关系。

具体地，预设的规则至少包括以下一项：将存储时间最长的记录清除以及将使用频率最低的记录清除。

本实施例中所述的系统，对R统计计算及建模服务工具，将传统的单一服务器版应用方式改造为集群式服务器部署，并赋予负载均衡和缓存能力，将此种技术架构从理论可行付之于实现。架构方式不同于市场上的相关框架(如IBM Platform LSF)的实现方式。

本申请实施例所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种R统计建模系统，其特征在于，包括：

浏览器、反向代理服务器以及R服务器集群，所述R服务器集群中至少包括两个R服务器；

其中：

所述浏览器用于向用户提供交互用户，所述门户用于接收用户输入的访问请求并向所述用户反馈请求响应；

所述反向代理服务器用于使用负载均衡技术，将所述访问请求分配给所述R服务器集群中的服务器，并向所述浏览器反馈所述R服务器集群中的服务器的请求响应。

2.根据权利要求1所述的系统，其特征在于，所述R服务器集群中的R服务器均参与负载均衡。

3.根据权利要求1所述的系统，其特征在于，所述R服务器集群中的R服务器部分参与负载均衡、另一部分用于在参与负载均衡的R服务器繁忙的情况下，作为备份服务器使用。

4.根据权利要求2或3所述的系统，其特征在于，所述反向代理服务器用于使用负载均衡技术，将所述访问请求分配给所述R服务器集群中的服务器包括：

所述反向代理服务器具体用于，使用负载均衡技术，将所述访问请求分配给所述参与负载均衡的所述R服务器集群中的服务器，所述负载均衡技术至少包括以下一种：轮询、地址散列算法、地址哈希算法、链接散列算法、链接哈希算法以及智能均衡算法。

5.根据权利要求1至4任一项所述的系统，其特征在于，任意一个R服务器用于：

如果被请求的失败次数大于预设数值，向所述反向代理服务器发送错误提示信息。

6.根据权利要求5所述的系统，其特征在于，所述反向代理服务器还用于：

停止向被请求的次数大于所述预设数值的R服务器分配访问请求。

7.根据权利要求1所述的系统，其特征在于，还包括：

Web缓存处理服务器，用于将所述浏览器发送的访问请求转发给所述反向代理服务器，并在本地存储所述访问请求；接收所述反向代理服务器发送的请求响应，在本地存储所述请求响应的副本，并建立所述请求响应的副本与所述访问请求之间的对应关系；如果再次接收到与所述访问请求，则向所述浏览器发送与所述访问请求对应的请求响应的副本。

8.根据权利要求7所述的系统，其特征在于，所述Web缓存处理服务器还用于：

依据预设的规则，清理本地存储的访问请求、请求响应的副本以及所述请求响应的副本与所述访问请求之间的对应关系，所述预设的规则至少包括以下一项：将存储时间最长的记录清除以及将使用频率最低的记录清除。

9.根据权利要求1所述的系统，其特征在于，还包括：

防火墙；

所述防火墙设置在所述反向代理服务器与所述R服务器集群之间，用于过滤进入所述服务器集群的访问请求；

或者，所述防火墙设置在所述浏览器与所述反向代理服务器之间，用于过滤进入所述反向代理服务器的访问请求。

10.根据权利要求9所述的系统，其特征在于，所述R服务器集群中的R服务器通过路由器与所述防火墙或所述反向代理服务器相连。