CN108228359B - web程序与R程序集成处理数据的方法和系统 - Google Patents

Abstract

本申请公开了一种网络(web)程序和R程序集成处理数据的方法和系统，包括：在web程序与浏览器之间使用websocket建立长连接，该长连接用于传输该浏览器所请求的R程序的相关数据；在web程序通过websocket接收到来自浏览器的首个R计算请求后，选择一R程序，保存该web程序的标识、该websocket的标识以及该R程序的标识的对应关系，将所述R计算请求发送给该R程序计算；在web程序再次通过websocket接收到来自浏览器的R计算请求后，根据该web程序的标识和该websocket的标识确定对应的R程序的标识，将该R计算请求发送给该R程序进行计算。本发明可以降低web程序集成R程序时的故障率。

Description

web程序与R程序集成处理数据的方法和系统

技术领域

本申请涉及领域，尤其涉及一种网络(web)程序与R程序集成处理数据的方法和系统。

背景技术

R语言(简称R)是一种计算机语言，是由新西兰奥克兰大学Robert Gentleman、Ross Ihaka以及其他志愿者开发的一套在数据分析领域广泛使用的软件系统。R语言通常作为桌面程序被数据分析师使用，常用于完成数据处理、数据分析、数据可视化等等工作。R语言本身是一套完备的软件系统，既包括R语言解释器、也包括一套完整的图形用户界面(GUI，Graphical User Interface)。如果需要扩展R语言的功能时，通常使用R语言本身或者其他语言如C\C++，来开发扩展功能被R语言所调用，其中R语言作为调用者。

但是，由R语言编制的R程序是一个安装电脑上的桌面程序，传统的方法只能在本地电脑上安装R程序进行数据分析，不能远程操作R程序进行数据分析。但是随着大数据时代的来临，传统上由Java、.Net等语言开发的网络(Web)程序常常被要求实现一些数据分析、数据可视化功能。

所述Web应用程序是一种可以通过Web访问的应用程序。如何将Java、.Net等传统语言开发的web程序与R程序集成起来，对R程序进行远程操作来进行数据分析，充分利用R程序的数据分析、数据可视化功能，是业界都在尝试的技术方向。

目前将传统web程序与R程序集成的方法主要有以下三种现有技术：

一、Shiny技术。

Shiny是Rstudio公司推出的一个使用R语言开发Web应用的软件包，开发人员不用了解任何如Html、JavaScript、Css等Web开发知识，就能利用Shiny快速构建一个交互式的Web程序。在该现有技术中，程序都通过R语言开发，开发好的程序通过Shiny包支撑运行，但其缺点是只能在本地浏览器访问。从实现原理上讲，Shiny把交互部分的R函数内部转换成Html、JavaScript以及Css样式，在减轻Web开发工作量的同时，也限制了扩展开发功能，即不能由开发人员自定义页面开发，只能利用Shiny所提供的页面基础框架来开发。由于这些限制的存在，这种方法难以在正式的软件产品中应用，只是针对某个具体的功能，由数据分析师开发一个交互式的程序满足数据分析、可视化等需求。

二、Rserve加Rsession技术。

Rserve是一个基于Tcp/Ip协议，允许R语言与其他语言(如Java、C/C++等)进行通信的客户端/服务器(C/S)结构程序。Rserve提供远程连接、认证、文件传输等功能，可以使用Java、Php等语言开发Web程序，通过Rserve调用R完成数据分析、绘图等处理任务，Java可通过Rsession包与Rserver进行交互。

三、Rcaller技术。

Rcaller提供了Java进程内调用R语言的三个调用包，通过其中之一都可以完成Java调用R语言。Web程序可以采用java编码，而java再利用Rcaller调用R程序。

现有技术的缺点主要有：

如上所述，Shiny不适合开发软件产品，只适合开发一个临时性的交互系统；Rserve和Rcaller技术可以用来配合Java等语言调用R语言完成复杂的业务需求。但是还存在以下的技术问题：

1)超文本传输协议(Http，HyperText Transfer Protocol)请求超时问题。

使用R程序进行数据分析需要一定时间，从几秒、几分到数小时不等。如果运行web程序的浏览器端发起Http请求，经由Java等语言调用R程序，一旦R程序执行时间较长，那么在浏览器端将会出现Http请求超时异常的问题。

2)无状态Web程序与有状态R程序的集成问题。

对于大型的Web程序而言通常设计为多实例的无状态应用，而一般情况下R程序的计算时间比较长，为了保证系统的水平扩展，也应该部署R程序的多个R实例，所述的实例就是具体的执行程序，将不同请求转发到不同的R实例上计算，减少R实例的计算压力。但R程序的计算往往是有状态的，比如生成100个正态分布的随机数保存到列表中，根据计算要求返回其中第i(1≤i≤100)个随机数。假定有两个Http请求完成上述任务，第一个HTTP请求在R程序中生成了100个随机数，第二个HTTP请求取得第一个随机数，如果这个http请求被路由到其他R实例中，则取不到随机数，产生计算错误。

总之，现有技术中web程序集成R程序的方式具有超时故障和计算故障等问题，故障率较高。

发明内容

有鉴于此，本发明的主要目的是提供一种web程序和R程序集成处理数据的方法，以降低web程序集成R程序时的故障率。

本发明的技术方案是这样实现的：

一种网络web程序和R程序集成处理数据的方法，包括：

在web程序与浏览器之间使用websocket建立长连接，该长连接用于传输该浏览器所请求的R程序的相关数据；

在web程序通过websocket接收到来自浏览器的首个R计算请求后，选择一R程序，保存该web程序的标识、该websocket的标识以及该R程序的标识的对应关系，将所述R计算请求发送给该R程序计算；

在web程序再次通过websocket接收到来自浏览器的R计算请求后，根据该web程序的标识和该websocket的标识确定对应的R程序的标识，将该R计算请求发送给该R程序进行计算；

在web程序收到R程序返回的相关数据后，根据该R程序的标识和该web程序的标识确定对应的websocket的标识，通过该websocket对应的长连接将所述相关数据返回给对应的浏览器。

在本发明所述方法的一种优选实施例中，所述web程序的数量为二个以上，所述R程序的数量为二个以上。

在本发明所述方法的一种优选实施例中，该方法进一步包括：在浏览器和web程序之间设置负载均衡器，浏览器的数据处理请求由该负载均衡器转发给web程序，其中：

如果来自浏览器的数据处理请求为R计算请求，则选择一web程序，将该web程序与该浏览器绑定，该浏览器的R计算请求都转发给该绑定的web程序处理；

如果来自浏览器的数据处理请求为非R计算请求，则将该数据处理请求随机转发给任一个web程序处理。

在本发明所述方法的一种优选实施例中，该方法进一步包括：

如果所述R计算请求包括绘图请求，则所述R程序在绘制好图形后，将图形文件存入到文件系统中，并将图形文件的存储地址通过web程序返回给浏览器，浏览器根据该存储地址获取所述图形文件。

一种网络web程序和R程序集成处理数据的系统，包括：浏览器、web程序、和R程序；其中：

所述web程序与浏览器之间使用websocket建立长连接，该长连接用于传输该浏览器所请求的R程序的相关数据；

所述web程序用于通过websocket接收到来自浏览器的首个R计算请求后，选择一R程序，保存该web程序的标识、该websocket的标识以及该R程序的标识的对应关系，将所述R计算请求发送给该R程序计算；

所述web程序还用于在web程序再次通过websocket接收到来自浏览器的R计算请求后，根据该web程序的标识和该websocket的标识确定对应的R程序的标识，将该R计算请求发送给该R程序进行计算；

所述web程序还用于在web程序收到R程序返回的相关数据后，根据该R程序的标识和该web程序的标识确定对应的websocket的标识，通过该websocket对应的长连接将所述相关数据返回给对应的浏览器。

在本发明所述系统的一种优选实施例中，所述web程序的数量为二个以上，所述R程序的数量为二个以上。

在本发明所述系统的一种优选实施例中，该系统进一步包括：

负载均衡器，用于接收浏览器的数据处理请求，并转发给web程序，其中：

如果来自浏览器的数据处理请求为R计算请求，则该负载均衡器选择一web程序，将该web程序与该浏览器绑定，该浏览器的R计算请求都转发给该绑定的web程序处理；

如果来自浏览器的数据处理请求为非R计算请求，则该负载均衡器将该数据处理请求随机转发给任一个web程序处理。

在本发明所述系统的一种优选实施例中，该系统进一步包括：

文件系统，用于存储R程序根据包括绘图请求的R计算请求所绘制好的图形文件；

所述R程序进一步用于将图形文件的存储地址通过web程序返回给浏览器，所述浏览器进一步用于根据该存储地址获取所述图形文件。

与现有技术相比，本发明由于利用WebSocket在浏览器与web程序之间建立的连接是长连接，当从浏览器发送R计算请求给R程序后，可一直等待服务器端的反馈结果，不会出现现有技术中的http请求超时问题，可很好满足R计算时间较长所带来的短连接http请求超时问题，降低了由于超时处理导致的故障率。同时，本发明在进行R计算请求的处理过程中，通过建立web程序的标识、websocket的标识以及R程序的标识的对应关系，将所述发出R计算请求的浏览器与处理该浏览器R计算请求的R程序之间的通信通道固定化，使得该浏览器与该R程序之间的进行计算的上下文环境得以保持，从而避免无状态Web程序与有状态R程序的集成导致的数据计算错误，降低数据计算错误导致的故障率。

附图说明

图1为本发明所述web程序和R程序集成处理数据的系统的一种组成示意图；

图2为本发明网络web程序和R程序集成处理数据的方法的一种流程示意图；

图3所示为本发明增加了负载均衡器的一种实施例的组成示意图；

图4为本发明所述web程序和R程序集成处理数据的又一种实施例的组成示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明所述web程序和R程序集成处理数据的系统的一种组成示意图。参见图1，本发明的系统包括：浏览器、web程序、和R程序。其中，所述浏览器为web浏览器。所述web程序是在网络服务器端运行的web应用程序，用于处理来自浏览器的各种处理请求。所述web程序的数量可以是二个以上，分别用于处理各自的业务逻辑。所述R程序也是设置在网络服务器端的R程序，通常也被称为R服务器，用于完成数据处理、数据分析、数据可视化等等工作。所述R程序的数量也可以是二个以上。所述各个web程序中具有访问R程序的路由模块(CallR Route)，通过该路由模块可以连接到所述各个R程序。

图1所示的系统中，浏览器相当于客户端，所述各个web程序属于web层，所述各个R程序属于R计算层。其中：

所述web程序与浏览器之间使用websocket建立长连接，该长连接用于传输该浏览器所请求的R程序的相关数据；所述WebSocket是超文本标记语言5(HTML5)的一种通信协议，它实现了浏览器与服务器之间的全双工通信(full-duplex)。

所述web程序用于通过websocket接收到来自浏览器的首个R计算请求后，由web程序的路由模块随机选择一可以进行Rserver连接的R程序，保存该web程序的标识、该websocket的标识以及该R程序的标识的对应关系，将所述R计算请求发送给该R程序计算。所述R计算请求就是请求R程序进行计算的请求，所述计算包括数据处理、数据分析、数据可视化等计算。在实际应用场景中，当用户需求R计算时，可以在浏览器中输入或触发R计算请求的指令，由浏览器将该R计算请求发送给web程序。

所述web程序还用于在web程序再次通过websocket接收到来自浏览器的R计算请求后，根据该web程序的标识和该websocket的标识确定对应的R程序的标识，将该R计算请求发送给该R程序进行计算。

所述web程序还用于在web程序收到R程序返回的相关数据后，根据该R程序的标识和该web程序的标识确定对应的websocket的标识，通过该websocket对应的长连接将所述相关数据返回给对应的浏览器。

图2为本发明网络web程序和R程序集成处理数据的方法的一种流程示意图。参见图2，与图1的系统对应，本方法主要包括：

步骤201、在进行R程序的数据处理时，在web程序与浏览器之间使用websocket建立长连接，该长连接用于传输该浏览器所请求的R程序的相关数据；

步骤202、在web程序通过websocket接收到来自浏览器的首个R计算请求后，由路由模块随机选择一可以进行Rserver连接的R程序，保存该web程序的标识、该websocket的标识以及该R程序的标识的对应关系，将所述R计算请求发送给该R程序计算；

步骤203、在web程序再次通过websocket接收到来自浏览器的R计算请求后，根据该web程序的标识和该websocket的标识确定对应的R程序的标识，将该R计算请求发送给该R程序进行计算；

步骤204、在web程序收到R程序返回的相关数据后，根据该R程序的标识和该web程序的标识确定对应的websocket的标识，通过该websocket对应的长连接将所述相关数据返回给对应的浏览器。当然，本步骤204与步骤203之间没有严格的先后顺序，只是为了描述方便。

在实际的应用场景中，所述web程序的数量通常为二个以上，所述R程序的数量通常也为二个以上。为了实现将浏览器发出的请求均衡地分配到各个web程序上，本发明的进一步包括：在浏览器和web程序之间设置负载均衡器，如图3所示为本发明增加了负载均衡器的一种实施例的组成示意图，参见图3，该实施例中采用Nginx作为负载均衡器，所述Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器。所述浏览器的数据处理请求由该负载均衡器转发给web程序，其中：

如果来自浏览器的数据处理请求为R计算请求，则所述负载均衡器根据负载均衡策略选择一web程序，将该web程序与该浏览器绑定，该浏览器的R计算请求都转发给该绑定的web程序处理；也就是说，在这种情况下，需要将所述web程序与浏览器之间的websocket配置成一个有状态的会话连接，从而可以保证浏览器只和与其建立websocket连接的web程序通信。

如果来自浏览器的数据处理请求为非R计算请求(普通业务处理请求)，则所述负载均衡器进行无状态的请求随机转发，即将该数据处理请求随机转发给任一个web程序处理。

图4为本发明所述web程序和R程序集成处理数据的又一种实施例的组成示意图，该图4的实施例是在图3所述实施例的基础上，又增加了缓存模块和文件系统。所述缓存模块例如可以采用Redis缓存，用来存储所述web程序的标识、websocket的标识以及R程序的标识的对应关系。所述文件系统例如可以是CephFS文件系统，用于存储可视化的绘图文件。

由于WebSocket是浏览器与web程序(即服务器端)建立的长连接，当从浏览器发送R计算请求后，可一直等待web程序的反馈结果，不会出现传统http请求超时问题，可很好满足R计算时间较长所带来的短连接http请求超时问题。当Web程序与浏览器建立WebSocket的长连接后，如果接收到R计算请求，首先由所述CallR Route模块随机选择一个可以进行Rserve连接的R程序，并将<Web程序标识(ID)+WebSocket ID R程序ID>关系保存到Redis缓存中，然后Web程序将浏览器传入的R计算请求发送给R程序进行计算。当从浏览器再次发送R计算请求后，Web程序根据<Web程序ID+WebSocketID>从Redis缓存中取得R程序ID，并与这个R程序进行通信以保证R计算的上下文环境。

R程序除了能够完成数据分析等计算类任务外，也能够进行可视化绘图。但是，R程序不能与其他语言进行绘图数据交互，只能先写入到文件中，通过文件形式进行交互，因此浏览器显示R程序计算的绘图结果只能通过Http形式访问图片。因此本发明引入了CephFS文件系统，如图4所示。所有Web程序、R程序所在的操作系统上都挂载CephFS文件系统。当浏览器需要R程序进行绘图处理时，需要在所发出的R计算请求中包括绘图请求。该R计算请求经过web程序转发给R程序后，如果R程序发现所述R计算请求包括绘图请求，则所述R程序在绘制好图形后，将图形文件存入到文件系统中，并将图形文件的存储地址通过web程序返回给浏览器，浏览器根据该存储地址获取所述图形文件。

例如，R程序所生成的绘图文件全部集中保存到CephFS文件系统上，当浏览器使用html img标签加载绘图文件时，不管经由哪个Web程序进行请求处理都能访问到CephFS文件系统上的绘图文件。

基于本发明的上述技术方案，本发明由于利用WebSocket在浏览器与web程序之间建立的连接是长连接，当从浏览器发送R计算请求给R程序后，可一直等待服务器端的反馈结果，不会出现现有技术中的http请求超时问题，可很好满足R计算时间较长所带来的短连接http请求超时问题，降低了由于超时处理导致的故障率。同时，本发明在进行R计算请求的处理过程中，通过建立web程序的标识、websocket的标识以及R程序的标识的对应关系，将所述发出R计算请求的浏览器与处理该浏览器R计算请求的R程序之间的通信通道固定化，使得该浏览器与该R程序之间的进行计算的上下文环境得以保持，从而避免无状态Web程序与有状态R程序的集成导致的数据计算错误，降低数据计算错误导致的故障率。

基于本发明的技术方案，可以在大型商业智能(BI，Business Intelligence)类程序中引入R语言作为数据分析、可视化的扩展开发功能。

另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。

另外，本发明所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种网络web程序和R程序集成处理数据的方法，其特征在于，包括：

在web程序与浏览器之间使用websocket建立长连接，该长连接用于传输该浏览器所请求的R程序的相关数据；

在web程序通过websocket接收到来自浏览器的首个R计算请求后，由web程序的路由模块随机选择一可以进行Rserver连接的R程序，保存该web程序的标识、该websocket的标识以及该R程序的标识的对应关系，将所述R计算请求发送给该R程序计算；

在web程序再次通过websocket接收到来自浏览器的R计算请求后，根据该web程序的标识和该websocket的标识确定对应的R程序的标识，将该R计算请求发送给该R程序进行计算；

在web程序收到R程序返回的相关数据后，根据该R程序的标识和该web程序的标识确定对应的websocket的标识，通过该websocket对应的长连接将所述相关数据返回给对应的浏览器。

2.根据权利要求1所述的方法，其特征在于，所述web程序的数量为二个以上，所述R程序的数量为二个以上。

3.根据权利要求2所述的方法，其特征在于，该方法进一步包括：在浏览器和web程序之间设置负载均衡器，浏览器的数据处理请求由该负载均衡器转发给web程序，其中：

如果来自浏览器的数据处理请求为R计算请求，则选择一web程序，将该web程序与该浏览器绑定，该浏览器的R计算请求都转发给该绑定的web程序处理；

如果来自浏览器的数据处理请求为非R计算请求，则将该数据处理请求随机转发给任一个web程序处理。

4.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

如果所述R计算请求包括绘图请求，则所述R程序在绘制好图形后，将图形文件存入到文件系统中，并将图形文件的存储地址通过web程序返回给浏览器，浏览器根据该存储地址获取所述图形文件。

5.一种网络web程序和R程序集成处理数据的系统，其特征在于，包括：浏览器、web程序、和R程序；其中：

所述web程序与浏览器之间使用websocket建立长连接，该长连接用于传输该浏览器所请求的R程序的相关数据；

所述web程序用于通过websocket接收到来自浏览器的首个R计算请求后，由web程序的路由模块随机选择一可以进行Rserver连接的R程序，保存该web程序的标识、该websocket的标识以及该R程序的标识的对应关系，将所述R计算请求发送给该R程序计算；

所述web程序还用于在web程序再次通过websocket接收到来自浏览器的R计算请求后，根据该web程序的标识和该websocket的标识确定对应的R程序的标识，将该R计算请求发送给该R程序进行计算；

所述web程序还用于在web程序收到R程序返回的相关数据后，根据该R程序的标识和该web程序的标识确定对应的websocket的标识，通过该websocket对应的长连接将所述相关数据返回给对应的浏览器。

6.根据权利要求5所述的系统，其特征在于，所述web程序的数量为二个以上，所述R程序的数量为二个以上。

7.根据权利要求6所述的系统，其特征在于，该系统进一步包括：

负载均衡器，用于接收浏览器的数据处理请求，并转发给web程序，其中：

如果来自浏览器的数据处理请求为R计算请求，则该负载均衡器选择一web程序，将该web程序与该浏览器绑定，该浏览器的R计算请求都转发给该绑定的web程序处理；

如果来自浏览器的数据处理请求为非R计算请求，则该负载均衡器将该数据处理请求随机转发给任一个web程序处理。

8.根据权利要求5所述的系统，其特征在于，该系统进一步包括：

文件系统，用于存储R程序根据包括绘图请求的R计算请求所绘制好的图形文件；

所述R程序进一步用于将图形文件的存储地址通过web程序返回给浏览器，所述浏览器进一步用于根据该存储地址获取所述图形文件。

9.一种网络web程序和R程序集成处理数据的实现装置，其特征在于，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-4中任一项所述的网络web程序和R程序集成处理数据的实现方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任一项所述的网络web程序和R程序集成处理数据的实现方法。

Images