CN107317845A - 基于Web代理的数据获取方法及装置 - Google Patents

Abstract

本发明公开了一种基于Web代理的数据获取方法及装置，该方法包括：接收浏览器发送的携带原始URL和Referer信息的访问请求；根据所述原始URL和所述Referer信息拼接得到第一内网URL；向Web应用服务器发送携带所述第一内网URL的访问请求，以使所述Web应用服务器获取所述第一内网URL对应的第一数据、并发送携带所述第一数据的访问响应；确定所述第一数据的类型是否是HTML数据；若所述第一数据的类型是非HTML数据，则向所述浏览器发送携带所述第一数据的访问响应。该方案既节省了浏览器获取非HTML数据的时间，又减少了网络资源的消耗。

Description

基于Web代理的数据获取方法及装置

技术领域

本发明涉及网络技术领域，尤指一种基于网页(Web)代理的数据获取方法及装置。

背景技术

Web代理(Proxy Server)，又称在线代理，是通过在浏览器和Web应用服务器之间设置代理服务器来实现的，浏览器与代理服务器之间通过以太网进行交互，代理服务器与Web应用服务器之间通过内网交互，如图1所示是Web代理的网络架构图。浏览器不是直接从Web应用服务器获取数据，而通过代理服务器从Web应用服务器获取数据，该数据可以是超文本标记语言(Hyper Text Markup Language，HTML)数据和非HTML数据，下面以用户获取非HTML数据为例进行说明数据获取方法。

浏览器向代理服务器发送携带原始统一资源定位符(Uniform ResourceLocator，URL)和引用(Referer)信息的访问请求；代理服务器接收到访问请求后，根据第一URL和Referer信息拼接得到代理URL，并向浏览器发送携带代理URL的访问响应；浏览器向代理服务器发送携带代理URL的访问请求；代理服务器根据代理URL得到内网URL，并向Web应用服务器发送携带内网URL的访问请求；Web应用服务器获取与内网URL对应的非HTML数据，并发送给代理服务器；代理服务器向浏览器发送携带与内网URL对应的非HTML数据。

上述数据获取方法中，代理服务器需要拼接出代理URL，并发送给浏览器，浏览器再将该代理URL发送给代理服务器，代理服务器根据代理URL得到内网URL，代理URL在代理服务器与浏览器之间的交互属于无效交互。上述数据获取方法中存在的无效交互，既延长了浏览器获取非HTML数据的时间，又增加了网络资源的消耗。

发明内容

本发明实施例提供一种基于Web代理的数据获取方法及装置，用以解决现有技术中存在的无效交互，既延长了浏览器获取非HTML数据的时间，又增加了网络资源的消耗的问题。

根据本发明实施例，提供一种基于Web代理的数据获取，应用在WEB代理服务器中，包括：

接收浏览器发送的携带原始统一资源定位符URL和引用Referer信息的访问请求；

根据所述原始URL和所述Referer信息确定第一内网URL；

向Web应用服务器发送携带所述第一内网URL的访问请求，以使所述Web应用服务器获取所述第一内网URL对应的第一数据、并发送携带所述第一数据的访问响应；

接收携带所述第一数据的方法响应后，确定所述第一数据的类型是否是超文本标记语言HTML数据；

若所述第一数据的类型是非HTML数据，则向所述浏览器发送携带所述第一数据的访问响应。

具体的，根据所述原始URL和所述Referer信息确定第一内网URL，具体包括：

从所述原始URL中获取统一资源标识符URI；

从所述Referer中获取所述Web应用服务器的名称、通信协议和端口信息；

根据所述通信协议、所述端口信息、所述Web应用服务器的名称和所述URI，拼接得到所述第一内网URL。

具体的，确定所述第一数据的类型是否是HTML数据，具体包括：

确定所述第一数据中是否包括HTML头部；

若所述第一数据中包括HTML头部，则确定所述第一数据的类型是HTML数据；若所述第一数据中不包括HTML头部，则确定所述第一数据的类型是非HTML数据。

可选的，还包括：

若所述第一数据的类型是HTML数据，则向所述浏览器发送携带所述Web应用服务器的名称、端口信息和通信协议的访问响应，以使所述浏览器根据所述Web应用服务器的名称、所述端口信息、所述通信协议和所述代理服务器的名称拼接得到代理URL、并发送携带所述代理URL的访问请求；

接收携带所述代理URL的访问请求后，根据所述代理URL确定第二内网URL；

向所述Web应用服务器发送携带所述第二内网URL的访问请求，以使所述Web应用服务器获取所述第二内网URL对应的第二数据，并发送携带所述第二数据的访问响应；

接收携带所述第二数据的访问响应后，按照设定规则改写所述第二数据；

向所述浏览器发送携带修改后的所述第二数据的访问响应。

具体的，按照设定规则改写所述第二数据，具体包括：

遍历所述第二数据；

确定所述第二数据中是否包括设定URL；

若所述第二数据中包括所述设定URL，则按照所述设定规则改写所述设定URL。

根据本发明实施例，还提供一种基于Web代理的数据获取装置，应用在代理服务器中，包括：

接收模块，用于接收浏览器发送的携带原始统一资源定位符URL和引用Referer信息的访问请求；

第一确定模块，用于根据所述原始URL和所述Referer信息确定第一内网URL；

第一发送模块，用于向Web应用服务器发送携带所述第一内网URL的访问请求，以使所述Web应用服务器获取所述第一内网URL对应的第一数据、并发送携带所述第一数据的访问响应；

第二确定模块，用于接收携带所述第一数据的方法响应后，确定所述第一数据的类型是否是超文本标记语言HTML数据；

第二发送模块，用于若所述第一数据的类型是非HTML数据，则向所述浏览器发送携带所述第一数据的访问响应。

具体的，所述第一确定模块，具体用于：

从所述原始URL中获取统一资源标识符URI；

从所述Referer中获取所述Web应用服务器的名称、通信协议和端口信息；

根据所述通信协议、所述端口信息、所述Web应用服务器的名称和所述URI，拼接得到所述第一内网URL。

具体的，所述第二确定模块，具体用于：

确定所述第一数据中是否包括HTML头部；

若所述第一数据中包括HTML头部，则确定所述第一数据的类型是HTML数据；若所述第一数据中不包括HTML头部，则确定所述第一数据的类型是非HTML数据。

可选的，还包括：

第三发送模块，用于若所述第一数据的类型是HTML数据，则向所述浏览器发送携带所述Web应用服务器的名称、端口信息和通信协议的访问响应，以使所述浏览器根据所述Web应用服务器的名称、所述端口信息、所述通信协议和所述代理服务器的名称拼接得到代理URL、并发送携带所述代理URL的访问请求；

第三确定模块，用于接收携带所述代理URL的访问请求后，根据所述代理URL确定第二内网URL；

第四发送模块，用于向所述Web应用服务器发送携带所述第二内网URL的访问请求，以使所述Web应用服务器获取所述第二内网URL对应的第二数据，并发送携带所述第二数据的访问响应；

改写模块，用于接收携带所述第二数据的访问响应后，按照设定规则改写所述第二数据；

第五发送模块，用于向所述浏览器发送携带修改后的所述第二数据的访问响应。

具体的，所述改写模块，具体用于：

遍历所述第二数据；

确定所述第二数据中是否包括设定URL；

若所述第二数据中包括所述设定URL，则按照所述设定规则改写所述设定URL。

本发明有益效果如下：

本发明实施例提供一种基于Web代理的数据获取方法及装置，通过接收浏览器发送的携带原始URL和Referer信息的访问请求；根据所述原始URL和所述Referer信息拼接得到第一内网URL；向Web应用服务器发送携带所述第一内网URL的访问请求，以使所述Web应用服务器获取所述第一内网URL对应的第一数据、并发送携带所述第一数据的访问响应；确定所述第一数据的类型是否是HTML数据；若所述第一数据的类型是非HTML数据，则向所述浏览器发送携带所述第一数据的访问响应。该方案中，在浏览器需要获取非HTML数据时，代理服务器可以根据原始URL和Referer信息拼接得到第一内网URL，相对于现有技术省去了浏览器与代理服务器之间的无效交互，既节省了浏览器获取非HTML数据的时间，又减少了网络资源的消耗。

附图说明

图1为Web代理的网络架构图；

图2为本发明实施例中一种基于Web代理的数据获取方法的流程图；

图3为本发明实施例中S22的流程图；

图4为本发明实施例中另一种基于Web代理的数据获取方法的流程图；

图5为本发明实施例中S28的流程图；

图6本发明实施例中一种基于Web代理的数据获取装置的结构示意图。

具体实施方式

针对现有技术中存在的无效交互，既延长了浏览器获取非HTML数据的时间，又增加了网络资源的消耗的问题，本发明实施例提供一种基于Web代理的数据获取方法，应用在如图1所示的代理服务器中，该方法的流程如图2所示，执行步骤如下：

S21：接收浏览器发送的携带原始URL和Referer信息的访问请求。

当用户需要获取数据时，可以执行点击超链接、在浏览器上输入相应的搜索关键字等等操作，浏览器会根据这些操作生成原始URL和Referer信息，并向代理服务器发送携带原始URL和Referer信息的访问请求。

访问请求的形式与浏览器和代理服务器之间的通信协议有关，例如若浏览器与代理服务器之间的通信协议为基于安全套接层SSL的HTTP(Hyper Text Transfer Protocolover Secure Socket Layer，HTTPs)，此时访问请求为HTTPs请求。为了便于后续进行说明，可以假设用户需要获取的数据为图片，原始URL可以是https://Webvpn.com/image.jpg，Referer信息可以是https://Webvpn.com/http/80/www.innerWeb.net/。

S22：根据原始URL和Referer信息确定第一内网URL。

继续沿用上例，可以根据https://Webvpn.com/image.jpg和https://Webvpn.com/http/80/www.innerWeb.net/拼接得到第一内网URL，第一内网URL是在代理服务器与Web应用服务器之间传输的URL。

S23：向Web应用服务器发送携带第一内网URL的访问请求，以使Web应用服务器获取第一内网URL对应的第一数据、并发送携带第一数据的访问响应。

代理服务器可以将第一内网URL携带在访问请求中发送给Web应用服务器，Web应用服务器可以获取第一内网URL对应的数据，这里定义为第一数据，然后将第一数据携带在访问请求中发送给代理服务器。

S24：接收携带第一数据的访问响应后，确定第一数据的类型是否是HTML数据。

第一数据的类型可以是HTML数据，也可以是非HTML数据，不同的类型会有不同的处理方式，因此需要首先确定第一数据的类型。

具体实现过程可以是：确定第一数据中是否包括HTML头部；若第一数据中包括HTML头部，则确定第一数据的类型是HTML数据；若第一数据中不包括HTML头部，则确定第一数据的类型是非HTML数据。由于HTML数据会包括HTML头部，因此，可以第一数据是否包括HTML头部来确定第一数据的类型是否是HTML数据。

S25：若第一数据的类型是非HTML数据，则向浏览器发送携带第一数据的访问响应。

对于非HTML数据的第一数据，可以直接发送给浏览器，并由浏览器展示给用户。

该方案中，在浏览器需要获取非HTML数据时，代理服务器可以根据原始URL和Referer信息拼接得到第一内网URL，相对于现有技术省去了浏览器与代理服务器之间的无效交互，既节省了浏览器获取非HTML数据的时间，又减少了网络资源的消耗。

具体的，上述S22中的根据原始URL和Referer信息确定第一内网URL的实现过程，如图3所示具体包括：

S221：从原始URL中获取统一资源标识符(Uniform Resource Identifier，URI)。

继续沿用图2中的实例，原始URL是https://Webvpn.com/image.jpg，那么URI为image.jpg。

S222：从Referer中获取Web应用服务器的名称、通信协议和端口信息。

继续沿用图2中的实例，Referer信息是https://Webvpn.com/http/80/www.innerWeb.net/，那么，Web应用服务器的名称为www.innerWeb.net，通信协议为HTTP，端口信息为80。

S223：根据通信协议、端口信息、Web应用服务器的名称和URI，拼接得到第一内网URL。

继续沿用图2中的实例，拼接得到的第一内网URL可以是http://www.innerWeb.net/image.jpg，其中端口信息为80，可以省略。

可选的，一种优选的基于Web代理的数据获取方法如图4所示，在如图2所示的方法的基础上还包括：

S26：若第一数据的类型是HTML数据，则向浏览器发送携带Web应用服务器的名称、端口信息和通信协议的访问响应，以使浏览器根据Web应用服务器的名称、端口信息、通信协议和代理服务器的名称拼接得到代理URL、并发送携带代理URL的访问请求。

若第一数据的类型是HTML数据，可以假设S21中的原始URL是https://Webvpn.com/index.html，S21中的Referer信息是https://Webvpn.com/http/80/www.innerWeb.net/。S22中的第一内网URL为http://www.innerWeb.net/index.html。

在执行S21-S24之后，可以向浏览器发送携带Web应用服务器的名称、端口信息和通信协议的访问响应，其中Web应用服务器的名称为www.innerWeb.net，端口信息为80，通信协议为HTTP。

浏览器会根据Web应用服务器的名称、端口信息、通信协议和代理服务器的名称拼接得到代理URL，即：https://Webvpn.com/http/80/www.innerWeb.net/index.html；然后将代理URL携带在访问请求中发送给代理服务器。

S27：接收携带代理URL的访问请求后，根据代理URL确定第二内网URL。

继续沿用上例，代理URL为https://Webvpn.com/http/80/www.innerWeb.net/index.html，可以从中获取URI为index.html，通信协议为HTTP，端口为80，然后根据URI、Web应用服务器的名称、通信协议和端口信息拼接可以得到第二内网URL，即http://www.innerWeb.net/index.html，其中，端口信息为80，可以省略。

S28：向Web应用服务器发送携带第二内网URL的访问请求，以使Web应用服务器获取第二内网URL对应的第二数据，并发送携带第二数据的访问响应。

代理服务器将第二内网URL携带在访问请求中发送给Web应用服务器，Web应用服务器可以获取第二内网URL对应的数据，这里定义为第二数据，并将第二数据携带在访问响应中发送给代理服务器。

S29：接收携带第二数据的访问响应后，按照设定规则改写第二数据。

若需要对第二数据进行改写，可以预先确定设定规则，然后根据该设定规则改写第二数据。

S30：向浏览器发送携带修改后的第二数据的访问响应。

通过步骤S21-S30，用户可以获取到HTML数据。

具体的，上述S28中的按照设定规则改写第二数据实现过程，如图5所示，具体包括：

S281：遍历第二数据。

由于第二数据中一般包含很多信息，因此，在改写第二数据时，首先需要遍历第二数据。

S282：确定第二数据中是否包括设定URL。

确定第二数据中是否包括设定URL，设定URL可以根据需要进行设定，例如，设定URL可以为http[s]://xxx。

S283：若第二数据中包括设定URL，则按照设定规则改写设定URL。

设定规则可以根据实际需要进行设定，下面举例进行说明。例如，第二数据中包括：

<a href＝"http://www.abc.com/">跳转到abc</a>；

可以将其改写为：

<a href＝"https://Webvpn.com/http/80/www.abc.com/">跳转到abc</a>。

基于同一发明构思，本发明实施例提供一种基于Web代理的数据获取装置，应用在如图1所示的代理服务器中，结构如图6所示，包括：

接收模块61，用于接收浏览器发送的携带原始统一资源定位符URL和引用Referer信息的访问请求；

第一确定模块62，用于根据原始URL和Referer信息确定第一内网URL；

第一发送模块63，用于向Web应用服务器发送携带第一内网URL的访问请求，以使Web应用服务器获取第一内网URL对应的第一数据、并发送携带第一数据的访问响应；

第二确定模块64，用于接收携带第一数据的方法响应后，确定第一数据的类型是否是超文本标记语言HTML数据；

第二发送模块65，用于若第一数据的类型是非HTML数据，则向浏览器发送携带第一数据的访问响应。

该方案中，在浏览器需要获取非HTML数据时，代理服务器可以根据原始URL和Referer信息拼接得到第一内网URL，相对于现有技术省去了浏览器与代理服务器之间的无效交互，既节省了浏览器获取非HTML数据的时间，又减少了网络资源的消耗。

具体的，第一确定模块62，具体用于：

从原始URL中获取统一资源标识符URI；

从Referer中获取Web应用服务器的名称、通信协议和端口信息；

根据通信协议、端口信息、Web应用服务器的名称和URI，拼接得到第一内网URL。

具体的，第二确定模块64，具体用于：

确定第一数据中是否包括HTML头部；

若第一数据中包括HTML头部，则确定第一数据的类型是HTML数据；若第一数据中不包括HTML头部，则确定第一数据的类型是非HTML数据。

可选的，还包括：

第三发送模块，用于若第一数据的类型是HTML数据，则向浏览器发送携带Web应用服务器的名称、端口信息和通信协议的访问响应，以使浏览器根据Web应用服务器的名称、端口信息、通信协议和代理服务器的名称拼接得到代理URL、并发送携带代理URL的访问请求；

第三确定模块，用于接收携带代理URL的访问请求后，根据代理URL确定第二内网URL；

第四发送模块，用于向Web应用服务器发送携带第二内网URL的访问请求，以使Web应用服务器获取第二内网URL对应的第二数据，并发送携带第二数据的访问响应；

改写模块，用于接收携带第二数据的访问响应后，按照设定规则改写第二数据；

第五发送模块，用于向浏览器发送携带修改后的第二数据的访问响应。

具体的，改写模块，具体用于：

遍历第二数据；

确定第二数据中是否包括设定URL；

若第二数据中包括设定URL，则按照设定规则改写设定URL。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于Web代理的数据获取方法，应用在代理服务器中，其特征在于，包括：

接收浏览器发送的携带原始统一资源定位符URL和引用Referer信息的访问请求；

根据所述原始URL和所述Referer信息确定第一内网URL；

向Web应用服务器发送携带所述第一内网URL的访问请求，以使所述Web应用服务器获取所述第一内网URL对应的第一数据、并发送携带所述第一数据的访问响应；

接收携带所述第一数据的方法响应后，确定所述第一数据的类型是否是超文本标记语言HTML数据；

若所述第一数据的类型是非HTML数据，则向所述浏览器发送携带所述第一数据的访问响应。

2.如权利要求1所述的方法，其特征在于，根据所述原始URL和所述Referer信息确定第一内网URL，具体包括：

从所述原始URL中获取统一资源标识符URI；

从所述Referer中获取所述Web应用服务器的名称、通信协议和端口信息；

根据所述通信协议、所述端口信息、所述Web应用服务器的名称和所述URI，拼接得到所述第一内网URL。

3.如权利要求1所述的方法，其特征在于，确定所述第一数据的类型是否是HTML数据，具体包括：

确定所述第一数据中是否包括HTML头部；

若所述第一数据中包括HTML头部，则确定所述第一数据的类型是HTML数据；若所述第一数据中不包括HTML头部，则确定所述第一数据的类型是非HTML数据。

4.如权利要求1-3任一所述的方法，其特征在于，还包括：

若所述第一数据的类型是HTML数据，则向所述浏览器发送携带所述Web应用服务器的名称、端口信息和通信协议的访问响应，以使所述浏览器根据所述Web应用服务器的名称、所述端口信息、所述通信协议和所述代理服务器的名称拼接得到代理URL、并发送携带所述代理URL的访问请求；

接收携带所述代理URL的访问请求后，根据所述代理URL确定第二内网URL；

向所述Web应用服务器发送携带所述第二内网URL的访问请求，以使所述Web应用服务器获取所述第二内网URL对应的第二数据，并发送携带所述第二数据的访问响应；

接收携带所述第二数据的访问响应后，按照设定规则改写所述第二数据；

向所述浏览器发送携带修改后的所述第二数据的访问响应。

5.如权利要求4所述的方法，其特征在于，按照设定规则改写所述第二数据，具体包括：

遍历所述第二数据；

确定所述第二数据中是否包括设定URL；

若所述第二数据中包括所述设定URL，则按照所述设定规则改写所述设定URL。

6.一种基于Web代理的数据获取装置，应用在代理服务器中，其特征在于，包括：

接收模块，用于接收浏览器发送的携带原始统一资源定位符URL和引用Referer信息的访问请求；

第一确定模块，用于根据所述原始URL和所述Referer信息确定第一内网URL；

第一发送模块，用于向Web应用服务器发送携带所述第一内网URL的访问请求，以使所述Web应用服务器获取所述第一内网URL对应的第一数据、并发送携带所述第一数据的访问响应；

第二确定模块，用于接收携带所述第一数据的方法响应后，确定所述第一数据的类型是否是超文本标记语言HTML数据；

第二发送模块，用于若所述第一数据的类型是非HTML数据，则向所述浏览器发送携带所述第一数据的访问响应。

7.如权利要求6所述的装置，其特征在于，所述第一确定模块，具体用于：

从所述原始URL中获取统一资源标识符URI；

从所述Referer中获取所述Web应用服务器的名称、通信协议和端口信息；

根据所述通信协议、所述端口信息、所述Web应用服务器的名称和所述URI，拼接得到所述第一内网URL。

8.如权利要求6所述的装置，其特征在于，所述第二确定模块，具体用于：

确定所述第一数据中是否包括HTML头部；

若所述第一数据中包括HTML头部，则确定所述第一数据的类型是HTML数据；若所述第一数据中不包括HTML头部，则确定所述第一数据的类型是非HTML数据。

9.如权利要求6-8任一所述的装置，其特征在于，还包括：

第三发送模块，用于若所述第一数据的类型是HTML数据，则向所述浏览器发送携带所述Web应用服务器的名称、端口信息和通信协议的访问响应，以使所述浏览器根据所述Web应用服务器的名称、所述端口信息、所述通信协议和所述代理服务器的名称拼接得到代理URL、并发送携带所述代理URL的访问请求；

第三确定模块，用于接收携带所述代理URL的访问请求后，根据所述代理URL确定第二内网URL；

第四发送模块，用于向所述Web应用服务器发送携带所述第二内网URL的访问请求，以使所述Web应用服务器获取所述第二内网URL对应的第二数据，并发送携带所述第二数据的访问响应；

改写模块，用于接收携带所述第二数据的访问响应后，按照设定规则改写所述第二数据；

第五发送模块，用于向所述浏览器发送携带修改后的所述第二数据的访问响应。

10.如权利要求9所述的装置，其特征在于，所述改写模块，具体用于：

遍历所述第二数据；

确定所述第二数据中是否包括设定URL；

若所述第二数据中包括所述设定URL，则按照所述设定规则改写所述设定URL。