CN104462570A - 网页内容获取方法及装置 - Google Patents

Abstract

本公开提供网页内容获取方法及装置，所述方法包括：获取网络请求，所述网络请求中包含下载地址；将所述网络请求转发给开放代理服务器；接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。本公开中正向代理服务器可以利用网络中开放代理服务器的开放代理资源获取下载终端请求下载的网页内容，从而可以充分利用网络中的IP地址资源来满足搜索引擎对网页内容的抓取需求，提高了网页内容的获取效率。

Description

网页内容获取方法及装置

技术领域

本公开涉及网络通信技术领域，尤其涉及网页内容获取方法及装置。

背景技术

搜索引擎是通过从互联网中搜集信息，以便向用户提供检索服务的系统，上述信息主要指各种网站提供的网页内容，通常搜索引擎服务器可以通过爬虫(spider)程序对一定公网IP(Internet Protocol，互联网协议)地址范围内的网站服务器进行检索，从而抓取网页内容。但是，多数网站服务器为了缓解访问压力，通常会对来自同一IP地址的搜索引擎服务器所提供的爬虫程序的访问频率进行限制。因此，相关技术中，搜索引擎服务器会将网页内容抓取任务分发给分配了不同公网IP地址的下载终端，通过多个下载终端同时抓取网页内容，以避免网站服务器的访问限制。

但是，由于公网IP地址资源有限，相应能够分配给下载终端的IP地址的数量也有限，因此通过有限的IP地址资源难以满足搜索引擎对网页内容的抓取需求，从而导致搜索引擎的网页内容抓取效率不高。

发明内容

本公开提供了网页内容获取方法及装置，以解决相关技术中网页内容获取效率不高的问题。

根据本公开实施例的第一方面，提供一种网页内容获取方法，所述方法包括：

获取网络请求，所述网络请求中包含下载地址；

将所述网络请求转发给开放代理服务器；

接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

可选的，所述方法还包括：

预先设置代理服务列表，所述代理服务列表中包含网络中开放代理服务器的互联网协议IP地址和端口号；

根据所述网络中开放代理服务器的变化情况更新所述代理服务列表。

可选的，所述根据所述网络中开放代理服务器的变化情况更新所述代理服务列表，包括：

按照预设的第一时间周期，从代理信息提供服务器获取所述网络中新增的开放代理服务器的IP地址和端口号；

将所述新增的开放代理服务器的IP地址和端口号添加到所述代理服务列表中。

可选的，所述根据所述网络中开放代理服务器的变化情况更新所述代理服务列表，包括：

按照预设的第二时间周期，根据所述代理服务列表中的IP地址和端口号访问对应的开放代理服务器；

将未返回访问应答的开放代理服务器的IP地址和端口号从所述代理服务列表中删除。

可选的，所述将所述网络请求转发给开放代理服务器，包括：

从所述代理服务列表中为所述网络请求选择目标IP地址和端口号；

将所述网络请求发送到所述目标IP地址和端口号指向的目标代理服务器上的目标端口。

可选的，按照如下任一方式，从所述代理服务列表中为所述网络请求选择目标IP地址和端口号：

从所述代理服务列表中为所述网络请求随机选择至少一个目标IP地址和端口号；或者，

从所述代理服务列表中按照开放代理服务器的权重从高到低的顺序选择至少一个目标IP地址和端口号。

根据本公开实施例的第二方面，提供另一种网页内容获取方法，所述方法包括：

向正向代理服务器发送网络请求，以使所述正向代理服务器将所述网络请求转发给开放代理服务器，所述网络请求中包含下载地址；

接收所述正向代理服务器返回的网页内容，所述网页内容为所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

可选的，所述向正向代理服务器发送网络请求，包括：

获取预先配置的所述正向代理服务器的IP地址和端口号；

按照所述IP地址和端口号，将所述网络请求发送到所述正向代理服务器上与所述端口号对应的端口。

根据本公开实施例的第三方面，提供一种网页内容获取装置，所述装置包括：

获取单元，用于获取网络请求，所述网络请求中包含下载地址；

转发单元，用于将所述网络请求转发给开放代理服务器；

接收单元，用于接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

可选的，所述装置还包括：

设置单元，用于预先设置代理服务列表，所述代理服务列表中包含网络中开放代理服务器的互联网协议IP地址和端口号；

更新单元，用于根据所述网络中开放代理服务器的变化情况更新所述代理服务列表。

可选的，所述更新单元包括：

新增代理获取子单元，用于按照预设的第一时间周期，从代理信息提供服务器获取所述网络中新增的开放代理服务器的IP地址和端口号；

代理信息添加子单元，用于将所述新增的开放代理服务器的IP地址和端口号添加到所述代理服务列表中。

可选的，所述更新单元包括：

开放代理访问子单元，用于按照预设的第二时间周期，根据所述代理服务列表中的IP地址和端口号访问对应的开放代理服务器；

代理信息删除子单元，用于将未返回访问应答的开放代理服务器的IP地址和端口号从所述代理服务列表中删除。

可选的，所述获取单元包括：

代理信息选择子单元，用于从所述代理服务列表中为所述网络请求选择目标IP地址和端口号；

网络请求发送子单元，用于将所述网络请求发送到所述目标IP地址和端口号指向的目标代理服务器上的目标端口。

可选的，所述代理信息选择子单元包括至少一个下述模块：

随机选择模块，用于从所述代理服务列表中为所述网络请求随机选择至少一个目标IP地址和端口号；

权重选择模块，用于从所述代理服务列表中按照开放代理服务器的权重从高到低的顺序选择至少一个目标IP地址和端口号。

根据本公开实施例的第四方面，提供另一种网页内容获取装置，所述装置包括：

发送单元，用于向正向代理服务器发送网络请求，以使所述正向代理服务器将所述网络请求转发给开放代理服务器，所述网络请求中包含下载地址；

接收单元，用于接收所述正向代理服务器返回的网页内容，所述网页内容为所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

可选的，所述发送单元包括：

代理信息获取子单元，用于获取预先配置的所述正向代理服务器的IP地址和端口号；

网络请求发送子单元，用于按照所述IP地址和端口号，将所述网络请求发送到所述正向代理服务器上与所述端口号对应的端口。

根据本公开实施例的第五方面，提供一种网页内容获取装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

获取网络请求，所述网络请求中包含下载地址；

将所述网络请求转发给开放代理服务器；

接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

根据本公开实施例的第六方面，提供一种网页内容获取装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

向正向代理服务器发送网络请求，以使所述正向代理服务器将所述网络请求转发给开放代理服务器，所述网络请求中包含下载地址；

接收所述正向代理服务器返回的网页内容，所述网页内容为所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开中正向代理服务器在获取到包含下载地址的网络请求后，将网络请求转发给网络中的开放代理服务器，该开放代理服务器根据下载地址从内容服务器获得网页内容，并返回给正向代理服务器。由于开放代理服务器为网络中已经分配了IP地址的开放资源，因此正向代理服务器可以利用这些开放代理服务器获取下载终端请求下载的网页内容，从而可以充分利用网络中的IP地址资源来满足搜索引擎对网页内容的抓取需求，提高了网页内容的获取效率；并且，由于所有下载终端都可以通过正向代理服务器获取网页内容，因此便于正向代理服务器对下载终端进行统一管理。

本公开中正向代理服务器可以通过设置代理服务列表维护网络中开放代理服务器的开放代理信息，从而可以根据该开放代理列表为不同下载终端选择开放代理服务器，从而可以充分协调和利用开放代理资源为下载终端获取网页内容。

本公开中正向代理服务器可以定期根据网络中开放代理服务器的变化情况，更新代理服务列表，从而保证代理服务列表中维护的IP地址和端口号均为可用的开放代理服务器的IP地址和端口号，进一步提高网页内容的获取效率。

本公开中正向代理服务器在基于代理服务列表选择目标IP地址和端口号时，可以根据需要灵活采用不同的选择方式，以便充分利用网络中的开放代理资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种网页内容获取方法流程图。

图2是本公开根据一示例性实施例示出的另一种网页内容获取方法流程图。

图3本公开根据一示例性实施例示出的一种网页内容获取应用场景示意图。

图4A是本公开根据一示例性实施例示出的另一种网页内容获取方法流程图。

图4B是本公开根据一示例性实施例示出的另一种网页内容获取方法流程图。

图5是本公开根据一示例性实施例示出的一种网页内容获取装置框图。

图6是本公开根据一示例性实施例示出的另一种网页内容获取装置框图。

图7是本公开根据一示例性实施例示出的另一种网页内容获取装置框图。

图8是本公开根据一示例性实施例示出的另一种网页内容获取装置框图。

图9是本公开根据一示例性实施例示出的另一种网页内容获取装置框图。

图10是本公开根据一示例性实施例示出的另一种网页内容获取装置框图。

图11是本公开根据一示例性实施例示出的另一种网页内容获取装置框图。

图12是本公开根据一示例性实施例示出的另一种网页内容获取装置框图。

图13是本公开根据一示例性实施例示出的一种用于网页内容获取装置的一结构示意图。

图14是本公开根据一示例性实施例示出的一种用于网页内容获取装置的另一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

如图1所示，图1是根据一示例性实施例示出的一种网页内容获取方法流程图，该方法可以用于正向代理服务器中，包括以下步骤：

在步骤101中，获取网络请求，该网络请求中包含下载地址。

通常搜索引擎为了从网络中抓取网页内容，可以设置多个下载终端，并向每个下载终端分配不同的下载任务，该下载任务中包含需要通过该下载终端获取的网页内容的下载地址。

为了充分利用网络中已有的IP地址资源，本公开实施例中无需为每个下载终端分配新的IP地址，而是可以利用网络中设置的各种开放代理服务器来抓取网页内容，开放代理服务器本身已经分配了IP地址，不会再占用有限的公网IP资源。这些开放代理服务器的信息可以由网络中专门的代理信息提供服务器进行收集，并将信息发布在网站上。

本公开实施例中通过设置正向代理服务器，分别与下载终端和开放代理服务器进行交互，以利用开放代理服务器为下载终端获取网页内容。当下载终端分配到下载任务后，可以根据该下载任务生成包含下载地址的网络请求，并将该网络请求发送给正向代理服务器。

在步骤102中，将网络请求转发给开放代理服务器。

本公开实施例中，正向代理服务器为了获取网络中开放代理服务器的信息，可以预先设置代理服务列表，并可以定期访问用于发布开放代理服务器的信息的网站，从该网站的代理信息提供服务器上获取开放代理服务器的IP地址和端口号，并将每个开放代理服务器的IP地址和端口号作为一条表项保存到代理服务列表中。

当正向代理服务器接收到下载终端发送的网络请求后，可以从上述代理服务列表中为网络请求选择目标IP地址和目标端口号，该目标IP地址和目标端口号为作为开放代理服务器的目标代理服务器的IP地址和端口号，然后正向代理服务器将网络请求发送到该目标代理服务器上与目标端口号对应的目标端口。

在步骤103中，接收开放代理服务器根据下载地址从内容服务器获得的网页内容。

当作为目标代理服务器的开放代理服务器接收到网络请求后，获取该网络请求中的下载地址，并利用自身已分配的IP地址，按照该下载地址从相应的内容服务器获取网页内容，并将获取到的网页内容发送给正向代理服务器。

本公开实施例中，由于正向代理服务器可以同时接收到多个下载终端发送的网络请求，因此为了区别不同下载终端的网络请求，可以预先设置终端信息列表，当接收到任一网络请求时，可以将发送该网络请求的下载终端的终端标识与网络请求的请求标识之间的对应关系保存到终端信息列表中；当正向代理服务器向开放代理服务器发送网络请求时，可以携带该网络请求的请求标识，并在接收到开放代理服务器返回的网页内容时，根据该网页内容中携带的请求标识查找该终端信息列表，获得与该请求标识对应的下载终端的终端标识，并按照该终端标识将网页内容返回给对应的下载终端。

由上述实施例可见，由于开放代理服务器为网络中已经分配了IP地址的开放资源，因此正向代理服务器可以利用这些开放代理服务器获取下载终端请求下载的网页内容，从而可以充分利用网络中的IP地址资源来满足搜索引擎对网页内容的抓取需求，提高了网页内容的获取效率；并且，由于所有下载终端都通过正向代理服务器获取网页内容，因此便于正向代理服务器对下载终端进行统一管理。

如图2所示，图2是根据一示例性实施例示出的另一种网页内容获取方法流程图，该方法可以应用在下载终端中，包括以下步骤：

在步骤201中，向正向代理服务器发送网络请求，以使正向代理服务器将网络请求转发给开放代理服务器，该网络请求中包含下载地址。

本公开实施例中通过设置正向代理服务器，分别与下载终端和开放代理服务器进行交互，以利用开放代理服务器为下载终端获取网页内容。为了实现与正向代理服务器之间的交互，下载终端上可以预先配置正向代理服务器的IP地址和端口号，当下载终端接收到搜索引擎分配的下载任务后，生成包含该下载任务的网络请求，并可以按照已配置的正向代理服务器的IP地址和端口号，将该网络请求发送到该正向代理服务器上与该端口号对应的端口。

在步骤202中，接收正向代理服务器返回的网页内容，该网页内容为开放代理服务器根据下载地址从内容服务器获得的网页内容。

由上述实施例可见，由于开放代理服务器为网络中已经分配了IP地址的开放资源，因此正向代理服务器可以利用这些开放代理服务器获取下载终端请求下载的网页内容，从而可以充分利用网络中的IP地址资源来满足搜索引擎对网页内容的抓取需求，提高了网页内容的获取效率。

参见图3，为本公开根据一示例性实施例示出的一种获取网页内容的应用场景示意图：

图3中包括：正向代理服务器，下载终端，开放代理服务器，以及内容服务器。其中，正向代理服务器上维护了代理服务列表，该正向代理服务器可以具体相关技术中的squid服务器，该代理服务列表可以设置在正向代理服务器的缓存(cache)中；多个下载终端可以由搜索引擎设置，这些下载终端上可以预先配置正向代理服务器的IP地址和端口号，以便将网络请求发送至该正向代理服务器；多个开放代理服务器为网络中可用于获取网页内容的代理服务器，正向代理服务器可以将这些开放代理服务器的IP地址和端口号保存在代理服务列表中；多个内容服务器是由不同网站设置的服务器，内容服务器用于提供各种网页内容。当正向代理服务器将下载终端发送的网络请求发送到多个开放代理服务器中的目标代理服务器后，该目标代理服务器可以按照网络请求中的下载地址从相应的内容服务器获取网页内容，并将网页内容发送给正向代理服务器，由正向代理服务器将网页内容返回给下载终端，从而实现搜索引擎对网页内容的抓取。

下面结合图3所示的应用场景分别对代理服务列表的维护过程，以及网页内容的获取过程进行详细描述。

如图4A所示，图4A是根据一示例性实施例示出的另一种网页内容获取方法流程图，该方法可以应用在正向代理服务器中，描述了正向代理服务器维护代理服务列表的过程，包括以下步骤：

在步骤401中，预先设置代理服务列表，代理服务列表中包含网络中开放代理服务器的IP地址和端口号。

为了充分利用网络中已有的IP地址资源，本公开实施例中可以利用网络中设置的各种开放代理服务器来抓取网页内容，开放代理服务器本身已经分配了IP地址，不会再占用有限的公网IP资源。这些开放代理服务器的信息可以由网络中专门的代理信息提供服务器进行收集，并将信息发布在网站上。因此正向代理服务器可以预先设置代理服务列表，并可以访问用于发布开放代理服务器的信息的网站，从该网站的代理信息提供服务器上获取开放代理服务器的IP地址和端口号，并将获取到的每个开放代理服务器的IP地址和端口号作为一条表项保存到代理服务列表中。如下表1所示，为代理服务列表的示例，该表1中包含了两条表项：

表1

编号	IP地址	端口号
			1	IP1	端口11
2	IP2	端口21
			3	IP3	端口31

在步骤402中，按照预设的第一时间周期，从代理信息提供服务器获取网络中新增的开放代理服务器的IP地址和端口号。

本公开实施例中，第一时间周期可以根据需要灵活设置，例如，为一天。在第一时间周期到达时，正向代理服务器可以从代理信息提供服务器获取当前所有开放代理服务器的IP地址和端口号，然后将这些IP地址与表1所示的代理服务列表中的IP地址进行比较，将代理服务列表中没有的IP地址及其对应的端口号作为新增的开放代理服务器的IP地址和端口号。

在步骤403中，将新增的开放代理服务器的IP地址和端口号添加到代理服务列表中。

在前述表1基础上，新增了开放代理服务器的IP地址和端口号的代理服务列表如下表2所示：

表2

编号	IP地址	端口号
			1	IP1	端口11
2	IP2	端口21
			3	IP3	端口31
4	IP4	端口41

在步骤404中，按照预设的第二时间周期，根据代理服务列表中的IP地址和端口号访问对应的开放代理服务器。

本公开实施例中，第二时间周期也可以根据需要灵活设置，例如，可以设置为一个小时。在第二时间周期到达时，正向代理服务器可以遍历代理服务列表中的表项，向每条表项包含的IP地址和端口号对应的开放代理服务器发送访问请求。

在步骤405中，将未返回访问应答的开放代理服务器的IP地址和端口号从代理服务列表中删除。

正向代理服务器在发送了访问请求后，如果对应的开放代理服务器未返回访问应答，则可以确定该开放代理服务器已经失效，此时可以从代理服务列表中将该失效的代理服务器的IP地址和端口号删除。例如，在表1基础上，假设IP2和端口21对应的开放代理服务器未返回访问应答，则将IP2和端口21这一条表项从表1中删除，更新后的代理服务列表如下表3所示：

表3

编号	IP地址	端口号
			1	IP1	端口11
2	IP3	端口31

需要说明的是，上述步骤402和步骤403所描述的增加开放代理服务器信息的过程，与上述步骤404和步骤405描述的删除开放代理服务器信息的过程，其相互之间在执行时序上不分先后，可以并行执行，本实施例中按照步骤先后描述仅为示例方便，并不用于本公开进行限制。

由上述实施例可见，正向代理服务器可以通过设置代理服务列表维护网络中开放代理服务器的开放代理信息，从而可以根据该开放代理列表为不同下载终端选择开放代理服务器，从而可以充分协调和利用开放代理资源为下载终端获取网页内容；并且，正向代理服务器可以定期根据网络中开放代理服务器的变化情况，更新代理服务列表，从而保证代理服务列表中维护的IP地址和端口号均为可用的开放代理服务器的IP地址和端口号，进一步提高网页内容的获取效率。

如图4B所示，图4B是根据一示例性实施例示出的另一种网页内容获取方法流程图，该方法通过下载终端、正向代理服务器和开放代理服务器之间的交互描述了网页内容的获取过程，包括以下步骤：

在步骤410中，正向代理服务器维护代理服务列表。

本步骤中，正向代理服务器维护代理服务列表的具体过程可以参见图4A中的描述，在此不再赘述。

在步骤411中，下载终端上预先配置正向代理服务器的IP地址和端口号。

本公开实施例中，为了实现与正向代理服务器之间的交互，下载终端上可以预先配置正向代理服务器的IP地址和端口号，以便将该IP地址和端口号作为与正向代理服务器交互的目的IP地址和目的端口号。

在步骤412中，下载终端获得搜索引擎分配的下载任务的下载地址。

通常搜索引擎为了从网络中抓取网页内容，可以设置多个下载终端，并向每个下载终端分配不同的下载任务，该下载任务中包含需要通过该下载终端获取的网页内容的下载地址，例如，该下载地址可以是网页内容的URL(UniformResource Locator，统一资源定位符)。

在步骤413中，下载终端按照正向代理服务器的IP地址和端口号，向正向代理服务器上与其端口号对应的端口发送包含下载地址的网络请求。

当下载终端接收到搜索引擎分配的下载任务后，生成包含该下载任务的网络请求，并可以按照已配置的正向代理服务器的IP地址和端口号，将该网络请求发送到该正向代理服务器上与该端口号对应的端口。

在步骤414中，正向代理服务器从代理服务列表中为网络请求选择目标IP地址和端口号。

当正向代理服务器接收到下载终端发送的网络请求后，可以从代理服务列表中为网络请求选择目标IP地址和目标端口号，该目标IP地址和目标端口号为作为开放代理服务器的目标代理服务器的IP地址和端口号。

本实施例中正向代理服务器可以采用不同的方式选择目标IP地址和端口号。一种方式可以为，正向代理服务器从代理服务列表中随机选择至少一个目标IP地址和端口号，例如，从表1中选择编号为1和3的表项中的IP地址和端口号作为目标IP地址和端口号；另一种方式可以为，正向代理服务器从代理服务列表中按照开放代理服务器的权重从高到低的顺序选择至少一个目标IP地址和端口号，采用该方式时，可以在如表1所示的代理服务列表中增加开放代理服务器的权重字段，每个开放代理服务器的权重可以预先设置，也可以根据需要调整，对此本公开实施例不进行限制。

在步骤415中，正向代理服务器将网络请求发送到目标IP地址和端口号指向的目标代理服务器上的目标端口。

在步骤416中，目标代理服务器根据网络请求中的下载地址从内容服务器获得网页内容。

在步骤417中，目标代理服务器将网页内容发送给开放代理服务器。

在步骤418中，开放代理服务器将网页内容返回给下载终端。

由上述实施例可见，由于开放代理服务器为网络中已经分配了IP地址的开放资源，因此正向代理服务器可以利用这些开放代理服务器获取下载终端请求下载的网页内容，从而可以充分利用网络中的IP地址资源来满足搜索引擎对网页内容的抓取需求，提高了网页内容的获取效率；并且，由于所有下载终端都通过正向代理服务器获取网页内容，因此便于正向代理服务器对下载终端进行统一管理。

与前述网页内容获取方法实施例相对应，本公开还提供了网页内容获取装置的实施例。

如图5所示，图5是本公开根据一示例性实施例示出的一种网页内容获取装置框图，所述装置包括：获取单元510、转发单元520和接收单元530。

其中，所述获取单元510，被配置为获取网络请求，所述网络请求中包含下载地址；

所述转发单元520，被配置为将所述网络请求转发给开放代理服务器；

所述接收单元530，被配置为接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

上述实施例中，由于开放代理服务器为网络中已经分配了IP地址的开放资源，因此可以利用这些开放代理服务器获取下载终端请求下载的网页内容，从而可以充分利用网络中的IP地址资源来满足搜索引擎对网页内容的抓取需求，提高了网页内容的获取效率；并且，由于所有下载终端都通过该装置获取网页内容，因此便于该装置对下载终端进行统一管理。

如图6所示，图6是本公开根据一示例性实施例示出的另一种网页内容获取装置框图，该实施例在前述图5所示实施例的基础上，所述装置还可以包括：设置单元540和更新单元550。

其中，所述设置单元540，被配置为预先设置代理服务列表，所述代理服务列表中包含网络中开放代理服务器的互联网协议IP地址和端口号；

所述更新单元550，被配置为根据所述网络中开放代理服务器的变化情况更新所述代理服务列表。

上述实施例中，可以通过设置代理服务列表维护网络中开放代理服务器的开放代理信息，从而可以根据该开放代理列表为不同下载终端选择开放代理服务器，从而可以充分协调和利用开放代理资源为下载终端获取网页内容。

如图7所示，图7是本公开根据一示例性实施例示出的另一种网页内容获取装置框图，该实施例在前述图6所示实施例的基础上，所述更新单元550可以包括：新增代理获取子单元551和代理信息添加子单元552。

其中，所述新增代理获取子单元551，被配置为按照预设的第一时间周期，从代理信息提供服务器获取所述网络中新增的开放代理服务器的IP地址和端口号；

所述代理信息添加子单元552，被配置为将所述新增的开放代理服务器的IP地址和端口号添加到所述代理服务列表中。

如图8所示，图8是本公开根据一示例性实施例示出的另一种网页内容获取装置框图，该实施例在前述图6所示实施例的基础上，所述更新单元550可以包括：开放代理访问子单元553和代理信息删除子单元554。

其中，所述开放代理访问子单元553，被配置为按照预设的第二时间周期，根据所述代理服务列表中的IP地址和端口号访问对应的开放代理服务器；

所述代理信息删除子单元554，被配置为将未返回访问应答的开放代理服务器的IP地址和端口号从所述代理服务列表中删除。

上述图7和图8示出的实施例中，可以定期根据网络中开放代理服务器的变化情况，更新代理服务列表，从而保证代理服务列表中维护的IP地址和端口号均为可用的开放代理服务器的IP地址和端口号，进一步提高网页内容的获取效率。

如图9所示，图9是本公开根据一示例性实施例示出的另一种网页内容获取装置框图，该实施例在前述图6所示实施例的基础上，所述获取单元510可以包括：代理信息选择子单元511和网络请求发送子单元512。

其中，所述代理信息选择子单元511，被配置为从所述代理服务列表中为所述网络请求选择目标IP地址和端口号；

所述网络请求发送子单元512，被配置为将所述网络请求发送到所述目标IP地址和端口号指向的目标代理服务器上的目标端口。

如图10所示，图10是本公开根据一示例性实施例示出的另一种网页内容获取装置框图，该实施例在前述图9所示实施例的基础上，所述代理信息选择子单元511可以包括至少一个下述模块：随机选择模块5111和权重选择模块5112，为了示例方便，图10中同时示出了上述两个模块。

其中，所述随机选择模块5111，被配置为从所述代理服务列表中为所述网络请求随机选择至少一个目标IP地址和端口号；

所述权重选择模块5112，被配置为从所述代理服务列表中按照开放代理服务器的权重从高到低的顺序选择至少一个目标IP地址和端口号。

上述实施例中，在基于代理服务列表选择目标IP地址和端口号时，可以根据需要灵活采用不同的选择方式，以便充分利用网络中的开放代理资源。

上述图5至图10示出的网页内容获取装置实施例可以应用在开放代理服务器中。

如图11所示，图11是本公开根据一示例性实施例示出的另一种网页内容获取装置框图，所述装置包括：发送单元1100和接收单元1120。

其中，所述发送单元1110，被配置为向正向代理服务器发送网络请求，以使所述正向代理服务器将所述网络请求转发给开放代理服务器，所述网络请求中包含下载地址；

所述接收单元1120，被配置为接收所述正向代理服务器返回的网页内容，所述网页内容为所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

上述实施例中，由于开放代理服务器为网络中已经分配了IP地址的开放资源，因此可以利用这些开放代理服务器获取下载终端请求下载的网页内容，从而可以充分利用网络中的IP地址资源来满足搜索引擎对网页内容的抓取需求，提高了网页内容的获取效率；并且，由于所有下载终端都通过该装置获取网页内容，因此便于该装置对下载终端进行统一管理。

如图12所示，图12是本公开根据一示例性实施例示出的另一种网页内容获取装置框图，该实施例在前述图11所示实施例的基础上，所述发送单元1110可以包括：代理信息获取子单元1111和网络请求发送子单元1112。

其中，所述代理信息获取子单元1111，被配置为获取预先配置的所述正向代理服务器的IP地址和端口号；

所述网络请求发送子单元1112，被配置为按照所述IP地址和端口号，将所述网络请求发送到所述正向代理服务器上与所述端口号对应的端口。

上述图11和图12示出的网页内容获取装置实施例可以应用在下载终端中。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本公开还提供一种网页内容获取装置，所述装置包括有处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

获取网络请求，所述网络请求中包含下载地址；

将所述网络请求转发给开放代理服务器；

接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

相应的，本公开还提供一种网页内容获取装置，所述装置包括有处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

向正向代理服务器发送网络请求，以使所述正向代理服务器将所述网络请求转发给开放代理服务器，所述网络请求中包含下载地址；

接收所述正向代理服务器返回的网页内容，所述网页内容为所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

如图13所示，图13是根据一示例性实施例示出的一种用于网页内容下载装置1300的一结构示意图。例如，装置1300可以被提供为一正向代理服务器。参照图13，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理部件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述访问网页的方法。

装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

如图14所示，图14是本公开根据一示例性实施例示出的一种用于网页内容下载装置1400的结构示意图。例如，装置1400可以是下载终端，该下载终端可以具体为移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图14，装置1400可以包括以下一个或多个组件：处理组件1402，存储器1404，电源组件1406，多媒体组件1408，音频组件1414，输入/输出(I/O)的接口1412，传感器组件1414，以及通信组件1416。

处理组件1402通常控制装置1400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1402可以包括一个或多个处理器1420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1402可以包括一个或多个模块，便于处理组件1402和其他组件之间的交互。例如，处理组件1402可以包括多媒体模块，以方便多媒体组件1408和处理组件1402之间的交互。

存储器1404被配置为存储各种类型的数据以支持在装置1400的操作。这些数据的示例包括用于在装置1400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1406为装置1400的各种组件提供电力。电源组件1406可以包括电源管理系统，一个或多个电源，及其他与为装置1400生成、管理和分配电力相关联的组件。

多媒体组件1408包括在所述装置1400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1408包括一个前置摄像头和/或后置摄像头。当装置1400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1414被配置为输出和/或输入音频信号。例如，音频组件1414包括一个麦克风(MIC)，当装置1400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1404或经由通信组件1416发送。在一些实施例中，音频组件1414还包括一个扬声器，用于输出音频信号。

I/O接口1412为处理组件1402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1414包括一个或多个传感器，用于为装置1400提供各个方面的状态评估。例如，传感器组件1414可以检测到装置1400的打开/关闭状态，组件的相对定位，例如所述组件为装置1400的显示器和小键盘，传感器组件1414还可以检测装置1400或装置1400一个组件的位置改变，用户与装置1400接触的存在或不存在，装置1400方位或加速/减速和装置1400的温度变化。传感器组件1414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器，微波传感器或温度传感器。

通信组件1416被配置为便于装置1400和其他设备之间有线或无线方式的通信。装置1400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1404，上述指令可由装置1400的处理器1420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种网页内容获取方法，其特征在于，所述方法包括：

获取网络请求，所述网络请求中包含下载地址；

将所述网络请求转发给开放代理服务器；

接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

预先设置代理服务列表，所述代理服务列表中包含网络中开放代理服务器的互联网协议IP地址和端口号；

根据所述网络中开放代理服务器的变化情况更新所述代理服务列表。

3.根据权利要求2所述的方法，其特征在于，所述根据所述网络中开放代理服务器的变化情况更新所述代理服务列表，包括：

按照预设的第一时间周期，从代理信息提供服务器获取所述网络中新增的开放代理服务器的IP地址和端口号；

将所述新增的开放代理服务器的IP地址和端口号添加到所述代理服务列表中。

4.根据权利要求2所述的方法，其特征在于，所述根据所述网络中开放代理服务器的变化情况更新所述代理服务列表，包括：

按照预设的第二时间周期，根据所述代理服务列表中的IP地址和端口号访问对应的开放代理服务器；

将未返回访问应答的开放代理服务器的IP地址和端口号从所述代理服务列表中删除。

5.根据权利要求2所述的方法，其特征在于，所述将所述网络请求转发给开放代理服务器，包括：

从所述代理服务列表中为所述网络请求选择目标IP地址和端口号；

将所述网络请求发送到所述目标IP地址和端口号指向的目标代理服务器上的目标端口。

6.根据权利要求5所述的方法，其特征在于，按照如下任一方式，从所述代理服务列表中为所述网络请求选择目标IP地址和端口号：

从所述代理服务列表中为所述网络请求随机选择至少一个目标IP地址和端口号；或者，

从所述代理服务列表中按照开放代理服务器的权重从高到低的顺序选择至少一个目标IP地址和端口号。

7.一种网页内容获取方法，其特征在于，所述方法包括：

向正向代理服务器发送网络请求，以使所述正向代理服务器将所述网络请求转发给开放代理服务器，所述网络请求中包含下载地址；

接收所述正向代理服务器返回的网页内容，所述网页内容为所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

8.根据权利要求7所述的方法，其特征在于，所述向正向代理服务器发送网络请求，包括：

获取预先配置的所述正向代理服务器的IP地址和端口号；

按照所述IP地址和端口号，将所述网络请求发送到所述正向代理服务器上与所述端口号对应的端口。

9.一种网页内容获取装置，其特征在于，所述装置包括：

获取单元，用于获取网络请求，所述网络请求中包含下载地址；

转发单元，用于将所述网络请求转发给开放代理服务器；

接收单元，用于接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

设置单元，用于预先设置代理服务列表，所述代理服务列表中包含网络中开放代理服务器的互联网协议IP地址和端口号；

更新单元，用于根据所述网络中开放代理服务器的变化情况更新所述代理服务列表。

11.根据权利要求10所述的装置，其特征在于，所述更新单元包括：

新增代理获取子单元，用于按照预设的第一时间周期，从代理信息提供服务器获取所述网络中新增的开放代理服务器的IP地址和端口号；

代理信息添加子单元，用于将所述新增的开放代理服务器的IP地址和端口号添加到所述代理服务列表中。

12.根据权利要求10所述的装置，其特征在于，所述更新单元包括：

开放代理访问子单元，用于按照预设的第二时间周期，根据所述代理服务列表中的IP地址和端口号访问对应的开放代理服务器；

代理信息删除子单元，用于将未返回访问应答的开放代理服务器的IP地址和端口号从所述代理服务列表中删除。

13.根据权利要求10所述的装置，其特征在于，所述获取单元包括：

代理信息选择子单元，用于从所述代理服务列表中为所述网络请求选择目标IP地址和端口号；

网络请求发送子单元，用于将所述网络请求发送到所述目标IP地址和端口号指向的目标代理服务器上的目标端口。

14.根据权利要求13所述的装置，其特征在于，所述代理信息选择子单元包括至少一个下述模块：

随机选择模块，用于从所述代理服务列表中为所述网络请求随机选择至少一个目标IP地址和端口号；

权重选择模块，用于从所述代理服务列表中按照开放代理服务器的权重从高到低的顺序选择至少一个目标IP地址和端口号。

15.一种网页内容获取装置，其特征在于，所述装置包括：

发送单元，用于向正向代理服务器发送网络请求，以使所述正向代理服务器将所述网络请求转发给开放代理服务器，所述网络请求中包含下载地址；

接收单元，用于接收所述正向代理服务器返回的网页内容，所述网页内容为所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

16.根据权利要求15所述的装置，其特征在于，所述发送单元包括：

代理信息获取子单元，用于获取预先配置的所述正向代理服务器的IP地址和端口号；

网络请求发送子单元，用于按照所述IP地址和端口号，将所述网络请求发送到所述正向代理服务器上与所述端口号对应的端口。

17.一种网页内容获取装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

获取网络请求，所述网络请求中包含下载地址；

将所述网络请求转发给开放代理服务器；

接收所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。

18.一种网页内容获取装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

向正向代理服务器发送网络请求，以使所述正向代理服务器将所述网络请求转发给开放代理服务器，所述网络请求中包含下载地址；

接收所述正向代理服务器返回的网页内容，所述网页内容为所述开放代理服务器根据所述下载地址从内容服务器获得的网页内容。