CN108959384A - 网页数据获取方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种网页数据获取方法、装置、计算机设备和存储介质。方法包括：根据网页标识生成访问请求，并从目标服务器获取与访问请求所对应的网页原代码段；查找网页原代码段中插入的数据获取代码段，执行数据获取代码段得到访问请求中包含的待替换通讯接口；将待替换通讯接口参数进行替换得到替换后的通讯接口；通过替换后的通讯接口获取访问请求所对应的完整请求数据；根据完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将网页数据获取请求发送至目标服务器。采用本方法能够提高访问效率，增强适用性。

Description

网页数据获取方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种网页数据获取方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，人们可以访问不同的网站获取到所需的网站信息，一般情况下，都需要获取到与待访问的网站域名所对应的网络地址，从而访问相应的网站。

一般地，可以设置有代理服务器，通过代理服务器发送相应的访问请求以及接收相应的网站数据，从而保证网页的正常访问，但往往每次使用代理服务器时，都需要将客户端进行设置为可以适配代理服务器，从而才能保证正常网页的访问，每次的配置过程会耗费大量时间。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高效率的网页数据获取方法、装置、计算机设备和存储介质。

一种网页数据获取方法，所述方法包括：

根据网页标识生成访问请求，并从目标服务器获取与所述访问请求所对应的网页原代码段；

查找所述网页原代码段中插入的数据获取代码段，执行所述数据获取代码段得到所述访问请求中包含的待替换通讯接口；

将所述待替换通讯接口参数进行替换得到替换后的通讯接口；

通过所述替换后的通讯接口获取所述访问请求所对应的完整请求数据；

根据所述完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将所述网页数据获取请求发送至目标服务器。

在其中一个实施例中，所述通过所述替换后的通讯接口获取所述访问请求所对应的完整请求数据，包括：

通过所述替换后的通讯接口查询与所述访问请求对应的请求数据，并对所述请求数据添加查询标签；

获取与所述请求数据所对应的选取逻辑，根据所述选取逻辑从添加了查询标签的所述请求数据中选取完整请求数据。

在其中一个实施例中，所述查找所述网页原代码段中插入的数据获取代码段之前，还包括：

接收添加数据获取代码段的添加指令，所述添加指令上携带有插入代码标记；

根据所述添加指令查询与所述插入代码标记所对应的网页原代码段；

判断所述插入代码标记所对应的所述网页原代码段是否为正常运行状态；

当所述网页原代码段时正常运行状态，则在所述网页原代码段之前插入所述数据获取代码段。

在其中一个实施例中，所述根据所述完整请求数据生成用于获取完整网页数据的网页数据获取请求，包括：

查询所述完整请求数据是否为预设发送格式；

当所述完整请求数据不为所述预设发送格式时，则获取不为所述预设发送格式的所述完整请求数据的更改逻辑；

采用所述更改逻辑，将不为所述预设发送格式的所述完整请求数据进行更改；

根据更改的所述完整请求数据生成网页数据获取请求。

在其中一个实施例中，所述获取与所述访问请求所对应的网页原代码段之前，包括：

选取与所述网页标识对应的域名服务器；

根据终端的属性信息生成网络地址获取请求，并向所述域名服务器发送所述网络地址获取请求；

接收所述域名服务器根据所述网络地址获取请求返回的待使用网络地址；

根据所述网页标识生成访问请求，向与所述待使用网络地址所对应的目标服务器发送所述访问请求。

在其中一个实施例中，所述根据终端的属性信息生成网络地址获取请求，并向所述域名服务器发送所述网络地址获取请求，包括：

查询所在的网络的运营商信息；

查询所在的网络的地区信息；

根据所述运营商信息与所述地区信息生成所述网络地址获取请求，并将所述网络地址获取请求发送至所述域名服务器。

一种网页数据获取装置，所述装置包括：

访问请求生成模块，用于根据目标网页标识生成访问请求，并从目标服务器获取与所述访问请求所对应的网页原代码段；

查找模块，用于查找所述网页原代码段中插入的数据获取代码段，执行所述数据获取代码段得到所述访问请求中包含的待替换通讯接口；

替换模块，用于将所述待替换通讯接口参数进行替换得到替换后的通讯接口；

完整请求数据获取模块，用于通过所述替换后的通讯接口获取所述访问请求所对应的完整请求数据；

发送模块，用于根据所述完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将所述网页数据获取请求发送至目标服务器。

在其中一个实施例中，所述完整请求数据获取模块，包括：

查询标签添加单元，用于通过所述替换后的通讯接口查询与所述访问请求对应的请求数据，并对所述请求数据添加查询标签；

选取单元，用于获取与所述请求数据所对应的选取逻辑，根据所述选取逻辑从添加了查询标签的所述请求数据中选取完整请求数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述网页数据获取方法、装置、计算机设备及存储介质，无需采用代理服务器，从而每次都对客户端进行设置，客户端只需生成相应的访问请求，进而获取与访问请求对应的网页原代码，查找网页原代码段中包含的数据获取代码段，执行数据获取代码段得到执行结果，进而根据执行结果获取到完整请求数据，向目标服务器发送获取完整网页数据的网页数据获取请求，从而完成目标网页的访问，提高访问效率，增强适用性。

附图说明

图1为一个实施例中网页数据获取方法的应用场景图；

图2为一个实施例中网页数据获取方法的流程示意图；

图3为一个实施例中数据获取代码段插入的流程示意图；

图4为一个实施例中网页数据获取方法装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的网页数据获取方法，可以应用于如图1所示的应用环境中。其中，终端以及目标服务器通过网络进行通信。终端中嵌入的相应的浏览器组件，如webview组件，需要在该组件中显示相应的网页时，由于嵌入webview组件的终端无法直接通过网页原代码段获取到所有的网页数据，从而当终端根据网页标识生成访问请求，并从目标服务器获取与访问请求所对应的网页原代码段时，终端查找网页原代码段中插入的数据获取代码段，执行数据获取代码段得到访问请求中包含的待替换通讯接口，将待替换接口参数进行替换得到替换后的通讯接口，终端通过替换后的通讯接口获取访问请求所对应的完整请求数据，根据完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将网页数据获取请求发送至目标服务器，从而获取到目标服务器返回的完整网页数据，终端将完整网页数据在相应的组件中进行显示。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，目标服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种网页数据获取方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S202：根据网页标识生成访问请求，并从目标服务器获取与访问请求所对应的网页原代码段。

具体地，网页标识是指待访问网页的标志，网站服务器可以根据该网页的标志，查找到该网页上的网页数据，并将网页数据发送至终端进行显示；网页标识可以是网页名称、可以是网页地址等。访问请求是指终端所发送的访问网页的请求信息，访问请求上携带有请求访问的待访问网页的网页标识。网页原代码段是指与网页标识所对应的网页上的写入的可见数据的代码段，从而终端可以解析网页原代码段，请求相应的完整网页数据，从而将完整网页数据进行显示。具体地，终端根据待访问网页的网页标识，生成的访问请求，终端将该访问请求通过与目标服务器对应的待使用网络地址，向目标服务器发送请求访问与网页标识所对应的网页的访问请求，目标服务器接收到访问请求，则提取与访问请求对应的网页标识，从而查找与网页标识对应的网页原代码段，将网页原代码段发送至终端。

S204：查找网页原代码段中插入的数据获取代码段，执行数据获取代码段得到访问请求中包含的待替换通讯接口。

具体地，数据获取代码段是指可以查询到相应的数据传输接口，并将数据传输接口替换为所需的数据传输接口的代码段，进而可以通过替换后的数据传输接口查询到所需的数据，例如，数据获取代码段可以采用相应的hook代码段，终端优先执行hook代码段从而获取到相应的数据传输接口。待替换通讯接口是指在网页数据的传输的过程中，无法直接查询到传输的网页数据的接口。具体地，当获取到网页原代码段时，则在对应的不同原代码段之前插入相应的数据获取代码段，进而查找不同的数据获取代码段，由于在不同网页原代码段之前已插入了数据获取代码段，则在解析网页原代码段时，则优先执行插入的数据获取代码段，根据数据获取代码段的执行结果，可以查找到包含在原代码段中的待替换通讯接口，也即可以执行数据获取代码段，数据获取代码段逐行扫描原代码段中包含的接口信息，如相应的接口名称或接口参数，根据接口参数或接口名称，选取到待替换通讯接口。

S206：将待替换通讯接口参数进行替换得到替换后的通讯接口。

具体地，替换后的通讯接口是指可以获取到所需传输数据的接口，替换后的通讯接口是可以获取到未能直接查看数据的通讯接口。具体地，当终端根据插入在网页原代码段之前的数据获取代码段，执行数据获取代码段，根据执行结果得到待替换通讯接口，将待替换通讯接口参数进行替换得到替换后的通讯接口，可以是，将待替换的通讯接口中包含相应的网页数据获取方式进行替换，如可以替换为网页数据全获取的方式，也即可以是，将待替换的通讯接口中相应的网页数据获取函数进行更改，更改为可以获取全部网页数据的函数，则当在终端解析网页数据时，则可以直接采用替换后的通讯接口读取相应的网页数据，从而提取到所有的网页数据。

S208：通过替换后的通讯接口获取访问请求所对应的完整请求数据。

具体地，完整请求数据是指读取到的包含在网页原代码段中、且需要进一步获取的所有的网页数据，如相应的待获取的完整图片、待获取的完整文字数据等。具体地，由于目标服务器向终端返回的网页原代码中包含有需要再次获取的数据，如包含有相应的静态资源，当终端获取到静态资源，则需要进行一步向目标服务器发送获取请求从而获取到此类数据，且在终端接收到的网页原代码段中，有时由于通讯接口中获取相应的网页数据方式的不同，无法直接获取到该类数据。当终端查询到待替换通讯接口时，将待替换通讯接口中的网页数据获取方式进行替换，从而得到替换后的通讯接口，进而当终端解析网页原代码时，也即从网页原代码中提取相应的网页数据时，则可以通过替换后的通讯接口，读取相应的网页原代码数据，进而获取相应的所有网页数据，如相应的待获取图片数据等，也即终端解析网页原代码时，由于相应的通讯接口为替换后的通讯接口，从而可以直接读取到包含在网页原代码中所有的数据，从而可以提取到向服务器进一步获取的数据，也即提取完整请求数据。

S210：根据完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将网页数据获取请求发送至目标服务器。

具体地，完整网页数据是指可以显示在终端对应的显示界面上的所有的网页数据，如完整的图片数据、完整的文字数据等。网页数据获取请求是指终端向目标服务器发送的请求获取完整网页数据的请求信息，网页数据请求信息上携带有终端待获取的完整网页数据，如完整的图片数据以及完整的文字数据等。具体地，终端根据替换后的通讯接口，获取到完整请求数据，根据完整请求数据，生成有网页数据获取请求，进而将生成的网页数据获取请求发送至目标服务器，目标服务器根据接收到网页数据获取请求，提取网页数据获取请求上携带的请求获取到的完整网页数据，从而从预存储的不同的网页数据中选取到终端请求获取的完整网页数据，进而将完整网页数据发送至终端，使得终端可以在相应的显示界面上将完整网页数据进行显示。

本实施例中，当需要在终端对应的浏览器组件上显示相应的网页数据时，由于无法直接获取到完整请求数据进一步从目标服务器中获取到完整网页数据时，无需设置相应的代理服务器，从而无需每次在使用时都需要将终端设置为可以适配代理服务器的参数，而是当获取到网页原代码段时，直接通过执行插入在网页原代码段中的数据获取代码段，得到待替换通讯接口，进而将待替换通讯接口进行替换得到替换后的通讯接口，进而获取到完整请求数据而从目标服务器获取完整网页数据，提高访问效率，且无需额外设置其他设备，简单易行。

在其中一个实施例中，通过替换后的通讯接口获取访问请求所对应的完整请求数据，包括：通过替换后的通讯接口查询与访问请求对应的请求数据，并对请求数据添加查询标签；获取与请求数据所对应的选取逻辑，根据选取逻辑从添加了查询标签的请求数据中选取完整请求数据。

具体地，请求数据是指通过替换后的通讯接口，从待访问网页的目标服务器获取到的所有的网页数据，包括可以直接显示在终端所对应的显示界面上的网页数据，以及需要再次向目标服务器请求获取的静态资源相关的数据。查询标签是指对请求数据添加的待查询标识，终端可以对添加了待查询标识的所有的网页数据中提取出需要进一步从目标服务器获取的静态资源相关的数据。选取逻辑是指可以将完整请求数据进行提取的规则，选取逻辑可以是指示终端查询请求数据中是否包含有未能全部加载的网页数据，当包含有未能全部加载的网页数据，则该未能全部加载网页数据为需要进一步向目标服务器获取的完整请求数据。

具体地，当终端采用数据获取代码段将待替换通讯接口参数进行替换得到替换后的通讯接口，解析获取到的网页原代码段，从而根据替换后的通讯接口，则可以获取到目标服务器根据返回的与网页请求对应的请求数据，也即返回的所有网页数据，包括终端可以直接进行显示的网页数据，以及终端需要再次向目标服务器请求获取的网页数据，进而对获取到的请求数据添加有查询标签，当对网页原代码段解析完成时，则提取添加有查询标签的请求数据，进而终端获取与请求数据所对应的选取逻辑，根据获取到的选取逻辑，查询请求数据中包含的未能全部加载的网页数据，该网页数据则为未完全获取的网页数据，则未完全获取的网页数据即为完整请求数据，终端根据完整请求数据，继续向目标服务器发送网页数据获取请求，从而获取到完整网页数据，保证在终端对应的界面上可以正常显示所有的网页数据。

本实施例中，终端在查询完整请求数据时，是根据替换后的通讯接口获取到请求数据，从而对请求数据添加相应的查询标签，根据选取逻辑从添加了查询标签的请求数据中查询到完整请求数据，从而避免查询完整请求数据有遗漏，且是从添加了查询标签的请求数据中直接查询到完整请求数据，无需重新进行大量数据的查询，提高查询效率。

在其中一个实施例中，请参见图3，提供一数据获取代码段插入步骤的流程图，数据获取代码段插入步骤，也即查找网页原代码段中插入的数据获取代码段之前，还可以包括：接收添加数据获取代码段的添加指令，添加指令上携带有插入代码标记；根据添加指令查询与插入代码标记所对应的网页原代码段；判断插入代码标记所对应的网页原代码段是否为正常运行状态；当网页原代码段时正常运行状态，则在网页原代码段之前插入数据获取代码段。

具体地，添加指令是指向终端发送的将数据获取代码段添加到对应的原代码段之前的命令，从而使得终端在解析网页原代码段时，则可以先执行数据获取代码段，从而可以将待替换通讯接口的参数进行替换得到替换后的接口，保证后续可以通过替换后的接口提取到网页原代码段中包含的完整请求数据。插入代码标记是需要添加数据获取代码段的网页原代码段的代码标签，通过代码标签即可查询到相应的网页原代码段，例如，代码标签可以是script标签等。正常运行状态是指查询到的网页原代码段未添加有跳过标签，也即网页原代码段可以正常运行，例如，正常运行状态是指网页原代码段未被注释掉，也即网页原代码段可以正常运行。

具体地，在获取到网页原代码段之前可以插入数据获取代码段，也即终端可以接收到用户输入在网页原代码段添加数据获取代码段，根据用户的输入，生成添加指令，添加指令上携带有插入代码标记，终端根据插入代码标记，将插入代码标记与网页原代码段上携带的对应的插入代码标记进行比对，当比对成功时，则该原代码段之前需要插入对应的数据获取代码段，且当查询到的网页原代码段如果添加有跳过标签，如被注释掉，也即在执行时会跳过，则添加有跳过标签的网页原代码段之前无需插入数据获取代码，因此终端需要查询该网页原代码段是否为正常运行，也即是否为有跳过标签则在执行相应的原代码段时跳过执行，当与插入代码标记所对应的网页原代码段为正常运行状态，则在网页原代码段之前将数据获取代码段插入；当查询到有网页原代码段有跳过标签，也即在执行时会被跳过，则将该插入代码标识添加不可用标签，进而查询添加指令所携带的其他的插入代码标识，从而根据其他插入代码标识查询网页原代码段，终端在判断根据其他插入代码标识查询到的网页原代码段是否为正常运行状态，为正常运行状态时，则在根据其他插入代码标识查询到的网页原代码段之前插入数据跳转代码段，直至添加指令上携带的所有插入代码标识所对应的网页原代码段均进行查询，且在正常运行状态的网页原代码段之前均添加有数据跳转代码段。

本实施例中，终端根据添加数据获取代码段的添加指令，查询到与插入代码标记对应的网页原代码段，查询方便，且查询到网页原代码段时需要确定网页原代码段是否为正常运行状态，当为正常运行状态时才会在网页原代码段之前插入相应的数据获取代码段，避免当网页原代码段不为正常运行状态时插入数据获取代码段，而优先执行数据获取代码段，导致执行数据获取代码段出现执行失败则再次查询，节省准备时间，保证后续的访问效率。

在其中一个实施例中，根据完整请求数据与待使用网络地址生成用于获取完整网页数据的网页数据获取请求，可以包括：查询完整请求数据是否为预设发送格式；当完整请求数据不为预设发送格式时，则获取不为预设发送格式的完整请求数据的更改逻辑；采用更改逻辑，将不为预设发送格式的完整请求数据进行更改；根据更改的完整请求数据生成网页数据获取请求。

具体地，预设发送格式是指在终端根据完整请求数据生成相应的网页数据获取请求时，则网页数据获取请求所携带的完整请求数据的标准发送格式，如网页数据获取请求上携带的完整请求数据上携带有对应的数据类型标签，如相应的图片数据标签等。更改逻辑是指将未按照预设发送格式显示的完整请求数据进行更改为标准格式的规则，如完整请求数据为请求完整图片数据且请求完整图片数据上未携带有对应的图片标签，则将请求完整图片数据上添加上图片标签。

具体地，当终端获取到完整请求数据时，根据完整请求数据生成相应的网页数据获取请求，也即网页数据获取请求上携带有完整请求数据，则目标服务器根据网页数据获取请求，将与完整请求数据所对应的完整网页数据发送至终端，则当终端获取到完整请求数据时，需要查询完整请求数据是否可以直接发送，也即完整请求数据是否为预设发送格式，当完整请求数据不为预设发送格式时，如相应的完整请求数据未携带有相应的数据标签时，则获取不为预设发送格式的完整请求数据所对应的更改逻辑，根据更改逻辑，将完整请求数据按照更改逻辑进行更改，如将不同的完整请求数据上添加有相应的数据标签，可以将请求完整图片数据上添加有图片标签等，从而将进行更改的完整请求数据生成相应的网页数据获取请求，并将该网页数据获取请求发送至目标服务器，目标服务器根据按照预设发送格式的完整请求数据，如携带有相应的图片标签的请求完整图片数据，则查询到完整图片数据，发送至终端。

本实施例中，在终端根据替换的数据通讯接口获取到完整请求数据时，则需要查询完整请求数据是否为预设发送格式，当不为预设发送格式时，则需要将完整请求数据对应的更改，从而保证根据完整请求数据生成网页数据获取请求时，可以从目标服务器获取到正确的网页数据，保证成功访问待访问的网页，提高访问准确度。

在其中一个实施例中，获取与访问请求所对应的网页原代码段之前，包括：选取与网页标识对应的域名服务器；根据终端的属性信息生成网络地址获取请求，并向域名服务器发送网络地址获取请求；接收域名服务器根据网络地址获取请求返回的待使用网络地址；根据网页标识生成访问请求，向与待使用网络地址所对应的目标服务器发送访问请求。具体地，域名服务器是指存储不同的网络地址的服务器，且域名服务器可以向待访问网页的终端分配不同的网络地址，从而使得终端通过网络地址所对应的访问线路对目标网页进行访问，且域名服务器中存储的网络地址为经过验证的安全的网络地址。属性信息是指终端所对应的相关的附加信息，属性信息可以是终端的终端标识、终端对应的网络信息等。网络地址获取请求是终端生成的、携带有终端的属性信息的请求。待使用网络地址是指域名服务器选取到的与网络地址获取请求所对应的预存储的经过验证的安全的网络通信地址，也即该网络通信地址是可通信的通信标识，并且可以唯一地标识待访问网页所在的网络中的目标服务器，也即其他的计算机设备与该目标服务器进行通信时可以采用该网络地址作为通信标识。例如，网络地址可以是IP(Internet Protocol，互联网协议)地址等。

具体地，当终端提取到网页标识时，获取到存储不同的域名服务器的域名服务器存储库，根据网页标识，从域名服务器存储库选取空闲的域名服务器，终端向选取的空闲的域名服务器发送网络地址获取请求，所发送的网络地址获取请求上携带有终端的属性信息，如相应的终端的标识以及终端对应的网络信息等，域名服务器根据接收网络地址获取请求，查询终端的属性信息，域名服务器根据终端的属性信息，从根据预存储的属性信息与获取到的属性信息进行匹配，当匹配成功时，则将匹配成功的已存储的属性信息所关联的网络地址进行提取，作为待使用网络地址，域名服务器将待使用网络地址发送至与网络地址获取请求所对应的终端，进而终端接收到域名服务器根据属性信息进行查询得到的待使用网络地址，终端接收到待使用网络地址时，则向与待使用网络地址所对应的目标服务器发送有访问请求，进而目标服务器根据接收到的访问请求，查询到对应的与访问请求所对应的网页原代码段，进而将网页原代码段发送至终端。需要说明的是，域名服务器选取到待使用网络地址时，查询待选取网络地址上是否携带有空闲标签，当携带有空闲标签时，则将携带有空闲标签的待使用网络地址发送至终端。

本实施例中，终端向目标服务器发送访问请求时，则先选取待使用网络地址，且在选取待使用网络地址时，终端并非直接从就近的域名系统获取相应的网络地址，避免有威胁的域名系统发送伪装的网络地址，从而访问到相应的有威胁性的网站，增强安全性，且可以避免威胁的域名系统发送的网络地址为错误网络地址，从而导致访问目标网站失败，提高适用性。

在其中一个实施例中，根据终端的属性信息生成网络地址获取请求，并向域名服务器发送网络地址获取请求，包括：查询所在的网络的运营商信息；查询所在的网络的地区信息；根据运营商信息与地区信息生成网络地址获取请求，并将网络地址获取请求发送至域名服务器。

具体地，运营商信息是指为终端提供相应的服务的区分提供用户任务的运营商的相应的信息，例如，运营商基本信息可以表示终端所在网络所属的运营商，如移动运营商、联通运营商、电信运营商等。地区信息是指终端所处网络所在的区域，可以是地理位置，如终端所处的网络为北方或终端所处的网络为南方等，也可以是具体的地区，如北京、上海等。具体地，当终端选取到域名服务器时，则向域名服务器发送有获取网络地址的获取请求，也即终端查询当前所处的当前网络地址，也即将当前网络地址与预存储在网络地址库中的待匹配网络地址进行匹配，当匹配成功时，获取匹配成功的待匹配网络地址所关联的运营商信息，将该运营商信息作为当前网络地址所对应的运营商信息，进而再获取匹配成功的网络地址的地区信息，作为当前网络地址的地区信息，从而作为当前所处网络的地区信息，终端提取当前所在的网络的运营商信息与地区信息，生成从域名服务器中获取待使用网络地址的获取请求，将生成的待使用网络地址的获取请求发送至选取到的域名服务器，域名服务器可以根据接收到携带有所在网络的运营商信息以及地区信息，选取到待使用网络地址。

需要说明的是，网络地址库是存错有不同的网络地址的数据库，且网络地址库中还存储有不同的网络地址所关联的运营商信息与地区信息，也即可以根据不同的网络地址，可以获取到对应的运营商信息与地区信息。

本实施例中，终端可以根据终端所在的网络的运营商信息以及地区信息，生成获取请求，保证获取到准确的待使用网络地址，增强适用性。应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种网页数据获取装置400，包括：访问请求生成模块410、查找模块420、替换模块430、完整请求数据获取模块440和发送模块450，其中：

访问请求生成模块410，用于根据网页标识生成访问请求，并从目标服务器获取与访问请求所对应的网页原代码段。

查找模块420，用于查找网页原代码段中插入的数据获取代码段，执行数据获取代码段得到访问请求中包含的待替换通讯接口。

替换模块430，用于将待替换通讯接口参数进行替换得到替换后的通讯接口。

完整请求数据获取模块440，用于通过替换后的通讯接口获取访问请求所对应的完整请求数据。

发送模块450，用于根据完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将网页数据获取请求发送至目标服务器。

在其中一个实施例中，完整请求数据获取模块440，包括：

查询标签添加单元，用于通过替换后的通讯接口查询与访问请求对应的请求数据，并对请求数据添加查询标签。

选取单元，用于获取与请求数据所对应的选取逻辑，根据选取逻辑从添加了查询标签的请求数据中选取完整请求数据。

在其中一个实施例中，网页数据获取装置，还可以包括：

添加指令接收模块，用于接收添加数据获取代码段的添加指令，添加指令上携带有插入代码标记。

网页原代码段查询模块，用于根据添加指令查询与插入代码标记所对应的网页原代码段。

判断模块，用于判断插入代码标记所对应的网页原代码段是否为正常运行状态。

插入模块，用于当网页原代码段时正常运行状态，则在网页原代码段之前插入数据获取代码段。

在其中一个实施例中，发送模块450，可以包括：

预设发送格式查询单元，用于查询完整请求数据是否为预设发送格式。

更改逻辑获取单元，用于当完整请求数据不为预设发送格式时，则获取不为预设发送格式的完整请求数据的更改逻辑。

更改单元，用于采用更改逻辑，将不为预设发送格式的完整请求数据进行更改。

生成单元，用于根据更改的完整请求数据生成网页数据获取请求。

在其中一个实施例中，网页数据获取装置400，可以包括：

域名服务器选取模块，用于选取与网页标识对应的域名服务器。

网络地址获取请求发送模块，用于根据终端的属性信息生成网络地址获取请求，并向域名服务器发送网络地址获取请求。

待使用网络地址接收模块，用于接收域名服务器根据网络地址获取请求返回的待使用网络地址。

发送模块，还用于根据网页标识生成访问请求，向与待使用网络地址所对应的目标服务器发送访问请求。

在其中一个实施例中，网络地址获取请求发送模块，可以包括：

运营商信息查询单元，用于查询所在的网络的运营商信息。

地区信息查询单元，用于查询所在的网络的地区信息。

网络地址获取请求发送单元，用于根据运营商信息与地区信息生成网络地址获取请求，并将网络地址获取请求发送至域名服务器。

关于网页数据获取装置的具体限定可以参见上文中对于网页数据获取方法的限定，在此不再赘述。上述网页数据获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网页数据获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：根据网页标识生成访问请求，并从目标服务器获取与访问请求所对应的网页原代码段；查找网页原代码段中插入的数据获取代码段，执行数据获取代码段得到访问请求中包含的待替换通讯接口；将待替换通讯接口参数进行替换得到替换后的通讯接口；通过替换后的通讯接口获取访问请求所对应的完整请求数据；根据完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将网页数据获取请求发送至目标服务器。

在其中一个实施例中，处理器执行计算机程序时实现通过替换后的通讯接口获取访问请求所对应的完整请求数据，包括：通过替换后的通讯接口查询与访问请求对应的请求数据，并对请求数据添加查询标签；获取与请求数据所对应的选取逻辑，根据选取逻辑从添加了查询标签的请求数据中选取完整请求数据。

在其中一个实施例中，处理器执行计算机程序时实现查找网页原代码段中插入的数据获取代码段之前，还包括：接收添加数据获取代码段的添加指令，添加指令上携带有插入代码标记；根据添加指令查询与插入代码标记所对应的网页原代码段；判断插入代码标记所对应的网页原代码段是否为正常运行状态；当网页原代码段时正常运行状态，则在网页原代码段之前插入数据获取代码段。

在其中一个实施例中，处理器执行计算机程序时实现根据完整请求数据生成用于获取完整网页数据的网页数据获取请求，包括：查询完整请求数据是否为预设发送格式；当完整请求数据不为预设发送格式时，则获取不为预设发送格式的完整请求数据的更改逻辑；采用更改逻辑，将不为预设发送格式的完整请求数据进行更改；根据更改的完整请求数据生成网页数据获取请求。

在其中一个实施例中，处理器执行计算机程序时实现获取与访问请求所对应的网页原代码段之前，包括：选取与网页标识对应的域名服务器；根据终端的属性信息生成网络地址获取请求，并向域名服务器发送网络地址获取请求；接收域名服务器根据网络地址获取请求返回的待使用网络地址；根据网页标识生成访问请求，向与待使用网络地址所对应的目标服务器发送访问请求。

在其中一个实施例中，处理器执行计算机程序时实现根据终端的属性信息生成网络地址获取请求，并向域名服务器发送网络地址获取请求，包括：查询所在的网络的运营商信息；查询所在的网络的地区信息；根据运营商信息与地区信息生成网络地址获取请求，并将网络地址获取请求发送至域名服务器。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：根据网页标识生成访问请求，并从目标服务器获取与访问请求所对应的网页原代码段；查找网页原代码段中插入的数据获取代码段，执行数据获取代码段得到访问请求中包含的待替换通讯接口；将待替换通讯接口参数进行替换得到替换后的通讯接口；通过替换后的通讯接口获取访问请求所对应的完整请求数据；根据完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将网页数据获取请求发送至目标服务器。

在其中一个实施例中，计算机程序被处理器执行时实现通过替换后的通讯接口获取访问请求所对应的完整请求数据，包括：通过替换后的通讯接口查询与访问请求对应的请求数据，并对请求数据添加查询标签；获取与请求数据所对应的选取逻辑，根据选取逻辑从添加了查询标签的请求数据中选取完整请求数据。

在其中一个实施例中，计算机程序被处理器执行时实现查找网页原代码段中插入的数据获取代码段之前，还包括：接收添加数据获取代码段的添加指令，添加指令上携带有插入代码标记；根据添加指令查询与插入代码标记所对应的网页原代码段；判断插入代码标记所对应的网页原代码段是否为正常运行状态；当网页原代码段时正常运行状态，则在网页原代码段之前插入数据获取代码段。

在其中一个实施例中，计算机程序被处理器执行时实现根据完整请求数据生成用于获取完整网页数据的网页数据获取请求，包括：查询完整请求数据是否为预设发送格式；当完整请求数据不为预设发送格式时，则获取不为预设发送格式的完整请求数据的更改逻辑；采用更改逻辑，将不为预设发送格式的完整请求数据进行更改；根据更改的完整请求数据生成网页数据获取请求。

在其中一个实施例中，计算机程序被处理器执行时实现获取与访问请求所对应的网页原代码段之前，包括：选取与网页标识对应的域名服务器；根据终端的属性信息生成网络地址获取请求，并向域名服务器发送网络地址获取请求；接收域名服务器根据网络地址获取请求返回的待使用网络地址；根据网页标识生成访问请求，向与待使用网络地址所对应的目标服务器发送访问请求。

在其中一个实施例中，计算机程序被处理器执行时实现根据终端的属性信息生成网络地址获取请求，并向域名服务器发送网络地址获取请求，包括：查询所在的网络的运营商信息；查询所在的网络的地区信息；根据运营商信息与地区信息生成网络地址获取请求，并将网络地址获取请求发送至域名服务器。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网页数据获取方法，所述方法包括：

根据网页标识生成访问请求，并从目标服务器获取与所述访问请求所对应的网页原代码段；

查找所述网页原代码段中插入的数据获取代码段，执行所述数据获取代码段得到所述访问请求中包含的待替换通讯接口；

将所述待替换通讯接口参数进行替换得到替换后的通讯接口；

通过所述替换后的通讯接口获取所述访问请求所对应的完整请求数据；

根据所述完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将所述网页数据获取请求发送至目标服务器。

2.根据权利要求1所述的方法，其特征在于，所述通过所述替换后的通讯接口获取所述访问请求所对应的完整请求数据，包括：

通过所述替换后的通讯接口查询与所述访问请求对应的请求数据，并对所述请求数据添加查询标签；

获取与所述请求数据所对应的选取逻辑，根据所述选取逻辑从添加了查询标签的所述请求数据中选取完整请求数据。

3.根据权利要求1所述的方法，其特征在于，所述查找所述网页原代码段中插入的数据获取代码段之前，还包括：

接收添加数据获取代码段的添加指令，所述添加指令上携带有插入代码标记；

根据所述添加指令查询与所述插入代码标记所对应的网页原代码段；

判断所述插入代码标记所对应的所述网页原代码段是否为正常运行状态；

当所述网页原代码段时正常运行状态，则在所述网页原代码段之前插入所述数据获取代码段。

4.根据权利要求1所述的方法，其特征在于，所述根据所述完整请求数据生成用于获取完整网页数据的网页数据获取请求，包括：

查询所述完整请求数据是否为预设发送格式；

当所述完整请求数据不为所述预设发送格式时，则获取不为所述预设发送格式的所述完整请求数据的更改逻辑；

采用所述更改逻辑，将不为所述预设发送格式的所述完整请求数据进行更改；

根据更改的所述完整请求数据生成网页数据获取请求。

5.根据权利要求1所述的方法，其特征在于，所述获取与所述访问请求所对应的网页原代码段之前，包括：

选取与所述网页标识对应的域名服务器；

根据终端的属性信息生成网络地址获取请求，并向所述域名服务器发送所述网络地址获取请求；

接收所述域名服务器根据所述网络地址获取请求返回的待使用网络地址；

根据所述网页标识生成访问请求，向与所述待使用网络地址所对应的目标服务器发送所述访问请求。

6.根据权利要求5所述的方法，其特征在于，所述根据终端的属性信息生成网络地址获取请求，并向所述域名服务器发送所述网络地址获取请求，包括：

查询所在的网络的运营商信息；

查询所在的网络的地区信息；

根据所述运营商信息与所述地区信息生成所述网络地址获取请求，并将所述网络地址获取请求发送至所述域名服务器。

7.一种网页数据获取装置，其特征在于，所述装置包括：

访问请求生成模块，用于根据网页标识生成访问请求，并从目标服务器获取与所述访问请求所对应的网页原代码段；

查找模块，用于查找所述网页原代码段中插入的数据获取代码段，执行所述数据获取代码段得到所述访问请求中包含的待替换通讯接口；

替换模块，用于将所述待替换通讯接口参数进行替换得到替换后的通讯接口；

完整请求数据获取模块，用于通过所述替换后的通讯接口获取所述访问请求所对应的完整请求数据；

发送模块，用于根据所述完整请求数据生成用于获取完整网页数据的网页数据获取请求，并将所述网页数据获取请求发送至目标服务器。

8.根据权利要求7所述的装置，其特征在于，所述完整请求数据获取模块，包括：

查询标签添加单元，用于通过所述替换后的通讯接口查询与所述访问请求对应的请求数据，并对所述请求数据添加查询标签；

选取单元，用于获取与所述请求数据所对应的选取逻辑，根据所述选取逻辑从添加了查询标签的所述请求数据中选取完整请求数据。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。