CN115296915B - 网页数据访问方法及其装置、设备、介质、产品 - Google Patents

Abstract

本申请涉及网页数据访问方法及其装置、设备、介质、产品，所述方法包括：由目标网页中触发的代码原始请求触发预先植入所述目标网页的监听器，由监听器生成所述代码原始请求的特征标识与消息体之间的映射关系数据，存储于共享映射表中；由拦截器获取数据获取请求，其携带所述代码原始请求的特征标识；由拦截器调用预设的域名服务器确定所述数据获取请求所要送达的网络地址；由拦截器查询所述共享映射表获得所述特征标识相对应的消息体，生成携带该消息体的替换请求发送至所述网络地址，获得该网络地址返回的目标数据。本申请可以有效防止应用程序的页面所触发的数据获取请求不被非法劫持和封禁，确保终端应用程序的安全运行。

Description

网页数据访问方法及其装置、设备、介质、产品

技术领域

本申请涉及数据通信技术领域，尤其涉及一种网页数据访问方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

背景技术

终端设备上的应用程序上，可以通过加载页面视图控件来植入网页浏览器，通过页面视图控件来加载各个功能板块相对应的网页，来提供应用程序功能。例如，在Android系统中加载WebView这一页面视图控件，通过该控件加载H5编写的网页，在网页上预先实现各种功能相对应的触控入口，以方便基于所述的网页进行人机交互。

实践中，应用程序的网页由于依赖于终端设备提供域名服务器来进行域名解析，常遭域名劫持，导致相应的网页被封禁或者跳转到其他非法网址，出现严重的应用程序安全问题。

业内存在许多应对域名劫持和封禁的解决方案，但是，由于一般在页面视图控件层面无法获得相关数据访问请求中所携带的消息体，特别是针对POST这种类型的请求，对于其中的消息体无法获得，因而，即使拦截了相应的请求，也无法有效实施代理，导致该类型的请求成为被高频劫持的对象，依然无法确保应用程序的安全性。

发明内容

本申请的目的在于解决上述问题而提供一种网页数据访问方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品、

适应本申请的各个目的，采用如下技术方案：

一个方面，适应本申请的目的之一而提供一种网页数据访问方法，包括：

由应用程序的页面视图控件所加载的目标网页的代码原始请求触发预先植入所述目标网页的监听器，由监听器生成所述代码原始请求的特征标识与消息体之间的映射关系数据，存储于共享映射表中；

由拦截器获取所述目标网页的数据获取请求，所述数据获取请求由所述代码原始请求转换而得，且其携带所述代码原始请求的特征标识；

由拦截器调用预设的域名服务器确定所述数据获取请求所要送达的网络地址；

由拦截器查询所述共享映射表获得所述特征标识相对应的消息体，生成携带该消息体的替换请求发送至所述网络地址，获得该网络地址返回的目标数据。

可选的，由应用程序的页面视图控件所加载的目标网页的代码原始请求触发预先植入所述目标网页的监听器之前，包括：

由拦截器获取在所述页面视图控件中访问目标网页相对应的页面加载请求，获得所述页面加载请求；

由拦截器调用预设的域名服务器确定所述页面获取请求所要送达的网络地址；

由拦截器生成所述页面加载请求的替换请求发送至所述网络地址，获得该网络地址返回的网页代码数据；

向所述网页代码数据中植入所述监听器相对应的代码后，解析所述网页代码数据以加载目标网页。

可选的，由拦截器获取在所述页面视图控件中访问目标网页相对应的页面加载请求，获得所述页面加载请求之前，包括：

由拦截器获取应用程序页面视图控件所加载的目标网页中触发的任意数据访问请求；

判断所述数据访问请求所加载的资源是否属于页面视图控件的主框架类型，当为主框架类型时，确定所拦截到的所述数据访问请求为所述页面加载请求，否则确定所拦截到的所述数据访问请求为所述的数据获取请求。

可选的，由拦截器获取所述目标网页的数据获取请求，包括：

获取所述数据获取请求的请求类型信息，确定其属于第一请求类型或第二请求类型，其中第一请求类型表征该数据获取请求携带消息体，第二请求类型表征该数据获取请求无消息体；

当所述数据获取请求属于第一请求类型时，获取其请求头中携带的特征标识。

可选的，获取所述数据获取请求的请求类型信息，确定其属于第一请求类型或第二请求类型之后，包括：

当所述数据获取请求属于第二请求类型时，判断该数据获取请求是否包含重定向标识；

当所述数据获取请求包含重定向标识时，先获取重定向所指向的网站域名作为待解析域名，否则以数据获取请求所指向的网站域名作为待解析域名；

由拦截器调用预设的域名服务器确定所述待解析域名相对应的网络地址；

由拦截器生成所述数据获取请求的同步请求发送至所述网络地址，获得该网络地址返回的目标数据。

可选的，所述拦截器为所述应用程序所预置的功能模块，所述监听器为区别于所述拦截器且兼容所述目标网页的源代码而实现的功能模块，所述代码原始请求被所述应用程序转换为相应的数据获取请求。

另一方面，适应本申请的目的之一而提供一种网页数据访问装置，包括监听处理模块、请求拦截模块、地址解析模块，以及代理请求模块，其中，所述监听处理模块，用于由应用程序的页面视图控件所加载的目标网页的代码原始请求触发预先植入所述目标网页的监听器，由监听器生成所述代码原始请求的特征标识与消息体之间的映射关系数据，存储于共享映射表中；所述请求拦截模块，用于由拦截器获取所述目标网页的数据获取请求，所述数据获取请求由所述代码原始请求转换而得，且其携带所述代码原始请求的特征标识；所述地址解析模块，用于由拦截器调用预设的域名服务器确定所述数据获取请求所要送达的网络地址；所述代理请求模块，用于由拦截器查询所述共享映射表获得所述特征标识相对应的消息体，生成携带该消息体的替换请求发送至所述网络地址，获得该网络地址返回的目标数据。

可选的，本申请的网页数据访问装置，前置于所述监听处理模块，包括：页面拦截模块，用于由拦截器获取在所述页面视图控件中访问目标网页相对应的页面加载请求，获得所述页面加载请求；页面地址解析模块，用于由拦截器调用预设的域名服务器确定所述页面获取请求所要送达的网络地址；页面代码获取模块，用于由拦截器生成所述页面加载请求的替换请求发送至所述网络地址，获得该网络地址返回的网页代码数据；页面解析模块，用于向所述网页代码数据中植入所述监听器相对应的代码后，解析所述网页代码数据以加载目标网页。

可选的，本申请的网页数据访问装置，前置于所述页面拦截模块，包括：访问拦截模块，用于由拦截器获取应用程序页面视图控件所加载的目标网页中触发的任意数据访问请求；分类处理模块，用于判断所述数据访问请求所加载的资源是否属于页面视图控件的主框架类型，当为主框架类型时，确定所拦截到的所述数据访问请求为所述页面加载请求，否则确定所拦截到的所述数据访问请求为所述的数据获取请求。

可选的，所述请求拦截模块，包括：类型识别单元，用于获取所述数据获取请求的请求类型信息，确定其属于第一请求类型或第二请求类型，其中第一请求类型表征该数据获取请求携带消息体，第二请求类型表征该数据获取请求无消息体；消息体提取单元，用于当所述数据获取请求属于第一请求类型时，获取其请求头中携带的特征标识。

可选的，所述请求拦截模块中，后于所述类型识别单元，包括：

重定向识别单元，用于当所述数据获取请求属于第二请求类型时，判断该数据获取请求是否包含重定向标识；待解析确定单元，用于当所述数据获取请求包含重定向标识时，先获取重定向所指向的网站域名作为待解析域名，否则以数据获取请求所指向的网站域名作为待解析域名；调用解析单元，用于由拦截器调用预设的域名服务器确定所述待解析域名相对应的网络地址；数据获取单元，用于由拦截器生成所述数据获取请求的同步请求发送至所述网络地址，获得该网络地址返回的目标数据。

可选的，所述拦截器为所述应用程序所预置的功能模块，所述监听器为区别于所述拦截器且兼容所述目标网页的源代码而实现的功能模块，所述代码原始请求被所述应用程序转换为相应的数据获取请求。

又一方面，适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的网页数据访问方法的步骤。

又一方面，适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的网页数据访问方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。

又一方面，适应本申请的另一目的而提供的一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述网页数据访问方法的步骤。

相对于现有技术，本申请通过对页面视图控件中目标网页所触发的携带消息体的数据获取请求进行拦截，一方面，由预置在所述目标网页中的监听器，根据所述数据获取请求相对应的代码原始请求生成所述数据获取请求与其所述消息体之间的映射关系数据，存储于共享映射表中；另一方面，由该拦截器使用预设的域名服务器对所述数据获取请求所指向的网站网址进行解析获得相应的网络地址，然后再从所述共享映射表中查询出该数据获取请求相对应的消息体，使拦截器可以重构所述消息体相对应的替换请求发送至所述的网络地址，然后获得该网络地址返回的目标数据。不难理解，监听器可以预先获取目标网页中的消息体，而拦截器可以通过所述共享映射表获得所述消息体，为构造替换请求实现必要的传参过程，在此基础上再借助自定义的域名服务器确定正确的网络地址，将替换请求发送至所述网络地址指向的正确的服务器，可以确保整个数据通信链路的安全，确保相应的数据获取请求不被非法劫持或封禁，使终端设备的应用程序的运行更为稳健。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请的网页数据访问方法的一种实施例的流程示意图。

图2为本申请实施例中响应页面加载请求的流程示意图。

图3为本申请实施例中区分不同请求类型的流程示意图。

图4为本申请实施例中处理第二请求类型的请求的流程示意图。

图5为本申请的网页数据访问装置的原理框图；

图6为本申请所采用的一种计算机设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。

本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。

本申请的一种网页数据访问方法，可被编程为计算机程序产品，部署于作为客户端的终端设备中运行而实现，请参阅图1，本申请的网页数据访问方法在其一种实施例中，包括如下步骤：

步骤S6100、由应用程序的页面视图控件所加载的目标网页的代码原始请求触发预先植入所述目标网页的监听器，由监听器生成所述代码原始请求的特征标识与消息体之间的映射关系数据，存储于共享映射表中；

本申请的应用程序，适于在终端设备中运行，所述终端设备可以是移动终端，配备有操作系统，在该操作系统中运行所述的应用程序，所述操作系统可以是Android操作系统。

所述的应用程序配置有页面视图控件，用于加载网页，以便用于展示信息以及进行人机交互。为了加载目标网页，页面视图控件可以根据其默认设置或者响应于用户操作而触发一个相应的页面加载请求。而在所述的网页中，包括所述目标网页，则可以通过预先编写脚本代码而植入用于获取目标数据的数据获取请求，所述数据获取请求在网页的源代码中通常表现为一个语句，当其被解析后则可以被页面视图控件视为脚本层面相对应的一个代码原始请求，该代码原始请求最终将在应用程序层面，被应用程序进程视为一个数据获取请求进行处理，因而，代码原始请求与数据获取请求之间具有对应性。所述数据获取请求与所述页面加载请求，在应用程序层面，均可视为一种数据访问请求。

所述监听器，不同于本申请工作在应用程序层面的拦截器，是以目标网页的源代码所能兼容的脚本代码编写，在所述目标网页的加载过程中预先植入到目标网页的源代码中，在相应的源代码被解析后启动运行的功能模块，其被编程实现为适于在脚本层面识别所述源代码中的所述代码原始请求，以便在源代码层面获得所述代码原始请求中携带的消息体。

例如，对于Android系统的WebView控件而言，在window.XMLHttpRequest.prototype.send接口发起请求时，监听器便可识别相应的代码原始请求，直接获得其中的消息体，并且生成指代该请求的唯一性特征信息，即ID，可作为特征标识，由此获得代码原始请求的特征标识及其消息体所构成的映射关系数据，然后将其存储到一个共享映射表中。

一种实施例中，所述ID可以植入所述代码原始请求中的请求头headers中，后续对应生成应用程序层面的数据获取请求时，便可根据这一ID识别具体的映射关系数据而获得相应的消息体。一个实施例中，所述特征标识与其相对应的消息体之间，可以采用哈希映射表进行存储，将特征标识与消息体存储为键值对，以便高效查询。

步骤S6200、由拦截器获取所述目标网页的数据获取请求，所述数据获取请求由所述代码原始请求转换而得，且其携带所述代码原始请求的特征标识；

根据超文本传输协议(Hyper Text Transfer Protocol，HTTP)的定义，所述的数据访问请求，包括页面加载请求和数据获取请求，可以表示为客户端与服务器之间多种交互类型中的任意一种，包括GET、POST、PUT、DELETE、HEAD、OPTIONS、TRACE、CONNECT，其中以是否携带消息体为代表，可划分为以GET、POST为代表的两大请求类型。

属于本申请中的第二请求类型的GET类型，当客户端要从服务器中读取文档时，当点击网页上的链接或者通过在浏览器的地址栏输入网址来浏览网页的，使用的都是GET方式。GET方法要求服务器将URL定位的资源放在响应报文的数据部分，回送给客户端。使用GET方法时，请求参数和对应的值附加在URL后面，利用一个问号(“？”)代表URL的结尾与请求参数的开始，传递参数长度受限制。地址中“？”之后的部分就是通过GET发送的请求数据，在网址中可以看到，各个数据之间用”&”符号隔开。很显然，这种方式不适合传送私密数据。另外，由于不同的浏览器对地址的字符限制也有所不同，一般最多只能识别1024个字符，所以如果需要传送大量数据的时候，也不适合使用GET方式。

对于上面提到的不适合使用GET方式的情况，可以使用属于本申请中的第一请求类型的POST方式，因为使用POST方法可以允许客户端给服务器提供更多的信息。POST方法将请求参数封装在HTTP请求数据中，构成消息体，以名称/值的形式出现，可以传输大量数据，这样POST方式对传送的数据大小没有限制，而且也不会显示在URL中。POST方式请求行中不包含数据字符串，各数据之间也是使用”&”符号隔开。POST方式大多用于页面的表单中。

可见，本申请中任意的数据访问请求，包括数据获取请求和网页加载请求，根据其是否携带消息体，而可划分为两个请求类型，其中，第一请求类型以POST为代表，第二请求类型以GET为代表。

由此，本申请在应用程序层面预先实现一个拦截器，可由该拦截器对其中的页面视图控件所触发的数据访问请求实施拦截，从而可以有效拦截到相应的网页加载请求和数据获取请求。由此可见，拦截器是在应用程序层面开发实现的功能模块，预置于该应用程序中，适于对该应用程序所触发的，特别是所述页面视图控件所触发的数据访问请求实施拦截。

具体示例，通过自定义WebView进行配置WebViewClient来实现对网络请求的拦截，借助setWebViewClient接口重载shouldInterceptRequest拦截所有的HTTP请求，然后便可通过shouldInterceptRequest的传参对象WebResourceRequest来获得相应的数据访问请求。

当拦截器拦截到一个数据访问请求之后，以WebView为例，通过页面视图控件相对应的WebResourceRequest实例提供的类型识别接口getMethod，便可识别出该数据访问请求的请求类型信息，确定其是否属于第一请求类型或第二请求类型，以便根据所述的请求类型信息在后续做适应性的处理。

需要指出的是，本申请的数据获取请求，是对应页面视图控件的脚本层面的代码原始请求，由该代码原始请求转换生成的，也即是说，应用程序将所述代码原始请求转换成了相应的数据获取请求，因而，相对应的代码原始请求与数据获取请求实际上是完成同一获取目标数据任务的指令在不同阶段所体现的不同形式，而对于属于第一请求类型的数据获取请求，由于监听器识别出该数据获取请求相对应的代码原始请求之后，在请求头中已经预置了相应的用于确定消息体的特征标识，因而，数据获取请求中也相应携带了所述的特征标识，后续可利用该特征标识确定相应的消息体以便构成所述数据获取请求的替换请求。

步骤S6300、由拦截器调用预设的域名服务器确定所述数据获取请求所要送达的网络地址；

对于所述的数据获取请求，拦截器可以通过其WebResourceRequest对象中提供的getURL接口获取其相应的域名地址，然后对其进行域名解析，以便确定其所指向的服务器相对应的网络地址。

本申请中，为了避免使用操作系统或者运营商默认设置的域名服务器，在本申请的应用程序中预先自定义一个域名服务器，以其相应的网络地址加以表示。由此，拦截器在需要进行域名解析时，首先调用所述域名服务器对所述数据获取请求中的域名地址进行域名解析，获得该数据获取请求的网络地址，即为该数据获取请求所要送达的服务器的网络地址。不难理解，在此处所称的网络地址，是指计算机网络可直接识别的IP地址。

一个实施例中，本申请拦截器所需执行的请求，可以交由操作系统相匹配的专门处理网络请求的框架去执行，例如Android系统中的OkHttp框架。由此，可以在该框架中预先自定义域名服务器。

不难理解，使用自定义的域名服务器对本申请的数据访问请求，包括所述网页加载请求和数据获取请求进行域名解析，可以避免依赖外部域名服务器，杜绝域名劫持或封禁等不安全因素，确保用户安全使用应用程序。

步骤S6400、由拦截器查询所述共享映射表获得所述特征标识相对应的消息体，生成携带该消息体的替换请求发送至所述网络地址，获得该网络地址返回的目标数据。

为了重构所述的数据获取请求的替换请求，拦截器需要获得所述数据获取请求所携带的消息体，由于拦截器工作在应用程序层面，而页面视图控件并不支持直接获取属于第一请求类型的数据获取请求所携带的消息体，因而，前述监听器在脚本层面所获得的特征标识与消息体之间的映射关系数据便可起到传参的作用，协助本步骤重构所述替换请求。

具体而言，拦截器可以从所述数据获取请求的请求头中获得由监听器植入的特征标识，于是，可以根据该特征标识在所述的共享映射表中进行查询确定包含该特征标识的数据记录，然后从中提取出所述的消息体，利用该消息体重新构造出携带该消息体的第一请求类型的数据获取请求作为替换请求，然后发送至所述的服务器的网络地址，相应也就获取该服务器返回的目标数据。

一个实施例中，在构造所述替换请求时，如果使用操作系统的框架例如OkHttp处理请求，可以将该数据获取请求替换为OkHttpPost的同步方法，并带入所述的消息体，由此构成所述替换请求。

可以看出，本申请通过对页面视图控件中目标网页所触发的携带消息体的数据获取请求进行拦截，一方面，由预置在所述目标网页中的监听器，根据所述数据获取请求相对应的代码原始请求生成所述数据获取请求与其所述消息体之间的映射关系数据，存储于共享映射表中；另一方面，由该拦截器使用预设的域名服务器对所述数据获取请求所指向的网站网址进行解析获得相应的网络地址，然后再从所述共享映射表中查询出该数据获取请求相对应的消息体，使拦截器可以重构所述消息体相对应的替换请求发送至所述的网络地址，然后获得该网络地址返回的目标数据。不难理解，监听器可以预先获取目标网页中的消息体，而拦截器可以通过所述共享映射表获得所述消息体，为构造替换请求实现必要的传参过程，在此基础上再借助自定义的域名服务器确定正确的网络地址，将替换请求发送至所述网络地址指向的正确的服务器，可以确保整个数据通信链路的安全，确保相应的数据获取请求不被非法劫持或封禁，使终端设备的应用程序的运行更为稳健。

可选的，请参阅图2，由拦截器获取所述目标网页的数据获取请求之前，包括：

步骤S5100、由拦截器获取在所述页面视图控件中访问目标网页相对应的页面加载请求，获得所述页面加载请求；

在所述页面视图控件需要加载一个目标网页时，同理也是触发一个数据访问请求，具体可视为页面加载请求，这种情况下，由于应用程序已经为页面视图控件预置了拦截器，因而，该拦截器也能拦截到所述页面加载请求。

步骤S5200、由拦截器调用预设的域名服务器确定所述页面获取请求所要送达的网络地址；

同理，针对所述页面加载请求，可以按照所述步骤S6300相同的方式执行，由拦截器调用预设的域名服务器确定所述页面加载请求所要送达的服务器的网络地址。不难理解，步骤S6300、步骤S5200以及后续的步骤S6250，实际上可以实现为同一负责执行域名解析的接口，通过对这样的接口实施调用，便可达到获得域名相对应的网络地址的效果。

步骤S5300、由拦截器生成所述页面加载请求的替换请求发送至所述网络地址，获得该网络地址返回的网页代码数据；

同理，可以参考步骤S6400，使用OkHttp框架生成所述页面加载请求的替换请求，发送至所述网络地址所指向的服务器，该服务器将返回目标网页相对应的网页代码数据，通过对该网页代码数据进行解析，可以执行其中的代码以及识别其中的用于获取目标数据的代码原始请求等。

步骤S5400、向所述网页代码数据中植入所述监听器相对应的代码后，解析所述网页代码数据以加载目标网页。

在本实施例中，在获取目标网页的网页代码数据之后，可以查找到其中的<body>标签，在其内部代码起始处植入本申请预先实现的监听器的脚本代码，由此，页面视图控件在解析所述网页代码数据以加载目标网页的过程中，优先解析所述监听器的脚本代码，使该监听器被加载运行，由此便可使监听器进行工作状态。

根据以上实施例可以理解，当页面视图控件首次加载目标网页时，针对获取目标网页相对应的网页加载请求，拦截器也可进行相应的处理，并且，为确保本申请能够处理第一请求类型的数据获取请求，而对网页加载请求所获得的网页代码数据进行加工，在其中植入监听器的源代码，使监听器顺利被启动，以确保后续有效处理所述的数据获取请求。由以上实施例也可以看出，从目标网页首次加载开始，便由本申请所采用的技术手段接管了域名解析入口，由此可以确保目标网页来源的合法性，确保后续所处理的数据获取请求是基于合法网页触发的。

可选的，由拦截器获取在所述页面视图控件中访问目标网页相对应的页面加载请求，获得所述页面加载请求之前，包括：

步骤S4100、由拦截器获取应用程序页面视图控件所加载的目标网页中触发的任意数据访问请求；

对于所述拦截器来说，在宏观层面上，其将页面视图控件触发的每个HTTP请求视为数据访问请求，但数据访问请求既可以是用于获取目标网页的页面加载请求，也可以是目标网页中用于获取目标数据的数据获取请求，为区别处理，后续对这两种情况进行识别。

步骤S4200、判断所述数据访问请求所加载的资源是否属于页面视图控件的主框架类型，当为主框架类型时，确定所拦截到的所述数据访问请求为所述页面加载请求，否则确定所拦截到的所述数据访问请求为所述的数据获取请求。

对于每一个数据访问请求来说，可以通过所述的传参对象WebResourceRequest的isForMainFrame接口来确定其类型，当其返回值表示主框架类型(MainFrame)时，意味着相应的数据访问请求是页面加载请求，于是可以跳转执行步骤S5100至步骤S5400所构成的过程，以便实现目标网页的加载和监听器的植入；当其返回值并非表征主框架类型时，意味着相应的数据访问请求是目标网页内部的数据获取请求，于是，可以跳转执行本申请的步骤S6100至步骤S6400所构成的过程，实现区别处理。

以上实施例可以有效区分目标网页的页面加载请求和数据获取请求，方便本申请进行区别处理，对于页面加载请求可以执行植入监听器的流程，而对于数据获取请求可以执行请求的流程，且全程均由自定义的域名服务器提供安全的域名解析服务，由此可见，所实现的应用程序安全可信度非常高。

可选的，请参阅图3，由拦截器获取所述目标网页的数据获取请求，包括：

步骤S6210、获取所述数据获取请求的请求类型信息，确定其属于第一请求类型或第二请求类型，其中第一请求类型表征该数据获取请求携带消息体，第二请求类型表征该数据获取请求无消息体；

数据获取请求的请求类型信息，如前所述，可以通过其相对应的传参对象WebResourceRequest的getMethod接口来获取，从而判别是否属于携带消息体的请求类型，其中第一请求类型表征该数据获取请求携带消息体，例如Post请求类型；第二请求类型表征该数据获取请求不携带消息体，例如Get、Options等类型。

步骤S6220、当所述数据获取请求属于第一请求类型时，获取其请求头中携带的特征标识。

对于所述第一请求类型，即Post类型的数据获取请求，如前所述，事先已经由监听器根据其代码原始请求生成了相应的特征标识，并将其特征标识预置于请求头中，然后在应用程序转换获得所述的数据获取请求，因而，可以在本步骤中，通过解释所述数据获取请求，获得其中的请求头所携带的所述特征标识，以便执行步骤S6400时可以根据该特征标识构造替换请求。

根据以上实施例可以看出，可以快速高效地识别出数据获取请求所归属的请求类型，然后根据不同请求类型做不同的转向处理，使本申请的技术方案可以兼容处理多种请求类型的数据获取请求。

可选的，请参阅图4，获取所述数据获取请求的请求类型信息，确定其属于第一请求类型或第二请求类型之后，包括：

步骤S6230、当所述数据获取请求属于第二请求类型时，判断该数据获取请求是否包含重定向标识；

当经过步骤S6220将一个数据访问请求，或者更具体的，将一个数据获取请求识别为属于第二请求类型时，例如Get类型，由于此种类型的请求不携带消息体，因而，可以无需依赖所述监听器提供信息，便于实施更便捷的处理。

但是，对于第二请求类型的数据访问请求来说，可能存在重定向请求，因而可以通过其传参对象提供的重定向识别接口，来确定其是否包含重定向标识，然后区别不同情况进行处理。

步骤S6240、当所述数据获取请求包含重定向标识时，先获取重定向所指向的网站域名作为待解析域名，否则以数据获取请求所指向的网站域名作为待解析域名；

当所述数据获取请求包含重定向标识时，可以先进行重写向，获取重定向后的URL，然后将重定向所指向的网站域名作为待解析域名以待解析。当所述数据获取请求未包含重定向标识时，则可以直接将该数据获取请求的URL中的网站域名作为待解析域名以待解析。

步骤S6250、由拦截器调用预设的域名服务器确定所述待解析域名相对应的网络地址；

同理，按照步骤S6300相同的方式，由拦截器直接调用所述域名服务器对所述待解析域名进行解析，获得相应的网络地址。

步骤S6260、由拦截器生成所述数据获取请求的同步请求发送至所述网络地址，获得该网络地址返回的目标数据。

完成域名解析后，拦截器便可以生成所述数据获取请求的同步请求，具体可以通过例如所述的OkHttp框架生成所述的同步请求，将其发送经过解析获得的所述网络地址，由此获得该网络地址返回的目标数据。

根据以上实施例可以看出，对于Get之类的第二请求类型的数据访问请求或者数据获取请求，本申请可以通过所述拦截器实施更为高效地对应处理，在确保通过自定义的域名服务器准确解析出相应的网络地址的基础上，通过相应的同步请求向相应的服务器代理请求获取相应的目标数据，可见，本实施例使得页面视图控件中触发的所有HTTP请求均可被代理处理，并且确保所有的请求均基于自定义的域名服务器进行地址解析，避免相应的网络请求被劫持或封禁，确保数据通信的安全性。

请参阅图5，适应本申请的目的之一而提供一种网页数据访问装置，是对本申请的网页数据访问方法的功能化体现，该装置包括：监听处理模块6100、请求拦截模块6200、地址解析模块6300，以及代理请求模块6400，其中，所述监听处理模块6100，用于由应用程序的页面视图控件所加载的目标网页的代码原始请求触发预先植入所述目标网页的监听器，由监听器生成所述代码原始请求的特征标识与消息体之间的映射关系数据，存储于共享映射表中；所述请求拦截模块6200，用于由拦截器获取所述目标网页的数据获取请求，所述数据获取请求由所述代码原始请求转换而得，且其携带所述代码原始请求的特征标识；所述地址解析模块6300，用于由拦截器调用预设的域名服务器确定所述数据获取请求所要送达的网络地址；所述代理请求模块6400，用于由拦截器查询所述共享映射表获得所述特征标识相对应的消息体，生成携带该消息体的替换请求发送至所述网络地址，获得该网络地址返回的目标数据。

可选的，本申请的网页数据访问装置，前置于所述监听处理模块6100，包括：页面拦截模块，用于由拦截器获取在所述页面视图控件中访问目标网页相对应的页面加载请求，获得所述页面加载请求；页面地址解析模块6300，用于由拦截器调用预设的域名服务器确定所述页面获取请求所要送达的网络地址；页面代码获取模块，用于由拦截器生成所述页面加载请求的替换请求发送至所述网络地址，获得该网络地址返回的网页代码数据；页面解析模块，用于向所述网页代码数据中植入所述监听器相对应的代码后，解析所述网页代码数据以加载目标网页。

可选的，本申请的网页数据访问装置，前置于所述页面拦截模块，包括：访问拦截模块，用于由拦截器获取应用程序页面视图控件所加载的目标网页中触发的任意数据访问请求；分类处理模块，用于判断所述数据访问请求所加载的资源是否属于页面视图控件的主框架类型，当为主框架类型时，确定所拦截到的所述数据访问请求为所述页面加载请求，否则确定所拦截到的所述数据访问请求为所述的数据获取请求。

可选的，所述请求拦截模块6200，包括：类型识别单元，用于获取所述数据获取请求的请求类型信息，确定其属于第一请求类型或第二请求类型，其中第一请求类型表征该数据获取请求携带消息体，第二请求类型表征该数据获取请求无消息体；消息体提取单元，用于当所述数据获取请求属于第一请求类型时，获取其请求头中携带的特征标识。

可选的，所述请求拦截模块6200中，后于所述类型识别单元，包括：

重定向识别单元，用于当所述数据获取请求属于第二请求类型时，判断该数据获取请求是否包含重定向标识；待解析确定单元，用于当所述数据获取请求包含重定向标识时，先获取重定向所指向的网站域名作为待解析域名，否则以数据获取请求所指向的网站域名作为待解析域名；调用解析单元，用于由拦截器调用预设的域名服务器确定所述待解析域名相对应的网络地址；数据获取单元，用于由拦截器生成所述数据获取请求的同步请求发送至所述网络地址，获得该网络地址返回的目标数据。

可选的，所述拦截器为所述应用程序所预置的功能模块，所述监听器为区别于所述拦截器且兼容所述目标网页的源代码而实现的功能模块，所述代码原始请求被所述应用程序转换为相应的数据获取请求。

为解决上述技术问题，本申请实施例还提供计算机设备。如图6所示，该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种网页数据访问方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的网页数据访问方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图5中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的网页数据访问装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的网页数据访问方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。

本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请可以有效防止应用程序的页面所触发的数据获取请求不被非法劫持和封禁，确保终端应用程序的安全运行。

Claims (9)

1.一种网页数据访问方法，其特征在于，包括：

由应用程序的页面视图控件所加载的目标网页的代码原始请求触发预先植入所述目标网页的监听器，由监听器生成所述代码原始请求的特征标识与消息体之间的映射关系数据，存储于共享映射表中；其中，先由拦截器基于所述页面视图控件所触发的页面加载请求获取所述目标网页的网页代码数据，再向网页代码数据植入所述监听器的代码以解析加载所述目标网页；

由拦截器获取所述目标网页的数据获取请求，所述数据获取请求由所述代码原始请求转换而得，且其携带所述代码原始请求的特征标识；

由拦截器调用预设的域名服务器确定所述数据获取请求所要送达的网络地址；

由拦截器查询所述共享映射表获得所述特征标识相对应的消息体，生成携带该消息体的替换请求发送至所述网络地址，获得该网络地址返回的目标数据。

2.根据权利要求1所述的网页数据访问方法，其特征在于，由应用程序的页面视图控件所加载的目标网页的代码原始请求触发预先植入所述目标网页的监听器之前，包括：

由拦截器获取在所述页面视图控件中访问目标网页相对应的页面加载请求，获得所述页面加载请求；

由拦截器调用预设的域名服务器确定所述页面加载请求所要送达的网络地址；

由拦截器生成所述页面加载请求的替换请求发送至所述网络地址，获得该网络地址返回的网页代码数据；

向所述网页代码数据中植入所述监听器相对应的代码后，解析所述网页代码数据以加载目标网页。

3.根据权利要求2所述的网页数据访问方法，其特征在于，由拦截器获取在所述页面视图控件中访问目标网页相对应的页面加载请求，获得所述页面加载请求之前，包括：

由拦截器获取应用程序页面视图控件所加载的目标网页中触发的任意数据访问请求；

判断所述数据访问请求所加载的资源是否属于页面视图控件的主框架类型，当为主框架类型时，确定所拦截到的所述数据访问请求为所述页面加载请求，否则确定所拦截到的所述数据访问请求为所述的数据获取请求。

4.根据权利要求1所述的网页数据访问方法，其特征在于，由拦截器获取所述目标网页的数据获取请求，包括：

获取所述数据获取请求的请求类型信息，确定其属于第一请求类型或第二请求类型，其中第一请求类型表征该数据获取请求携带消息体，第二请求类型表征该数据获取请求无消息体；

当所述数据获取请求属于第一请求类型时，获取其请求头中携带的特征标识。

5.根据权利要求4所述的网页数据访问方法，其特征在于，获取所述数据获取请求的请求类型信息，确定其属于第一请求类型或第二请求类型之后，包括：

当所述数据获取请求属于第二请求类型时，判断该数据获取请求是否包含重定向标识；

当所述数据获取请求包含重定向标识时，先获取重定向所指向的网站域名作为待解析域名，否则以数据获取请求所指向的网站域名作为待解析域名；

由拦截器调用预设的域名服务器确定所述待解析域名相对应的网络地址；

由拦截器生成所述数据获取请求的同步请求发送至所述网络地址，获得该网络地址返回的目标数据。

6.根据权利要求1至5中任意一项所述的网页数据访问方法，其特征在于，所述拦截器为所述应用程序所预置的功能模块，所述监听器为区别于所述拦截器且兼容所述目标网页的源代码而实现的功能模块，所述代码原始请求被所述应用程序转换为相应的数据获取请求。

7.一种网页数据访问装置，其特征在于，包括：

监听处理模块，用于由应用程序的页面视图控件所加载的目标网页的代码原始请求触发预先植入所述目标网页的监听器，由监听器生成所述代码原始请求的特征标识与消息体之间的映射关系数据，存储于共享映射表中；其中，先由拦截器基于所述页面视图控件所触发的页面加载请求获取所述目标网页的网页代码数据，再向网页代码数据植入所述监听器的代码以解析加载所述目标网页；

请求拦截模块，用于由拦截器获取所述目标网页的数据获取请求，所述数据获取请求由所述代码原始请求转换而得，且其携带所述代码原始请求的特征标识；

地址解析模块，用于由拦截器调用预设的域名服务器确定所述数据获取请求所要送达的网络地址；

代理请求模块，用于由拦截器查询所述共享映射表获得所述特征标识相对应的消息体，生成携带该消息体的替换请求发送至所述网络地址，获得该网络地址返回的目标数据。

8.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至6中任意一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至6中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。