CN104598472A - 网页内容的提取方法、装置及系统 - Google Patents

Abstract

本发明公开了一种网页内容的提取方法、装置及系统，属于互联网技术领域。方法包括：获取待提取网页，确定本地是否存储有用于提取待提取网页的网页内容的提取规则；若确定本地未存储用于提取待提取网页的网页内容的提取规则，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；接收服务器下发的统一提取规则，并在确定不支持解析统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库；通过第三方解析库对统一提取规则进行解析，并根据解析后的统一提取规则对待提取网页的网页内容进行提取。本发明通过安装用于解析统一提取规则的第三方解析库对统一提取规则进行解析，实现网页内容的提取，避免规则转换，提高了提取效率。

Description

网页内容的提取方法、装置及系统

技术领域

本发明涉及互联网技术领域，特别涉及一种网页内容的提取方法、装置及系统。

背景技术

随着互联网技术的快速发展，越来越多的网络应用都是基于B/S架构（Browser/Server，浏览器/服务器模式）的。该B/S架构下，不必在终端上安装相应的客户端，直接通过浏览器即可实现不同功能，常见的B/S架构的网络应用如网页游戏、在线视频、在线音乐等。在该类网络应用中，服务器需要将该网络应用对应的网页内容与提取规则发送至终端。终端上安装的浏览器在获取到服务器发送的网页内容与提取规则后，通常需要根据获取到的提取规则对网页内容进行提取。

现有技术中提供了一种网页内容的提取方法，在该方法中，服务器预先存储并维护一种提取规则，并同时存储不同浏览器的浏览器标识以及浏览器标识对应的提取规则的相关信息。当终端上安装的浏览器需要对获取到的网页进行网页内容提取时，终端向服务器发送获取提取规则请求，该请求中携带有该终端上安装的浏览器对应的浏览器标识。服务器接收到终端发送的获取提取规则请求后，获取请求中携带的浏览器标识所对应的提取规则的相关信息。此时服务器根据获取到的提取规则的相关信息判断该浏览器是否支持服务器本地存储的提取规则。若该浏览器支持本地存储的提取规则，则服务器将本地存储的提取规则发送至终端。若该浏览器不支持本地存储的提取规则，则服务器根据获取到的提取规则的相关信息将本地存储的提取规则转换为该浏览器所支持的提取规则，并将转换后的提取规则发送至终端，使终端上的浏览器根据服务器发送的提取规则对网页内容进行提取。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

由于上述现有技术中，当终端上安装的浏览器不支持服务器上存储的提取规则时，服务器需要根据获取到的提取规则的相关信息将本地存储的提取规则转换成该浏览器支持的提取规则。因此，上述过程容易产生错误，并且需要花费较长时间，进而导致用户浏览网页的效率不高。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种网页内容的提取方法、装置及系统。所述技术方案如下：

一方面，提供了一种网页内容的提取方法，所述方法包括：

获取待提取网页，并根据所述待提取网页的网址确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则；

若确定本地未存储用于提取所述待提取网页的网页内容的提取规则，则向服务器请求获取用于提取所述待提取网页的网页内容的提取规则；

接收所述服务器下发的统一提取规则，并在确定不支持解析所述统一提取规则后，下载并安装用于解析所述统一提取规则的第三方解析库；

通过所述第三方解析库对所述统一提取规则进行解析，并根据解析后的统一提取规则对所述待提取网页的网页内容进行提取。

另一方面，提供了一种网页内容的提取方法，所述方法包括：

接收任一浏览器发送的获取提取规则的请求，所述提取规则用于提取待提取网页的网页内容；

向所述任一浏览器下发统一提取规则，使所述任一浏览器根据所述统一提取规则对所述待提取网页的网页内容进行提取。

另一方面，提供了一种网页内容的提取装置，所述装置包括：

获取模块，用于获取待提取网页；

确定模块，用于根据获取到的待提取网页的网址确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则；

第一请求模块，用于当确定本地未存储用于提取所述待提取网页的网页内容的提取规则时，向服务器请求获取用于提取所述待提取网页的网页内容的提取规则；

第一接收模块，用于接收所述服务器下发的统一提取规则；

安装模块，用于在确定不支持解析所述统一提取规则后，下载并安装用于解析所述统一提取规则的第三方解析库；

第一解析模块，用于通过所述第三方解析库对所述统一提取规则进行解析；

第一提取模块，用于根据所述第一解析模块解析后的统一提取规则对所述待提取网页的网页内容进行提取。

又一方面，提供了一种服务器，所述服务器包括：

接收模块，用于接收任一浏览器发送的获取提取规则的请求，所述提取规则用于提取待提取网页的网页内容；

下发模块，用于向所述任一浏览器下发统一提取规则，使所述任一浏览器根据所述统一提取规则对所述待提取网页的网页内容进行提取。

再一方面，提供了一种提取网页内容的系统，所述系统包括：终端和服务器；

其中，所述终端上安装有浏览器，所述浏览器为上述网页内容的提取装置；

所述服务器为上述服务器。

本发明实施例提供的技术方案带来的有益效果是：

通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种网页内容的提取方法流程图；

图2是本发明实施例一提供的另一种网页内容的提取方法流程图；

图3是本发明实施例二提供的一种网页内容的提取方法流程图；

图4是本发明实施例三提供的一种网页内容的提取方法流程图；

图5是本发明实施例四提供的一种网页内容的提取装置结构示意图；

图6是本发明实施例五提供的一种服务器的装置结构示意图;

图7是本发明实施例六提供的一种提取网页内容的系统结构示意图；

图8是本发明实施例七提供的一种终端的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明实施例提供了一种网页内容的提取方法，该方法可以应用于安装有浏览器的终端，该终端包括但不限于手机、计算机、平板电脑等等，本实施例不对终端的具体形式进行限定。以终端的角度实现该方法为例，参见图1，本实施例提供的方法流程包括：

101：获取待提取网页，并根据待提取网页的网址确定本地是否存储有用于提取待提取网页的网页内容的提取规则；

根据待提取网页的网址确定本地是否存储有用于提取待提取网页的网页内容的提取规则，包括：

确定待提取网页的网址中包含的根域名；

根据根域名确定本地是否存储有用于提取待提取网页的网页内容的提取规则。

102：若确定本地未存储用于提取待提取网页的网页内容的提取规则，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；

103：接收服务器下发的统一提取规则，并在确定不支持解析统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库；

104：通过第三方解析库对统一提取规则进行解析，并根据解析后的统一提取规则对待提取网页的网页内容进行提取。

根据待提取网页的网址确定本地是否存储有用于提取待提取网页的网页内容的提取规则之后，还包括：

若确定本地存储有用于提取待提取网页的网页内容的提取规则，则根据本地存储的提取规则对待提取网页的网页内容进行提取。

根据本地存储的提取规则对待提取网页的网页内容进行提取之前，还包括：

判断本地存储的提取规则是否过期；

如果本地存储的提取规则未过期，则执行根据本地存储的提取规则对待提取网页的网页内容进行提取的步骤。

判断本地存储的提取规则是否过期之后，还包括：

如果本地存储的提取规则已过期，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；

接收服务器下发的统一提取规则，并在确定支持解析统一提取规则后，解析统一提取规则；

根据解析后的统一提取规则对待提取网页的网页内容进行提取。

以服务器的角度实现该方法为例，参见图2，本实施例提供的方法流程包括：

201：接收任一浏览器发送的获取提取规则的请求，提取规则用于提取待提取网页的网页内容；

202：向任一浏览器下发统一提取规则，使任一浏览器根据统一提取规则对待提取网页的网页内容进行提取。

本实施例提供的方法，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

实施例二

本发明实施例提供了一种网页内容的提取方法，结合上述实施例一的内容，本实施例以在安装有浏览器的终端上执行网页内容的提取方法，且执行主体为该终端上安装的浏览器为例，对本实施例提供的方法进行举例说明。参见图3，本实施例提供的方法流程包括：

301：获取待提取网页，并确定获取到的待提取网页的网址中包含的根域名；

具体地，本实施例不对获取待提取网页的方式进行限定，包括但不限于浏览器获取待提取网页的网址，之后再向服务器发送待提取网页的获取请求，并接收服务器根据该获取请求返回的待提取网页。该获取请求中至少携带有待提取网页的网址，当然，该获取请求中还可以携带其它内容，本实施例不对获取请求中携带的内容作具体限定。

浏览器获取待提取网页的网址时，由于浏览器一般会提供地址输入框，用户可以通过该地址输入框输入想要访问的网址，因此，当浏览器从地址输入框中获取到用户输入的网址后，可以将该网址作为获取到的待提取网页的网址。当然，还可以有其他获取待提取网页的网址的方式，本实施例对此不作具体限定。

例如，用户打开浏览器，在浏览器的地址输入框中输入一个网址xyz.zzz.xx.com，浏览器获取地址输入框中的网址，并将该网址作为获取到的待提取网页的网址。之后，浏览器向服务器发送待提取网页的获取请求，该获取请求中至少包括待提取网页的网址xyz.zzz.xx.com。服务器接收到浏览器发送的待提取网页的获取请求后，根据该获取请求中的待提取网页的网址查找对应的网页，并将查找到的网页发送至浏览器，浏览器将服务返回的网页作为获取到的待提取网页的网址。

进一步地，由于浏览器需要按照一定的提取规则来提取网页内容，因此，为了能够成功提取该待提取网页中的网页内容，浏览器需要判断本地是否存储有用于提取该待提取网页的网页内容的提取规则。具体实施时，由于具有不同的根域名的网页对应不同的提取规则，因而浏览器可以先获取与待提取网页的网址中包含的根域名，从而通过后续步骤根据该待提取网页的根域名来判断本地是否存储有用于提取该待提取网页的网页内容的提取规则。

为了便于理解，仍以浏览器获取到的待提取网页的网址为xyz.zzz.xx.com为例，由于每个网址中都包含有一个根域名，则浏览器可以确定待提取网页的网址xyz.zzz.xx.com中包含的根域名为xx.com。

302：根据根域名确定本地是否存储有用于提取待提取网页的网页内容的提取规则；

针对该步骤，本实施例不对根据根域名确定本地是否存储有用于提取待提取网页的网页内容的提取规则的方式进行限定，包括但不限于根据获取到根域名在本地进行检索，如果在本地检索到与该待提取网页的根域名对应的提取规则，则说明本地存储有用于提取待提取网页的网页内容的提取规则；如果在本地未检索到与该待提取网页的根域名对应的提取规则，则说明本地未存储有用于提取待提取网页的网页内容的提取规则。

303：若确定本地未存储用于提取待提取网页的网页内容的提取规则，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；

具体地，为了能够成功地对待提取网页的网页内容进行提取，浏览器在确定本地未存储用于提取待提取网页的网页内容的提取规则后，向服务器请求获取用于提取待提取网页的网页内容的提取规则。关于浏览器向服务器请求获取用于提取待提取网页的网页内容的提取规则的方式，本实施例不做具体限定，包括但不限于向服务器发送获取用于提取待提取网页的网页内容的提取规则的请求消息，使服务器接收到该请求消息后，向浏览器下发对应的提取规则。

其中，浏览器向服务器发送的请求消息中包括但不限于携带有待提取网页的根域名。当然，根据具体需要，请求消息中还可以携带其它内容，本实施例对此不作具体限定。

304：接收服务器下发的统一提取规则，并在确定不支持解析统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库；

具体地，当浏览器通过上述步骤303向服务器请求获取用于提取待提取网页的网页内容的提取规则后，为了避免服务器对提取规则进行转换，进而节省时间，本实施例提供的方法中，服务器针对任一浏览器接收任一浏览器发送的获取提取规则的请求后，向任一浏览器下发统一提取规则。也就是说，无论浏览器提取哪种网页的网页内容，针对同一根域名，服务器仅提供一种统一提取规则。因此，浏览器向服务器请求获取用于提取待提取网页的网页内容的提取规则后，接收服务器下发的统一提取规则。

其中，该统一提取规则包括但不限于为XPath（Extensible Markup LanguagePath Language，可拓展标记语言路径语言）规则、CSS（Cascading Style Sheet，级联样式表）规则中的任意一种提取规则，本实施例不对统一提取规则作具体限定。具体实施时，可由管理员在服务器上预先设置每种根域名对应的统一提取规则。

例如，服务器中预先存储了XPath规则，由于不同根域名对应不同种类的待提取网页，因此为了对不同种类待提取网页的网页内容进行提取，服务器根据提取需要为不同的根域名存储对应的XPath规则。如服务器预先存储了三种XPath规则，分别为XPath_1、XPath_2和XPath_3。XPath_1为根域名xx.com对应的XPath规则，XPath_2为根域名yy.com对应的XPath规则，XPath_3为根域名zz.com对应的XPath规则。如果浏览器向服务器发送的提取规则的获取请求中携带了根域名zz.com，则服务器向浏览器下发根域名zz.com对应的XPath规则为XPath_3。

无论服务器下发哪种统一提取规则，浏览器接收服务器下发的统一提取规则后，需要确定自身是否支持解析该统一提取规则。若浏览器支持解析统一提取规则，则直接对统一提取规则进行解析，并根据解析后的统一提取规则对待提取网页的网页内容进行提取。若浏览器不支持解析统一提取规则，为了能够对该统一提取规则进行解析，以实现网页内容的提取，浏览器可以下载并安装用于解析统一提取规则的第三方解析库。

其中，本实施例不对浏览器确定是否支持解析统一提取规则的方式进行限定，具体应用中，浏览器是否支持解析统一提取规则可以由浏览器的程序相关文件决定。例如，若浏览器的程序相关文件中包含了对统一提取规则进行解析的模块，则浏览器支持解析统一提取规则。反之，则浏览器不支持解析统一提取规则。

进一步地，本实施例同样不对浏览器下载并安装第三方解析库的方式进行限定。具体实施时，该第三方解析库可以存储在服务器上，该第三方解析库可以根据具体统一提取规则进行确定。例如，如果统一提取规则为XPath，则对应的第三方解析库可以为wgXPath，当然，用于解析该统一提取规则的第三方解析库还可以为其他第三方解析库，本实施例不对用于解析统一提取规则的第三方解析库作具体限定。当浏览器确定不支持解析统一提取规则后，可以向服务器发送获取用于解析统一提取规则的第三方解析库的请求。服务器接收到浏览器发送的获取请求后，将用于解析统一提取规则的第三方解析库返回给浏览器，使浏览器下载并安装该第三方解析库。

305：通过第三方解析库对统一提取规则进行解析，并根据解析后的统一提取规则对待提取网页的网页内容进行提取。

具体地，由于第三方解析库用于解析统一提取规则，则浏览器可以通过安装的第三方解析库对统一提取规则进行解析，再根据解析后的统一提取规则对之前获取到的待提取网页的网页内容进行提取。关于浏览器根据解析后的统一提取规则对待提取网页的网页内容进行提取的过程，本实施例不作具体限定。

其中，为了方便用户阅读提取到的网页内容，可在根据解析后的统一提取规则对之前获取到的待提取网页的网页内容进行提取之前，根据统一提取规则判断当前待提取的网页页面是否可以进入阅读器模式。若当前网页页面可以进入阅读器模式，则显示进入阅读器模式的相关界面操作元素，并设置相应的阅读器模式界面。

当确定用户点击进入阅读器模式的相关界面操作元素后，则可根据解析后的统一提取规则对之前获取到的待提取网页的网页内容进行提取，并将提取到的网页内容按照一定的样式在阅读器模式界面中显示出来。

例如，用户在浏览一个待提取网页之前，浏览器根据解析后的XPath规则判断当前待提取网页是否可进入阅读器模式。若当前待提取网页可进入阅读器模式，则浏览器可在界面中弹出一个对话框，询问用户是否进入阅读器模式。用户可以点击对话框中的确定按钮来确认进入阅读器模式，或者点击取消按钮拒绝进入阅读器模式。当用户确认进入阅读器模式后，浏览器根据解析后的XPath规则对待提取网页的网页内容进行提取，并将提取到的网页内容按照一定的样式在阅读器模式界面中显示出来。

其中，进入阅读器模式的方式除了采用对话框还可以采用其它方式，本实施例对此不作具体限定。提取到的网页内容的显示方式可以根据需要具体设置，本实施例亦不对此作具体限定。

本实施例提供的方法，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

实施例三

本发明实施例提供了一种网页内容的提取方法，参见图4，本实施例提供的方法流程包括：

401：获取待提取网页，并根据待提取网页的网址确定本地是否存储有用于提取待提取网页的网页内容的提取规则；

具体地，该步骤的实现原理与上述实施例二中步骤301的实现原理相同，具体详见上述实施例二中步骤301的内容，此处不再赘述。

402：若确定本地存储有用于提取待提取网页的网页内容的提取规则，则判断本地存储的提取规则是否过期，如果是，执行步骤403，如果否，执行步骤406；

针对该步骤，考虑到提取规则的时效性，若确定本地存储有用于提取待提取网页的网页内容的提取规则，则需要进一步判断本地存储的用于提取待提取网页的网页内容的提取规则是否过期。

在判断本地存储的用于提取待提取网页的网页内容的提取规则是否过期时，包括但不限于采用如下方式实现：

获取本地存储的用于提取待提取网页的网页内容的提取规则的相关信息，该相关信息包括但不限于本地存储的该提取规则的名称、有效期限信息等，因此，根据本地存储的用于提取待提取网页的网页内容的提取规则的相关信息中的有效期限信息判断本地存储的用于提取待提取网页的网页内容的提取规则是否过期。

例如，本地存储有XPath_1规则，该XPath_1规则的相关信息中包括的有效期限为2013年10月12日。若当前日期为2013年10月14日，则此时判断本地存储的提取规则XPath_1已经过期。反之，若当前日期为2013年10月12日之前的日期，则此时判断本地存储的提取规则XPath_1未过期。

403：向服务器请求获取用于提取待提取网页的网页内容的提取规则；

具体地，该步骤的实现原理与上述实施例二中步骤303的实现原理相同，具体详见上述实施例二中步骤303的内容，此处不再赘述。

404：接收服务器下发的统一提取规则，并在确定支持解析统一提取规则后，解析统一提取规则；

具体地，浏览器接收服务器下发的统一提取规则的方式与上述实施例二中步骤304中接收服务器下发的统一提取规则的方式相同，具体可参见上述实施例二中步骤304的相关内容，此处不再赘述。

进一步地，无论服务器下发哪种统一提取规则，浏览器接收服务器下发的统一提取规则后，需要确定是否支持解析统一提取规则。若浏览器支持解析统一提取规则，则直接对统一提取规则进行解析，并根据解析后的统一提取规则对待提取网页的网页内容进行提取。本步骤以浏览器支持解析统一提取规则为例，对于不支持解析统一提取规则的情况，浏览器可以下载并安装用于解析统一提取规则的第三方解析库，以通过该第三方解析库对统一提取规则进行解析。关于下载并安装第三方解析库的过程具体详见上述实施例二中步骤304的相关内容，此处不再赘述。

405：根据解析后的统一提取规则对待提取网页的网页内容进行提取。

具体地，该步骤的具体过程与上述实施例二中步骤305中根据解析后的统一提取规则对待提取网页的网页内容进行提取的原理相同，具体详见上述实施例二中步骤305的相关内容，此处不再赘述。

406：根据本地存储的提取规则对待提取网页的网页内容进行提取。

具体地，由于本地存储有用于对待提取网页的网页内容进行提取的提取规则，因此，浏览器可直接根据本地存储的提取规则对获取到的待提取网页的网页内容进行提取。关于根据本地存储的提取规则对待提取网页的网页内容进行提取的方式，本实施例不作具体限定。

其中，为了方便用户阅读提取到的网页内容，可在根据本地存储的提取规则对之前获取到的待提取网页的网页内容进行提取之前，根据提取规则判断当前待提取的网页页面是否可以进入阅读器模式。若当前网页页面可以进入阅读器模式，则显示进入阅读器模式的相关界面操作元素，并设置相应的阅读器模式界面。

当确定用户点击进入阅读器模式的相关界面操作元素后，则可根据本地存储的提取规则对之前获取到的待提取网页的网页内容进行提取，并将提取到的网页内容按照一定的样式在阅读器模式界面中显示出来。

例如，用户在浏览一个待提取网页之前，浏览器根据本地存储的XPath规则判断当前待提取网页是否可进入阅读器模式。若当前待提取网页可进入阅读器模式，则浏览器可在界面中弹出一个对话框，询问用户是否进入阅读器模式。用户可以点击对话框中的确定按钮来确认进入阅读器模式，或者点击取消按钮拒绝进入阅读器模式。当用户确认进入阅读器模式后，浏览器根据XPath规则对待提取网页的网页内容进行提取，并将提取到的网页内容按照一定的样式在阅读器模式界面中显示出来。

其中，进入阅读器模式的方式除了采用对话框还可以采用其它方式，本实施例对此不作具体限定。提取到的网页内容的显示方式可以根据需要来进行设置，本实施例亦不对此作具体限定。

本实施例提供的方法，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

实施例四

本发明实施例提供了一种网页内容的提取装置，该装置用于执行上述实施例一至实施例三提供的网页内容的提取方法。参见图5，该装置包括：

获取模块501，用于获取待提取网页；

确定模块502，用于根据获取到的待提取网页的网址确定本地是否存储有用于提取待提取网页的网页内容的提取规则；

第一请求模块503，用于当确定本地未存储用于提取待提取网页的网页内容的提取规则时，向服务器请求获取用于提取待提取网页的网页内容的提取规则；

第一接收模块504，用于接收服务器下发的统一提取规则；

安装模块505，用于在确定不支持解析统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库；

第一解析模块506，用于通过第三方解析库对统一提取规则进行解析；

第一提取模块507，用于根据第一解析模块解析后的统一提取规则对待提取网页的网页内容进行提取。

作为一种优选实施例，确定模块502，包括：

第一确定单元，用于确定待提取网页的网址中包含的根域名；

第二确定单元，用于根据根域名确定本地是否存储有用于提取待提取网页的网页内容的提取规则。

作为一种优选实施例，该网页内容的提取装置，还包括：

第二提取模块，用于当确定本地存储有用于提取待提取网页的网页内容的提取规则时，根据本地存储的提取规则对待提取网页的网页内容进行提取。

作为一种优选实施例，该网页内容的提取装置，还包括：

判断模块，用于判断本地存储的提取规则是否过期；

作为一种优选实施例，第二提取模块，还用于当本地存储的提取规则未过期时，执行根据本地存储的提取规则对待提取网页的网页内容进行提取的步骤。

作为一种优选实施例，该网页内容的提取装置，还包括：

第二请求模块，用于当本地存储的提取规则已过期时，向服务器请求获取用于提取待提取网页的网页内容的提取规则；

第二接收模块，用于接收服务器下发的统一提取规则；

第二解析模块，用于在确定支持解析统一提取规则后，解析统一提取规则；

第三提取模块，用于根据第二解析模块解析后的统一提取规则对待提取网页的网页内容进行提取。

本实施例提供的装置，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

实施例五

本发明实施例提供了一种服务器，该装置用于执行上述实施例一至实施例三提供的方法。参见图6，该装置包括：

接收模块601，用于接收任一浏览器发送的获取提取规则的请求，提取规则用于提取待提取网页的网页内容；

下发模块602，用于向任一浏览器下发统一提取规则，使任一浏览器根据统一提取规则对待提取网页的网页内容进行提取。

本实施例提供的装置，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

实施例六

参见图7，本发明实施例提供了一种提取网页内容的系统，包括：终端701和服务器702；

其中，终端上安装有浏览器，浏览器如上述实施例四提供的装置，具体详见上述实施例四的内容，此处不再赘述；

服务器如上述实施例五提供的装置，具体详见上述实施例五的内容，此处不再赘述；

本实施例提供的系统，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

实施例七

本实施例提供了一种终端，该终端可以用于执行上述实施例中提供的文件分享方法。参见图8，该终端800包括：

终端800可以包括RF（Radio Frequency，射频）电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi（Wireless Fidelity，无线保真）模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解，图8中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器180处理；另外，将涉及上行的数据发送给基站。通常，RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块（SIM）卡、收发信机、耦合器、LNA（Low Noise Amplifier，低噪声放大器）、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(Code Division Multiple Access，码分多址)、WCDMA(Wideband CodeDivision Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。

存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端800的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180和输入单元130对存储器120的访问。

输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端800的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图8中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。

终端800还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在终端800移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等;至于终端800还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路160、扬声器161，传声器162可提供用户与终端800之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与终端800的通信。

WiFi属于短距离无线传输技术，终端800通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块170，但是可以理解的是，其并不属于终端800的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器180是终端800的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行终端800的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。

终端800还包括给各个部件供电的电源190（比如电池），优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，终端800还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端的显示单元是触摸屏显示器，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。所述一个或者一个以上程序包含用于执行以下操作的指令：

获取待提取网页，并根据待提取网页的网址确定本地是否存储有用于提取待提取网页的网页内容的提取规则；

若确定本地未存储用于提取待提取网页的网页内容的提取规则，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；

接收服务器下发的统一提取规则，并在确定不支持解析统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库；

通过第三方解析库对统一提取规则进行解析，并根据解析后的统一提取规则对待提取网页的网页内容进行提取。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

确定待提取网页的网址中包含的根域名；

根据根域名确定本地是否存储有用于提取待提取网页的网页内容的提取规则。

在第一种或第二种可能的实施方式的任一种实施方式作为基础而提供的第三种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

若确定本地存储有用于提取待提取网页的网页内容的提取规则，则根据本地存储的提取规则对待提取网页的网页内容进行提取。

在第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

判断本地存储的提取规则是否过期；

如果本地存储的提取规则未过期，则执行根据本地存储的提取规则对待提取网页的网页内容进行提取的步骤。

在第一种可能的实施方式作为基础而提供的第五种可能的实施方式中，终端的存储器中，还包含用于执行以下操作的指令：

如果本地存储的提取规则已过期，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；

接收服务器下发的统一提取规则，并在确定支持解析统一提取规则后，解析统一提取规则；

根据解析后的统一提取规则对待提取网页的网页内容进行提取。

本发明提供的终端，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

实施例八

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质存储有一个或者一个以上程序，该一个或者一个以上程序被一个或者一个以上的处理器用来执行实现多维数据的权限查询方法，该方法包括：

获取待提取网页，并根据待提取网页的网址确定本地是否存储有用于提取待提取网页的网页内容的提取规则；

若确定本地未存储用于提取待提取网页的网页内容的提取规则，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；

接收服务器下发的统一提取规则，并在确定不支持解析统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库；

通过第三方解析库对统一提取规则进行解析，并根据解析后的统一提取规则对待提取网页的网页内容进行提取。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，所述根据所述待提取网页的网址确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则，包括：

确定待提取网页的网址中包含的根域名；

根据根域名确定本地是否存储有用于提取待提取网页的网页内容的提取规则。

在第一种或者第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，所述根据所述待提取网页的网址确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则之后，还包括：

若确定本地存储有用于提取待提取网页的网页内容的提取规则，则根据本地存储的提取规则对待提取网页的网页内容进行提取。

在第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，所述根据本地存储的提取规则对所述待提取网页的网页内容进行提取之前，还包括：

判断本地存储的提取规则是否过期；

如果本地存储的提取规则未过期，则执行根据本地存储的提取规则对待提取网页的网页内容进行提取的步骤。

在第一种可能的实施方式作为基础而提供的第五种可能的实施方式中，所述判断本地存储的提取规则是否过期之后，还包括：

如果本地存储的提取规则已过期，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；

接收服务器下发的统一提取规则，并在确定支持解析统一提取规则后，解析统一提取规则；

根据解析后的统一提取规则对待提取网页的网页内容进行提取。

本发明实施例提供的计算机可读存储介质，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

实施例九

本发明实施例提供了一种图形用户接口，所述图形用户接口用在终端上，所述终端包括触摸屏显示器、存储器和用于执行一个或者一个以上的程序的一个或者一个以上的处理器；所述图形用户接口包括：

获取待提取网页，并根据待提取网页的网址确定本地是否存储有用于提取待提取网页的网页内容的提取规则；

若确定本地未存储用于提取待提取网页的网页内容的提取规则，则向服务器请求获取用于提取待提取网页的网页内容的提取规则；

接收服务器下发的统一提取规则，并在确定不支持解析统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库；

通过第三方解析库对统一提取规则进行解析，并根据解析后的统一提取规则对待提取网页的网页内容进行提取。

本发明实施例提供的图形用户接口，通过接收服务器下发的统一提取规则，并在确定不支持解析服务器下发的统一提取规则后，下载并安装用于解析统一提取规则的第三方解析库，从而通过第三方解析库对统一提取规则进行解析，进而根据解析后的统一提取规则对待提取网页的网页内容进行提取。由于服务器下发统一提取规则，不需要对提取规则进行转换，因此节省了时间，并避免了转换中可能产生的错误，进而能够提高网页内容的提取效率。

需要说明的是：上述实施例提供的网页内容的提取装置在提取网页内容时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的网页内容的提取装置、服务器与网页内容的提取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种网页内容的提取方法，其特征在于，所述方法包括：

获取待提取网页，并根据所述待提取网页的网址确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则；

若确定本地未存储用于提取所述待提取网页的网页内容的提取规则，则向服务器请求获取用于提取所述待提取网页的网页内容的提取规则；

接收所述服务器下发的统一提取规则，并在确定不支持解析所述统一提取规则后，下载并安装用于解析所述统一提取规则的第三方解析库；

通过所述第三方解析库对所述统一提取规则进行解析，并根据解析后的统一提取规则对所述待提取网页的网页内容进行提取。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待提取网页的网址确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则，包括：

确定所述待提取网页的网址中包含的根域名；

根据所述根域名确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待提取网页的网址确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则之后，还包括：

若确定本地存储有用于提取所述待提取网页的网页内容的提取规则，则根据本地存储的提取规则对所述待提取网页的网页内容进行提取。

4.根据权利要求3所述的方法，其特征在于，所述根据本地存储的提取规则对所述待提取网页的网页内容进行提取之前，还包括：

判断本地存储的提取规则是否过期；

如果本地存储的提取规则未过期，则执行根据本地存储的提取规则对所述待提取网页的网页内容进行提取的步骤。

5.根据权利要求1所述的方法，其特征在于，所述判断本地存储的提取规则是否过期之后，还包括：

如果本地存储的提取规则已过期，则向所述服务器请求获取用于提取所述待提取网页的网页内容的提取规则；

接收所述服务器下发的统一提取规则，并在确定支持解析所述统一提取规则后，解析所述统一提取规则；

根据解析后的统一提取规则对所述待提取网页的网页内容进行提取。

6.一种网页内容的提取装置，其特征在于，所述装置包括：

获取模块，用于获取待提取网页；

确定模块，用于根据获取到的待提取网页的网址确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则；

第一请求模块，用于当确定本地未存储用于提取所述待提取网页的网页内容的提取规则时，向服务器请求获取用于提取所述待提取网页的网页内容的提取规则；

第一接收模块，用于接收所述服务器下发的统一提取规则；

安装模块，用于在确定不支持解析所述统一提取规则后，下载并安装用于解析所述统一提取规则的第三方解析库；

第一解析模块，用于通过所述第三方解析库对所述统一提取规则进行解析；

第一提取模块，用于根据所述第一解析模块解析后的统一提取规则对所述待提取网页的网页内容进行提取。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，包括：

第一确定单元，用于确定所述待提取网页的网址中包含的根域名；

第二确定单元，用于根据所述根域名确定本地是否存储有用于提取所述待提取网页的网页内容的提取规则。

8.根据权利要求6或7所述的装置，其特征在于，所述装置，还包括：

第二提取模块，用于当确定本地存储有用于提取所述待提取网页的网页内容的提取规则时，根据本地存储的提取规则对所述待提取网页的网页内容进行提取。

9.根据权利要求8所述的装置，其特征在于，所述装置，还包括：

判断模块，用于判断本地存储的提取规则是否过期；

所述第二提取模块，用于当本地存储的提取规则未过期时，执行根据本地存储的提取规则对所述待提取网页的网页内容进行提取的步骤。

10.根据权利要求6所述的装置，其特征在于，所述装置，还包括：

第二请求模块，用于当本地存储的提取规则已过期时，向所述服务器请求获取用于提取所述待提取网页的网页内容的提取规则；

第二接收模块，用于接收所述服务器下发的统一提取规则；

第二解析模块，用于在确定支持解析所述统一提取规则后，解析所述统一提取规则；

第三提取模块，用于根据所述第二解析模块解析后的统一提取规则对所述待提取网页的网页内容进行提取。

11.一种网页内容的提取方法，其特征在于，所述方法包括：

接收任一浏览器发送的获取提取规则的请求，所述提取规则用于提取待提取网页的网页内容；

向所述任一浏览器下发统一提取规则，使所述任一浏览器根据所述统一提取规则对所述待提取网页的网页内容进行提取。

12.一种服务器，其特征在于，所述服务器包括：

接收模块，用于接收任一浏览器发送的获取提取规则的请求，所述提取规则用于提取待提取网页的网页内容；

下发模块，用于向所述任一浏览器下发统一提取规则，使所述任一浏览器根据所述统一提取规则对所述待提取网页的网页内容进行提取。

13.一种提取网页内容的系统，其特征在于，所述系统包括：终端和服务器；

其中，所述终端上安装有浏览器，所述浏览器为所述权利要求6至10中任一权利要求所述的装置；

所述服务器为所述权利要求12所述的服务器。