CN102271159A

CN102271159A - 一种获取页面数据的方法、装置和外部网站插件

Info

Publication number: CN102271159A
Application number: CN2011102140243A
Authority: CN
Inventors: 李彬孟; 林路; 易成
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2011-07-28
Filing date: 2011-07-28
Publication date: 2011-12-07
Anticipated expiration: 2031-07-28

Abstract

本发明提供了一种获取页面数据的方法、装置和外部网站插件，其中方法包括：云端服务器接收移动终端发送的页面请求；将所述页面请求转换为与所述外部网站插件约定的协议格式后发送给所述外部网站插件；接收所述外部网站插件根据所述页面请求读取所述底层存储服务单元获取的页面数据；按照所述云端服务器与所述外部网站插件约定的协议格式对所述页面数据进行解析，按照所述移动终端适用的页面模板组装页面数据，并将组装后的页面数据按照与所述移动终端约定的协议发送给所述移动终端。本发明能够解决因外部网站的页面格式发生调整会导致页面获取失败的缺陷。

Description

一种获取页面数据的方法、装置和外部网站插件

【技术领域】

本发明涉及无线通信技术，特别涉及一种获取页面数据的方法、装置和外部网站插件。

【背景技术】

随着无线互联网技术和应用的发展，越来越多的用户摆脱了网线的束缚，开始利用无线终端访问无线互联网，以实现随时随地的信息获取、娱乐、购物和互动。

现有无线终端获取页面数据的过程中，服务器记录外部网站的页面格式，即记录外部网站的页面所采用的模板结构，当收到用户的页面获取请求时，根据记录的外部网站的页面所采用的模板结构获取请求的页面并发送给用户使用的无线终端。然而，由于外部网站的多样性，常见的有论坛、个人主页、团购网等，通常服务比较复杂和多变，当外部网站的页面所采用的模板结构会发生调整即网页格式发生调整，此时就会导致页面获取失败。

【发明内容】

本发明提供了一种获取页面数据的方法、装置和外部网站插件，以便于解决因外部网站的页面格式发生调整会导致页面获取失败的缺陷。

具体技术方案如下：

一种获取页面数据的方法，在外部网站设置能够读取外部网站的底层存储服务单元的外部网站插件，该方法包括：

S1、云端服务器接收移动终端发送的页面请求；

S2、将所述页面请求转换为与所述外部网站插件约定的协议格式后发送给所述外部网站插件；

S3、接收所述外部网站插件根据所述页面请求读取所述底层存储服务单元获取的页面数据；

S4、按照所述云端服务器与所述外部网站插件约定的协议格式对所述页面数据进行解析，按照所述移动终端适用的页面模板组装页面数据，并将组装后的页面数据按照与所述移动终端约定的协议发送给所述移动终端。

在步骤S1中，所述移动终端发送的页面请求包含所述移动终端的用户代理UA信息；

在步骤S4中，所述云端服务器按照预设的UA信息与页面模板之间的对应关系，选择所述移动终端的UA信息对应的页面模板组装所述页面数据。

具体地，步骤S2中所述将页面请求转换为与所述外部网站插件约定的协议格式为：

所述云端服务器按照预设的云端服务器与外部网站插件之间协议请求方式的映射关系，将所述页面请求转换为所述外部网站插件映射到的协议请求方式。

优选地，经所述步骤S2转换后的页面请求包含所述外部网站插件的地址信息。

其中，所述页面数据包括页面结构化内容；或者，

所述页面数据除了包括页面结构化内容之外，还包括页面标题、翻页信息、用户登陆状态或提交字段中的至少一种类型。

具体地，步骤S4中所述云端服务器与所述外部网站插件约定的协议格式包括各类型页面数据的标识方式；

在步骤S4中，所述云端服务器按照各类型页面数据的标识方式，对所述页面数据进行解析。

较优地，所述在外部网站设置能够读取外部网站的底层存储服务单元的外部网站插件具体包括：

外部网站通过云端服务器提供的运营页面进行注册，选择所述外部网站适用的外部网站插件进行下载并安装。

更进一步地，在所述外部网站注册成功并下载所述外部网站插件后，所述云端服务器为所述外部网站插件分配交互安全码，并记录所述外部网站插件和所述交互安全码的对应关系；

所述外部网站插件和所述云端服务器在进行交互时，使用所述交互安全码进行安全验证。

一种获取页面数据的装置，设置在云端服务器，该装置包括：终端侧交互单元、转换处理单元、插件侧交互单元和页面组装单元；

所述终端侧交互单元，用于接收移动终端发送的页面请求；将所述转换处理单元提供的页面数据发送给所述移动终端；

所述转换处理单元，用于将所述页面请求转换为与外部网站插件约定的协议格式后提供给所述插件侧交互单元；将所述页面组装单元提供的页面数据按照与所述移动终端约定的协议进行转换后提供给所述终端侧交互单元；

所述插件侧交互单元，用于将所述转换处理单元提供的页面请求发送给所述外部网站插件；接收所述外部网站插件根据所述页面请求读取所述底层存储服务单元获取的页面数据并提供给所述页面组装单元；

所述页面组装单元，用于按照所述云端服务器与所述外部网站插件约定的协议格式对所述页面数据进行解析，按照所述移动终端适用的页面模板组装页面数据，将组装后的页面数据提供给所述转换处理单元。

其中，所述移动终端发送的页面请求包含所述移动终端的用户代理UA信息；

所述页面组装单元按照预设的UA信息与页面模板之间的对应关系，选择所述移动终端的UA信息对应的页面模板组装所述页面数据。

具体地，所述转换处理单元按照预设的云端服务器与外部网站插件之间协议请求方式的映射关系，将所述页面请求转换为所述外部网站插件映射到的协议请求方式。

其中，所述转换处理单元转换后的页面请求包含所述外部网站插件的地址信息。

所述页面数据包括页面结构化内容；或者，

具体地，所述云端服务器与所述外部网站插件约定的协议格式包括各类型页面数据的标识方式；

所述页面组装单元按照各类型页面数据的标识方式，对所述页面数据进行解析。

较优地，该装置还包括：注册单元，用于为外部网站提供运营页面供所述外部网站进行注册，在注册成功后为所述外部网站提供外部网站插件的下载。

更进一步地，该装置还包括：安全码提供单元，用于在所述外部网站注册成功并下载所述外部网站插件后，为所述外部网站插件分配交互安全码，并记录所述外部网站插件和所述交互安全码的对应关系；

所述插件侧交互单元在与所述外部网站插件进行交互时，使用所述交互安全码进行安全验证。

一种外部网站插件，该外部网站插件设置在外部网站，该外部网站插件包括：交互单元、页面数据获取单元和转换单元；

所述交互单元，用于接收云端服务器发送来的页面请求；将所述转换单元提供的页面数据发送给所述云端服务器；

所述页面数据获取单元，用于根据所述页面请求读取所述外部网站的底层存储服务单元，获取所述页面请求对应的页面数据并提供给所述转换单元；

所述转换单元，用于将所述页面数据获取单元提供的页面数据转换为所述云端服务器与所述外部网站插件约定的协议格式后提供给所述交互单元。

其中，所述云端服务器发送来的页面请求包含所述外部网站插件的地址信息。

所述页面数据包括页面结构化内容；或者，

所述云端服务器与所述外部网站插件约定的协议格式包括各类型页面数据的标识方式。

较优地，所述外部网站插件是所述外部网站通过云端服务器提供的运营页面进行注册并选择所述外部网站适用的外部网站插件进行下载并安装的。

更进一步地，所述交互单元在与所述云端服务器进行交互时，使用所述云端服务器为所述外部网站插件分配的交互安全码进行安全验证。

由以上技术方案可以看出，本发明通过在外部网站设置能够读取外部网站的底层存储服务单元的外部网站插件，并在外部网站插件和云端服务器之间约定协议，云端服务器在接收到移动终端发送的页面请求后，将页面请求转换为与外部网站插件约定的协议格式后发送给外部网站插件，使外部网站插件能够根据页面请求读取外部网站的底层存储服务单元获取原始的页面数据，然后再将该页面数据按照移动终端适用的页面模板组装页面数据后发送给移动终端。由于云端服务器通过外部网站插件读取底层存储服务器单元获取到的是原始页面数据，当外部网站的页面格式发生变化时不会影响原始页面数据，因此不会对通过本发明获得的页面数据产生影响。

【附图说明】

图1为本发明实施例一提供的方法流程图；

图2为本发明实施例二提供的获取页面数据的装置结构图；

图3是本发明实施例三提供的外部网站插件的结构图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

通常外部网站时利用开源服务的网站，虽然常常为更新展现效果而修改页面格式，但其底层的页面数据存储格式(例如数据库的存储格式等)并不会进行修改，鉴于此特点，可以针对这些外部网站设置外部网站插件，该外部网站插件能够从外部网站底层的存储服务单元获取原始的页面数据，并提供给云端服务器。

上述外部网站插件可以是为外部网站开发的专门的通用插件，也可以是由外部网站自行开发的插件，只要保证外部网站插件与云端服务器通信所采用的协议一致即可。

本发明实施例基于上述外部网站插件实现移动终端的页面数据获取，下面通过实施例一对本发明提供的方法进行详细描述。

实施例一、

图1为本发明实施例一提供的方法流程图，如图1所示，该方法可以包括以下步骤：

步骤101：云端服务器接收移动终端发送的页面请求。

当用户向通过移动终端访问页面时，会向云端服务器发送页面请求，该页面请求可以表现为一个统一资源定位符(URL，Uniform Resource Locator)。

除此之外，还可以在页面请求中携带移动终端的用户代理(UA，UserAgent)信息，UA信息可以包括但不限于：移动终端的分辨率、操作系统、机型等。

步骤102：云端服务器将页面请求转换为与外部网站插件约定的协议格式后发送给外部网站插件。

移动终端发送来的页面请求中会包含请求的页面类型和访问数据信息，例如，移动终端发送的URL为：

http://bbs.weiphone.com/read-htm-tid-2530068.html，指示页面类型为论坛(BBS)，访问数据信息为：读取weiphone站点上id为2530068的页面内容。

云端服务器向外部网站插件发送HTTP的页面请求时，同样会通过参数的方式表示页面类型和访问数据信息，但是云端服务器会根据与外部网站插件之间的协议的请求方式映射关系，将页面请求转换为与外部网站插件约定的协议格式后发送给外部网站插件。由于云端服务器可能会跟多个外部网站插件进行交互，而多个外部网站可能采用不同的协议，因此，云端服务器可以预先存储云端服务器与外部网站插件之间的协议的请求映射关系，按照该映射关系将来自移动终端的页面请求转换为外部网站插件映射到的协议。

由于通常的URL(即移动终端发来的URL)指示的是具体的页面，在本发明实施例中，外部网站插件能够读取底层的存储服务单元从而获取页面原始数据，即能够获取页面的结构化内容，因此，转换后的URL需要指向该外部网站插件的地址，在转换后的URL中需要进一步包含外部网站插件地址信息。

例如，http://bbs.weiphone.com/read-htm-tid-2530068.html进行转换后，可以为：

http://bbs.weiphone.com/plugin/mopen/index.php？mocmd＝thread&tid＝2530068。其中加入指示外部网站插件地址的plugin/mopen/index.php，该外部网站插件地址可以是外部网站插件的入口信息。

步骤103：外部网站插件接收到页面请求后，读取外部网站底层的存储服务单元获取移动终端请求的页面数据，将页面数据转换为与云端服务器约定的协议格式后发送给云端服务器。

在本发明实施例中，外部网站插件与外部网站的存储服务单元通过接口直接连接，可以直接调用外部网站的存储服务单元。对于支持插件形式的外部网站而言，按照建站工具指定的插件模式就可实现外部网站插件对存储服务单元的调用。现有的多数外部网站都支持插件模式，例如论坛插件、内容发布系统插件等。

外部网站插件读取存储服务单元获取的是原始的页面数据，该页面数据除了包含页面标题、翻页信息、用户登陆状态、提交字段等数据之外，特别地是，还会包含页面结构化内容，例如具体版块的内容、列表的内容、内容页的内容等。

上述存储服务单元可以包括但不限于：mysql、cookie、缓存、数据库或session等。不同的页面内容可以从不同的存储服务单元读取，例如，可以利用cookie和session读取用户登陆状态的页面数据，从数据库中可以读取页面标题、页面结构化内容等。可以依据不同的建站工具将页面数据存储的位置，到读取对应的存储服务。

外部网站插件与云端服务器约定的协议格式可以包括上述各页面数据的标识方式，按照该标识方式对页面数据进行标识，使得云端服务器可以根据这些标识获取并识别页面数据。在发送页面数据给云端服务器时，可以采用可扩展超文本标记语言(xhtml)或者可扩展标记语言(xml)。

以xml为例对页面数据的标识方式进行举例：可以采用<title></titie>标识页面标题，采用<status>0</status>标识用户登陆状态，采用<subforum>版块信息，采用<subname></subname>标识版块名称，<suburl></suburl>标识版块链接，<replynum></replynum>标识回帖数量，采用<threadlist>标识列表信息，采用<tname></tname>、<turl></turl>、<author></author>、<date></date>分别标识列表名称、链接、作者和时间。

步骤104：云端服务器按照与外部网站插件约定的协议格式对页面数据进行解析，按照移动终端适用的页面模板组装页面数据，并将组装后的页面数据按照与移动终端约定的协议发送给移动终端。

云端服务器按照xhtml或者xml中对页面数据的标识解析出各部分内容。在大多数情况下，不同移动终端可能具有不同的渲染能力、操作系统或者分辨率等，相应地会使用不同的页面模板，因此，作为一种优选的实施方式，云端服务器可以按照从页面请求中获取的移动终端的UA信息，确定与该UA信息对应的页面模板，按照确定的页面模板对解析出的页面数据进行组装，从而提供给适合移动终端展现的页面数据，使移动终端能够达到最佳的内容展现效果。此时需要预先在云端服务器中设置UA信息与页面模板之间的对应关系。

为了更进一步减小占用页面数据占用的网络带宽，云端服务器在将组装后的页面数据发送给移动终端时，可以将组装后的页面数据进行压缩后再发送；相应地，移动终端接收到来自云端服务器的页面数据后，进行解压缩处理。

步骤101和步骤104中，云端服务器和移动终端在进行交互时，可以采用文本标记语言(html)5、无线应用协议(wap)1.0、wap2.0等已有的HTTP协议，也可以采用自定义的HTTP协议。

需要说明的是，上述外部网站插件可以直接设置在外部网站上，也可以由外部网站通过云端服务器提供的运营页面进行注册，根据外部网站的建站工具或开源模板选择适用的外部网站插件进行下载并安装。

外部网站注册成功并下载外部网站插件后，云端服务器还可以为下载外部网站插件分配交互安全码，并记录外部网站插件和交互安全码的对应关系，外部网站插件和云端服务器在进行交互时，在交互的消息中使用该交互安全码进行安全验证，从而保证交互安全。其中交互安全码可以是授权密钥或者验证码等。

以上是对本发明所提供的方法进行的描述，下面对分别通过实施例二和实施例三对本发明提供的获取页面数据的装置和外部网站插件进行详细描述。

实施例二、

图2为本发明实施例二提供的获取页面数据的装置结构图，该装置设置在云端服务器，如图2所示，该装置可以包括：终端侧交互单元201、转换处理单元202、插件侧交互单元203和页面组装单元204。

终端侧交互单元201接收移动终端发送的页面请求；将转换处理单元202提供的页面数据发送给移动终端。

当用户向通过移动终端访问页面时，会向云端服务器发送页面请求，该页面请求中可以包含请求的页面类型和访问数据信息，可以表现为一个URL。

终端侧交互单元201和移动终端在进行交互时，可以采用html5、wap1.0、wap2.0等已有的HTTP协议，也可以采用自定义的HTTP协议。

转换处理单元202将页面请求转换为与外部网站插件约定的协议格式后提供给插件侧交互单元203；将页面组装单元204提供的页面数据按照与移动终端约定的协议进行转换后提供给终端侧交互单元201。

其中转换处理单元202可以按照预设的云端服务器与外部网站插件之间协议请求方式的映射关系，将页面请求转换为外部网站插件映射到的协议请求方式。

由于移动终端发送的页面请求通常指示的是具体的页面，在本发明实施例中外部网站插件能够读取底层存储服务器单元从而获取页面原始数据，即能够获取页面的结构化内容，因此转换处理单元202转换后的页面请求包含外部网站插件的地址信息。

插件侧交互单元203将转换处理单元202提供的页面请求发送给外部网站插件；接收外部网站插件根据页面请求读取底层存储服务单元获取的页面数据并提供给页面组装单元204。

其中页面数据可以包括页面结构化内容；或者，页面数据除了包括页面结构化内容之外，还包括页面标题、翻页信息、用户登陆状态或提交字段中的至少一种类型。

页面组装单元204按照云端服务器与外部网站插件约定的协议格式对页面数据进行解析，按照移动终端适用的页面模板组装页面数据，将组装后的页面数据提供给转换处理单元202。

由于不同移动终端可能具有不同的渲染能力、操作系统或者分辨率等，相应地会使用不同的页面模板，移动终端发送的页面请求中可以包含移动终端的UA信息，该UA信息可以包括但不限于：移动终端的分辨率、操作系统、机型等。相应地，页面组装单元204可以按照预设的UA信息与页面模板之间的对应关系，选择移动终端的UA信息对应的页面模板组装页面数据，从而提供给适合移动终端展现的页面数据，使移动终端能够达到最佳的内容展现效果。

云端服务器与外部网站插件约定的协议格式可以包括各类型页面数据的标识方式，页面组装单元204可以按照各类型页面数据的标识方式，对页面数据进行解析。外部网站插件发送给云端服务器的页面数据可以采用xhtml或者xml。

上述外部网站插件可以直接设置在外部网站上，也可以由外部网站通过云端服务器提供的运营页面进行注册的方式设置，对应于这种方式，该装置还可以包括：注册单元205，用于为外部网站提供运营页面供外部网站进行注册，在注册成功后为外部网站提供外部网站插件的下载。

除此之外，外部网站注册成功并下载外部网站插件后，云端服务器还可以为下载外部网站插件分配交互安全码，对应这种情况，该装置还包括：安全码提供单元206，用于在外部网站注册成功并下载外部网站插件后，为外部网站插件分配交互安全码，并记录外部网站插件和交互安全码的对应关系。

插件侧交互单元203在与外部网站插件进行交互时，使用交互安全码进行安全验证，从而保证交互安全。其中交互安全码可以是授权密钥或者验证码等。

实施例三、

图3是本发明实施例三提供的外部网站插件的结构图，该外部网站插件设置在外部网站，如图3所示，该外部网站插件包括：交互单元301、页面数据获取单元302和转换单元303。

交互单元301接收云端服务器发送来的页面请求；将转换单元303提供的页面数据发送给云端服务器。

云端服务器发送来的页面请求采用的是云端服务器与外部网站插件约定的协议格式，该页面请求中除了包含请求的页面类型和访问数据信息之外，还会包含外部网站插件地址信息。

页面数据获取单元302根据页面请求读取外部网站的底层存储服务单元，获取页面请求对应的页面数据并提供给转换单元303。

上述的页面数据包括页面结构化内容；或者，页面数据除了包括页面结构化内容之外，还包括页面标题、翻页信息、用户登陆状态或提交字段中的至少一种类型。其中页面结构化内容可以诸如具体版块的内容、列表的内容、内容页的内容等。

转换单元303将页面数据获取单元302提供的页面数据转换为云端服务器与外部网站插件约定的协议格式后提供给交互单元301。

上述云端服务器与外部网站插件约定的协议格式可以包括各类型页面数据的标识方式，按照该标识方式对页面数据进行标识，使得云端服务器可以根据这些标识获取并识别页面数据，发送给云端服务器的页面数据可以采用xhtml或者xml。

本发明实施例提供的外部网站插件可以直接设置在外部网站上，也可以是外部网站通过云端服务器提供的运营页面进行注册并选择外部网站适用的外部网站插件进行下载并安装的。

外部网站注册成功并下载外部网站插件后，云端服务器还可以为下载外部网站插件分配交互安全码，交互单元301可以在与云端服务器进行交互时，使用云端服务器为外部网站插件分配的交互安全码进行安全验证，从而保证交互安全。其中交互安全码可以是授权密钥或者验证码等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种获取页面数据的方法，其特征在于，在外部网站设置能够读取外部网站的底层存储服务单元的外部网站插件，该方法包括：

S1、云端服务器接收移动终端发送的页面请求；

2.根据权利要求1所述的方法，其特征在于，在步骤S1中，所述移动终端发送的页面请求包含所述移动终端的用户代理UA信息；

3.根据权利要求1所述的方法，其特征在于，步骤S2中所述将页面请求转换为与所述外部网站插件约定的协议格式为：

4.根据权利要求1或3所述的方法，其特征在于，经所述步骤S2转换后的页面请求包含所述外部网站插件的地址信息。

5.根据权利要求1所述的方法，其特征在于，所述页面数据包括页面结构化内容；或者，

6.根据权利要求1或5所述的方法，其特征在于，步骤S4中所述云端服务器与所述外部网站插件约定的协议格式包括各类型页面数据的标识方式；

7.根据权利要求1所述的方法，其特征在于，所述在外部网站设置能够读取外部网站的底层存储服务单元的外部网站插件具体包括：

8.根据权利要求7所述的方法，其特征在于，在所述外部网站注册成功并下载所述外部网站插件后，所述云端服务器为所述外部网站插件分配交互安全码，并记录所述外部网站插件和所述交互安全码的对应关系；

9.一种获取页面数据的装置，设置在云端服务器，其特征在于，该装置包括：终端侧交互单元、转换处理单元、插件侧交互单元和页面组装单元；

10.根据权利要求9所述的装置，其特征在于，所述移动终端发送的页面请求包含所述移动终端的用户代理UA信息；

11.根据权利要求9所述的装置，其特征在于，所述转换处理单元按照预设的云端服务器与外部网站插件之间协议请求方式的映射关系，将所述页面请求转换为所述外部网站插件映射到的协议请求方式。

12.根据权利要求9或11所述的装置，其特征在于，所述转换处理单元转换后的页面请求包含所述外部网站插件的地址信息。

13.根据权利要求9所述的装置，其特征在于，所述页面数据包括页面结构化内容；或者，

14.根据权利要求9或13所述的装置，其特征在于，所述云端服务器与所述外部网站插件约定的协议格式包括各类型页面数据的标识方式；

15.根据权利要求9所述的装置，其特征在于，该装置还包括：注册单元，用于为外部网站提供运营页面供所述外部网站进行注册，在注册成功后为所述外部网站提供外部网站插件的下载。

16.根据权利要求15所述的装置，其特征在于，该装置还包括：安全码提供单元，用于在所述外部网站注册成功并下载所述外部网站插件后，为所述外部网站插件分配交互安全码，并记录所述外部网站插件和所述交互安全码的对应关系；

17.一种外部网站插件，其特征在于，该外部网站插件设置在外部网站，该外部网站插件包括：交互单元、页面数据获取单元和转换单元；

18.根据权利要求17所述的外部网站插件，其特征在于，所述云端服务器发送来的页面请求包含所述外部网站插件的地址信息。

19.根据权利要求17所述的外部网站插件，其特征在于，所述页面数据包括页面结构化内容；或者，

20.根据权利要求17所述的外部网站插件，其特征在于，所述云端服务器与所述外部网站插件约定的协议格式包括各类型页面数据的标识方式。

21.根据权利要求17所述的外部网站插件，其特征在于，所述外部网站插件是所述外部网站通过云端服务器提供的运营页面进行注册并选择所述外部网站适用的外部网站插件进行下载并安装的。

22.根据权利要求17所述的外部网站插件，其特征在于，所述交互单元在与所述云端服务器进行交互时，使用所述云端服务器为所述外部网站插件分配的交互安全码进行安全验证。