CN102096581A

CN102096581A - 生成微件的方法及装置

Info

Publication number: CN102096581A
Application number: CN2009102581094A
Authority: CN
Inventors: 张�杰; 符海芳; 季光; 王桂玲
Original assignee: Huawei Technologies Co Ltd; Institute of Computing Technology of CAS
Current assignee: Huawei Technologies Co Ltd; Institute of Computing Technology of CAS
Priority date: 2009-12-10
Filing date: 2009-12-10
Publication date: 2011-06-15
Anticipated expiration: 2029-12-10
Also published as: WO2011069377A1; US20120102390A1; CN102096581B

Abstract

本发明公开了一种生成微件的方法及装置，属于网络应用技术领域。所述方法包括：根据用户指定的网页和在所述网页上标记的页面片段创建待获取数据的属性信息；根据创建的所述待获取数据的属性信息获取结构化数据；将获取到的所述结构化数据转换为可视内容。所述装置包括：创建模块、获取模块和转换获取。本发明通过创建待获取数据的属性信息，并根据创建的属性信息获取结构化数据，使获取的数据不仅内容丰富，且由于待获取数据的属性信息是根据用户指定的网页而创建的，因此，用户可直接参与到生成微件的过程中来，从而具有尽可能满足多样化的用户需求的效果。

Description

生成微件的方法及装置

技术领域

本发明涉及网络应用技术领域，特别涉及一种生成微件的方法及装置。

背景技术

微件(Widget)是可以在计算机或手机上运行的小型实用程序，它一般结合网络向用户提供天气，新闻，备忘等功能。随着网络的普及，微件的应用越来越广泛，种类也越来越多，市场前景广泛。

现有两种生成微件的方式：程序设计式和网页提取式。其中，程序设计式是指开发微件时，需要先下载它所提供的SDK(Software Development Kit，软件开发工具包)，进行类似于传统的软件开发，而且开发人员需要有一定的编程经验。而网页提取式是指向用户提供在线工具，让用户自行在网页上划定感兴趣的内容，并以此为模板，生成微件。

在实现本发明的过程中，发明人发现现有的两种生成微件的方式至少存在以下缺点：

程序设计式的开发门槛高，没有编程经验的用户无法参与，且开发成本相对较高，另外，由于开发人员仅局限于具有编程经验的人员，因此，开发出来的微件种类有限；而对于网页提取式生成的微件，如果将用户划定感兴趣内容的网页称为原始网页，则生成的微件的内容仅取决于原始网页的内容，由于原始网页的内容有限，因此，将导致该网页提取式生成的微件功能有限。

发明内容

为了使微件的生成过程简单化，从而尽可能满足多样化的用户需求，本发明实施例提供了一种生成微件的方法及装置。所述技术方案如下：

一方面，提供了一种生成微件的方法，所述方法包括：

根据用户指定的网页和在所述网页上标记的页面片段创建待获取数据的属性信息；

根据创建的所述待获取数据的属性信息获取结构化数据；

将获取到的所述结构化数据转换为可视内容。

另一方面，提供了一种生成微件的装置，所述装置包括：

创建模块，用于根据用户指定的网页和在所述网页上标记的页面片段创建待获取数据的属性信息；

获取模块，用于根据所述创建模块创建的所述待获取数据的属性信息获取结构化数据；

转换模块，用于将所述获取模块获取到的所述结构化数据转换为可视内容。

本发明实施例提供的技术方案，通过创建待获取数据的属性信息，并根据创建的属性信息获取结构化数据，从而使得获取的数据内容丰富，且由于待获取数据的属性信息是根据用户指定的网页而创建的，因此，用户可直接参与到微件的生成过程中，从而能够尽可能满足多样化的用户需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的生成微件的方法流程图；

图2是本发明实施例二提供的生成微件的方法流程图；

图3是本发明实施例三提供的第一种生成微件的装置结构示意图；

图4是本发明实施例三提供的创建模块结构示意图；

图5是本发明实施例三提供的另一种创建模块结构示意图；

图6是本发明实施例三提供的又一种创建模块结构示意图；

图7是本发明实施例三提供的获取模块结构示意图；

图8是本发明实施例三提供的第二种生成微件的装置结构示意图；

图9是本发明实施例三提供的第三种生成微件的装置结构示意图；

图10是本发明实施例三提供的第四种生成微件的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

参见图1，本实施例提供了一种生成微件的方法，具体流程如下：

101：根据用户指定的网页和在该网页上标记的页面片段创建待获取数据的属性信息；

102：根据创建的待获取数据的属性信息获取结构化数据；

103：将获取到的结构化数据转换为可视内容。

综上所述，本实施例提供的方法，通过创建待获取数据的属性信息，并根据创建的属性信息获取结构化数据，从而使得获取的数据内容丰富，且由于待获取数据的属性信息是根据用户指定的网页而创建的，因此，用户可直接参与到生成微件的过程中，能够尽可能满足多样化的用户需求。

实施例二

本实施例提供了一种生成微件的方法，该方法通过检测用户对网页的页面片段进行标记的动作，并根据被用户标记的页面片段获取可被重用的结构化数据，从而生成微件。参见图2，本实施例提供的方法流程具体如下：

201：根据用户指定的网页和在该网页上标记的页面片段创建待获取数据的属性信息；

针对该步骤，为了能够生成满足用户所需的微件，本实施例提供的方法采取由用户直接参与的方式，即由用户指定网页，并在将用户指定的网页载入之后，由用户凭借自己的喜好和操作水平，选择用难度不同的方式创建简单型或复杂型的待获取数据的属性信息。而通过检测用户对网页的页面片段进行标记的动作，可确定待获取数据的属性信息。当用户对某个页面片段进行标记之后，可将被用户标记的页面片段高亮显示给用户。至于如何实现标记的动作，可通过用户对页面片段进行点击或选取等简单操作实现，而这些操作均为网站开发中的基本技术，此处暂不赘述，且本实施例不对实现用户标记页面片段的方式进行具体限定。

如果用户选择创建简单型的待获取数据的属性信息，则在载入用户指定的网页，并在检测到用户对网页的页面片段进行标记之后，只需获取被用户标记的页面片段对应的路径信息即可，而该创建的待获取数据的属性信息至少包括统一资源定位符及路径信息，当然，根据用户的需求，创建的待获取数据的属性信息还可以包括其他信息，例如，数据大小等，本实施例对属性信息的具体内容不做限定。其中，统一资源定位符为用户指定的网页对应的统一资源定位符，路径信息为被用户标记的页面片段对应的路径信息。也就是说，该种简单型的属性信息仅包含被用户标记的页面片段的属性信息，当用户在指定的网页上标记出自己感兴趣的片段后，仅获取该被用户标记的页面片段对应的路径信息。该路径信息是指该被用户标记的页面片段在其所在网页上的路径信息，实际应用过程中，表示路径信息的方式有多种，本实施例不对路径信息的具体表示方式进行限定，以XPath作为路径信息的表示方式为例，则表示为/HTML[1]/BODY[1]/DIV[5]/DIV[3]/DIV[1]/OL[1]/LI/H3[1]/A[1]。

如果用户选择创建复杂型的待获取数据的属性信息，则在载入用户指定的网页，并在用户对网页的页面片段进行标记之后，还需识别被用户标记的页面片段的相似页面片段；并分别获取被用户标记的页面片段及其相似页面片段各自对应的路径信息。虽然创建复杂型的待获取数据的属性信息同样至少包括统一资源定位符及路径信息的属性信息，但其中的统一资源定位符为被用户标记的页面片段及其相似页面片段各自所在网页对应的统一资源定位符，路径信息为被用户标记的页面片段及其相似页面片段各自对应的路径信息。也就是说，该种复杂型的属性信息不仅包含被用户标记的页面片段的属性信息，还包括该被用户标记的页面片段的相似页面片段的属性信息。以用户指定的网页为搜索结果网页为例，当用户在该搜索网页中标记出了前两个搜索结果条目后，与该搜索结果条目相似的搜索结果条目将被识别出来，接下来，不仅需要获取被用户标记的两个搜索结果条目对应的路径信息，还需要获取与被用户标记的两个搜索结果条目相似的搜索结果条目的路径信息。

其中，载入网页是网站开发的基本技术，此处不再赘述，本实施例不对载入网页的方式进行限定。而识别相似页面片段的算法在许多公开的学术文献中均有介绍，此处同样不再赘述，本实施例不对识别相似页面片段时使用的具体算法进行限定。

优选地，为了保证识别出的相似页面片段的准确性，在识别出被用户标记的页面片段的相似页面片段之后，本实施例采取了对识别出的相似页面片段进行检测的方式，并根据检测结果增加或删除被用户标记的页面片段的相似页面片段。例如，如果在检测中发现识别出的相似页面片段有误，则可以将其删除。

针对创建复杂型的待获取数据的属性信息，为了提高识别相似页面片段的准确率，用户需要通过实践归纳出如何标记出有代表性的页面片段，虽然标记出有代表性的页面片段对用户的要求较高，但是能提供含有多个页面片段的属性信息，进而可以满足获取更广泛数据的要求。

正确识别相似页面片段，并获取被用户标记的页面片段及其相似页面片段对应的路径信息之后，该待获取数据的属性信息则创建完成，通过重复创建过程，可完成多个待获取数据的属性信息的创建。

202：根据创建的待获取数据的属性信息获取结构化数据；

具体地，首先，需要根据待获取数据的属性信息中的统一资源定位符下载对应的新网页。

此处之所以将根据待获取数据的属性信息中的统一资源定位符下载的网页称为“新网页”，是由于大部分网页都会不断刷新，即使是同一资源定位符，在不同时间根据该统一资源定位符下载的网页内容也是不同的。针对该种情况，本实施例将根据待获取数据的属性信息中的统一资源定位符下载的网页统称为“新网页”。

由于有些统一资源定位符含有请求参数，而有些统一资源定位符未含有请求参数，则针对不同的统一资源定位符，该步骤在根据待获取数据的属性信息中的统一资源定位符下载对应的新网页时的方式也是不同的：

当统一资源定位符中未包含请求参数时，如：http://www.aaaaa.com，则根据该统一资源定位符下载对应的新网页时，可直接下载该统一资源定位符对应的网页；

当统一资源定位符中含有请求参数时，以统一资源定位符为http://www.aaaaa.com/search？hl＝en&q＝hd&aq＝f为例，其中，“？”后的hl、q和aq均为请求参数，则将请求参数作为可变参数供用户选择修改，设用户选择将请求参数q的值hd修改为hc，则根据统一资源定位符下载对应的新网页时，需要下载请求参数被用户修改后的统一资源定位符对应的新网页，即下载统一资源定位符为http://www.aaaaa.com/search？hl＝en&q＝hc&aq＝f对应的网页。

其次，根据待获取数据的属性信息中的统一资源定位符下载对应的新网页之后，需要根据待获取数据的属性信息中的路径信息在对应的新网页中提取新的页面片段。

为了便于说明，此处将创建待获取数据的属性信息时载入的用户指定的网页称为原始网页，由于新网页与原始网页有很高的相似性，则可根据待获取数据的属性信息中的路径信息在对应的新网页中提取新的页面片段。仍以XPath，表示为/HTML[1]/BODY[1]/DIV[5]/DIV[3]/DIV[1]/OL[1]/LI/H3[1]/A[1]为例，根据待获取数据的属性信息中的统一资源定位符下载对应的新网页之后，可以用相同的XPath将新的页面片段正确地提取出来。

最后，在将新的页面片段提取出来之后，将提取的新的页面片段整理为结构化数据。

实际应用过程中，可以按新的页面片段在页面中的位置临近关系，将它们编成组，整理为结构化数据。例如，创建了两个待获取数据的属性信息，根据其中的一个属性信息获取的页面片段为搜索结果的标题，根据另一个属性信息获取的页面片段为搜索结果的摘要；在该步骤中，可根据这些页面片段的临近关系，编成“搜索结果的标题+搜索结果的摘要”数据组，每个数据组的两个页面片段都从属于同一个搜索结果。这样就形成了以搜索结果为行，以属性为列的结构化数据表格。最后，将结构化数据输出。这里的输出格式可以是程序的内部数据结构，也可以是XML(Extensible Markup Language，可扩展标记语言)或JSON(Java Script Object Notation，Java Script对象表示法)等公开格式。

可选地，如果获取了多个结构化数据，需要设定结构化数据之间的组合关系，设定方式为：将一个结构化数据的属性信息设定为另一个结构化数据的输入参数，从而使多个结构化数据形成组合关系，被整理成一个结构化数据。例如，获取了两个结构化数据：一个无运行参数，通过提取专业电影网站上的数据，直接输出最新热映电影及其票房收入(其属性名设为“电影名称”和“票房收入”)；另一个以影片的名称为参数(在这里，参数的名称取决于被标记的页面片段在原始页面上的参数名，未必是“电影名称”)，利用电影搜索页面，提取该电影的放映影院及时间(其属性名设为“放映影院”和“放映时间”)。把前者的“电影名称”属性设定为后者的输入参数，即对每个“电影名称”运行一次后者，就完成了两者的组合关系设定。这样，就可以同时运行两个结构化数据，自动获得含有“电影名称”，“票房收入”，“放映影院”和“放映时间”4个属性的热门电影放映日程表。

可选地，根据用户的个性化需求，本实施例提供的方法，还支持对获取到的结构化数据进行加工。如提供一系列算子，如“升序排序”，“降序排序”，“按条件筛选”等等。以前面的电影放映日程表为例，可以对“票房收入”使用“降序排序”算子，从而得到按票房排序的热门电影放映排行榜；或者用“按条件筛选”选出在自己空闲时间段上放映的电影，从而更加方便地从中选择。

203：将获取到的结构化数据转换为可视内容；

具体地，由于本实施例提供的方法是基于网络的，通过本实施例提供的方法生成的微件可以较为容易地在计算能力有限的手持设备(如，手机)上运行。在将获取的结构化数据转换为可视内容时，实现起来比较简单，直接使用普通的计算机或手机上的浏览器即可。例如，可以将结构化数据转换成HTML(HyperText Mark-up Language，超文本标记语言)的table结构，从而以一个表格的形式展现出来；或者转换成div结构，并配合不同的CSS(Cascading StyleSheets，层叠样式表)实现不同的展现效果。其中，HTML以及与之配合的CSS等不仅可以通过计算机或手机上的浏览器下载，还可将其封装成SDK，以本地应用程序的方式在计算机或手机上运行。至此，在将获取到的结构化数据转换为可视内容之后，整个微件生成的过程即可视为结束，但为了进一步满足用户的个性化需求，还可执行下面的可选步骤。

204：根据用户的个性化需求，对可视内容进行外观调整。

针对该步骤，某些实施方式中，为了满足用户的个性化需求，同时为了兼顾微件的外观，本实施例提供的方法可根据用户的个性化需求，对可视内容进行外观调整。由于微件转换为可视内容后，用户界面是由HTML、CSS和JavaScript等元素组成的，因此，可根据用户需求，通过对这些元素进行修改，实现微件外观的调整。例如，对HTML各种元素的样式，以及某个数据的显示位置进行调整。对于组合起来的多个结构化数据，可以配合使用JavaScript(网页脚本语言)只显示用户感兴趣的数据，从而减少结构化数据的运行次数，等等。最后，将用户进行的所有设置进行保存。

综上所述，本实施例提供的方法，通过创建待获取数据的属性信息，并根据创建的属性信息获取结构化数据，使获取的数据不仅内容丰富，且由于待获取数据的属性信息是根据用户指定的网页而创建的，因此，用户可直接参与到生成微件的过程中，能够尽可能满足多样化的用户需求；另外，还可根据用户的个性化需求，对可视内容进行调整，从而兼顾了微件的外观，进一步满足了用户的多样化需求，提升了用户体验。

实施例三

参见图3，本实施例提供了一种生成微件的装置，该装置包括：

创建模块301，用于根据用户指定的网页和在该网页上标记的页面片段创建待获取数据的属性信息；

获取模块302，用于根据创建模块301创建的待获取数据的属性信息获取结构化数据；

转换模块303，用于将获取模块302获取到的结构化数据转换为可视内容。

其中，参见图4，当用户创建简单型的待获取数据的属性信息时，该创建模块301，具体包括：

第一获取单元301a，用于载入用户指定的网页，并在检测到用户对网页的页面片段进行标记之后，获取被用户标记的页面片段对应的路径信息；

第一创建单元301b，用于为待获取数据创建至少包括统一资源定位符及路径信息的属性信息，统一资源定位符为用户指定的网页对应的统一资源定位符，路径信息为第一获取单元301a获取到的被用户标记的页面片段对应的路径信息。

参见图5，当用户创建复杂型的待获取数据的属性信息时，该创建模块301，具体包括：

识别单元301c，用于载入用户指定的网页，并在检测到用户对网页的页面片段进行标记之后，识别被用户标记的页面片段的相似页面片段；

第二获取单元301d，用于获取被用户标记的页面片段及其相似页面片段各自对应的路径信息，相似页面片段为识别单元301c识别出的被用户标记的页面片段的相似页面片段；

第二创建单元301e，用于为待获取数据创建至少包括统一资源定位符及路径信息的属性信息，统一资源定位符为被用户标记的页面片段及其相似页面片段各自所在网页对应的统一资源定位符，路径信息为第二获取单元301d获取到的被用户标记的页面片段及其相似页面片段各自对应的路径信息。

优选地，参见图6，当用户创建复杂型结构化数据时，该创建模块还包括：

检测单元301f，用于对识别单元301c识别出的被用户标记的页面片段的相似页面片段进行检测，并根据检测结果增加或删除被用户标记的页面片段的相似页面片段。

参见图7，上述获取模块302，具体包括：

下载单元302a，用于根据待获取数据的属性信息中的统一资源定位符下载对应的新网页；

提取单元302b，用于根据待获取数据的属性信息中的路径信息在对应的新网页中提取新的页面片段；

其中，新网页为下载单元302a下载的。

整理单元302c，用于将提取单元302b提取的页面片段整理为结构化数据。

其中，下载单元302a，具体用于在统一资源定位符中未包含请求参数时，下载统一资源定位符对应的新网页；或，在统一资源定位符中包含请求参数时，将请求参数作为可变参数供用户选择修改，下载请求参数被用户修改后的统一资源定位符对应的新网页。

优选地，参见图8，该装置还包括：

组合模块304，用于将一个结构化数据的属性信息设定为另一个结构化数据的输入参数，使多个结构化数据形成组合关系，被整理成一个结构化数据。

优选地，参见图9，该装置还包括：

加工模块305，用于根据用户的需求，对组合模块304组合后的结构化数据进行加工。

其中，加工模块305加工的结构化数据还可以是获取模块302获取的结构化数据，本实施例不对加工模块305加工的结构化数据进行具体限定，此处以加工模块305加工的结构化数据为组合模块304组合后的结构化数据为例。

进一步地，参见图10，该装置还包括：

调整模块306，用于根据用户的个性化需求，对转换模块303转换的可视内容进行外观调整。

实际应用中，本发明实施例中的装置，还可执行上述方法实施例一或二提供的技术方案，执行过程如下：

首先，由创建模块301创建待获取数据的属性信息。如果创建简单型的待获取数据的属性信息，则通过创建模块301中的第一获取单元301a和第一创建单元301b实现；如果创建复杂型的待获取数据的属性信息，则由创建模块301中的识别单元301c、第二获取单元301d和第二创建单元301e实现。

其次，由获取模块302中的下载单元302a、提取单元302b和整理单元302c实现获取结构化数据。

最后，由转换模块303将获取模块302获取到的结构化数据转换为可视内容，从而生成微件。

综上所述，本实施例通过创建待获取数据的属性信息，并根据创建的属性信息获取结构化数据，使获取的数据不仅内容丰富，且由于待获取数据的属性信息是根据用户指定的网页而创建的，因此，用户可直接参与到生成微件的过程中，能够尽可能满足多样化的用户需求；另外，由于本实施例提供的装置还可支持对可视内容进行外观调整，进而满足了用户的个性化需求，提升了用户体验。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种生成微件的方法，其特征在于，所述方法包括：

根据创建的所述待获取数据的属性信息获取结构化数据；

将获取到的所述结构化数据转换为可视内容。

2.根据权利要求1所述的方法，其特征在于，所述根据用户指定的网页和在所述网页上标记的页面片段创建待获取数据的属性信息，包括：

载入用户指定的网页，并在检测到用户对所述网页的页面片段进行标记之后，获取被用户标记的页面片段对应的路径信息；

为所述待获取数据创建至少包括统一资源定位符及路径信息的属性信息，所述统一资源定位符为所述用户指定的网页对应的统一资源定位符，所述路径信息为所述被用户标记的页面片段对应的路径信息。

3.根据权利要求1所述的方法，其特征在于，所述根据用户指定的网页和在所述网页上标记的页面片段创建待获取数据的属性信息，包括：

载入用户指定的网页，并在检测到用户对所述网页的页面片段进行标记之后，识别被用户标记的页面片段的相似页面片段；

获取被用户标记的页面片段及其相似页面片段各自对应的路径信息；

为所述待获取数据创建至少包括统一资源定位符及路径信息的属性信息，所述统一资源定位符为所述被用户标记的页面片段及其相似页面片段各自所在网页对应的统一资源定位符，所述路径信息为所述被用户标记的页面片段及其相似页面片段各自对应的路径信息。

4.根据权利要求1至3任一权利要求所述的方法，其特征在于，所述根据创建的所述待获取数据的属性信息获取结构化数据，具体包括：

根据所述待获取数据的属性信息中的统一资源定位符下载对应的新网页；

根据所述待获取数据的属性信息中的路径信息在对应的新网页中提取新的页面片段；

将提取的新的页面片段整理为结构化数据。

5.根据权利要求4所述的方法，其特征在于，所述根据所述待获取数据的属性信息中的统一资源定位符下载对应的新网页，具体包括：

若所述统一资源定位符中未包含请求参数，则下载所述统一资源定位符对应的新网页；

若所述统一资源定位符中包含请求参数，则将所述请求参数作为可变参数供用户选择修改，下载请求参数被用户修改后的统一资源定位符对应的新网页。

6.一种生成微件的装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述创建模块，具体包括：

第一获取单元，用于载入用户指定的网页，并在检测到用户对所述网页的页面片段进行标记之后，获取被用户标记的页面片段对应的路径信息；

第一创建单元，用于为所述待获取数据创建至少包括统一资源定位符及路径信息的属性信息，所述统一资源定位符为所述用户指定的网页对应的统一资源定位符，所述路径信息为所述第一获取单元获取到的被用户标记的页面片段对应的路径信息。

8.根据权利要求6所述的装置，其特征在于，所述创建模块，具体包括：

识别单元，用于载入用户指定的网页，并在检测到用户对所述网页的页面片段进行标记之后，识别被用户标记的页面片段的相似页面片段；

第二获取单元，用于获取被用户标记的页面片段及其相似页面片段各自对应的路径信息，所述相似页面片段为所述识别单元识别出的所述被用户标记的页面片段的相似页面片段；

第二创建单元，用于为所述待获取数据创建至少包括统一资源定位符及路径信息的属性信息，所述统一资源定位符为所述被用户标记的页面片段及其相似页面片段各自所在网页对应的统一资源定位符，所述路径信息为所述第二获取单元获取到的所述被用户标记的页面片段及其相似页面片段各自对应的路径信息。

9.根据权利要求6至8任一权利要求所述的装置，其特征在于，所述获取模块，具体包括：

下载单元，用于根据所述待获取数据的属性信息中的统一资源定位符下载对应的新网页；

提取单元，用于根据所述待获取数据的属性信息中的路径信息在对应的新网页中提取新的页面片段，所述新网页为所述下载单元下载的；

整理单元，用于将所述提取单元提取的新的页面片段整理为结构化数据。

10.根据权利要求9所述的装置，其特征在于，所述下载单元，具体用于在所述统一资源定位符中未包含请求参数时，下载所述统一资源定位符对应的新网页；或，在所述统一资源定位符中包含请求参数时，将所述请求参数作为可变参数供用户选择修改，下载请求参数被用户修改后的统一资源定位符对应的新网页。