CN111339457A - 用于从网页抽取信息的方法和设备及存储介质 - Google Patents

Abstract

本申请公开了一种用于从网页抽取信息的方法和设备以及存储介质。该方法包括：针对网页及其所有扩展网页中的包含该网页的域名的每个页面生成树；确定树中的导航条节点；确定导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和，抽取与匹配的叶子节点相对应的页面中的信息。

Description

用于从网页抽取信息的方法和设备及存储介质

技术领域

本公开内容涉及自然语言处理，并且具体地涉及基于多网页的信息抽取。

背景技术

从网络上搜集并抽取信息是建立知识库的重要手段。例如，可以从某些电商的网页中抽取商品的信息，建立商品的知识库。现有的方法主要分为以下两类：

1.对于具有相似结构的页面(例如电商网站的商品列表页，每页的结构都是相似的)，可以通过人工制定模板或者无监督、半监督的方法学习网页中包含商品信息的结构模板，然后利用这些学习到的结构模板去解析其他相似的网页。如图1A所示，可以通过学习手机页面的结构信息，进而去抽取图书和鞋的商品信息。

2.对于单一结构(非相似)的页面，可以动态解析网页的结构，通过关键词列表定位相关信息在网页中的位置，然后再进行值的抽取，如图1B所示。

发明内容

在下文中给出了关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本发明的一个方面，提供了一种用于从网页抽取信息的方法，包括以下步骤：针对所述网页及其所有扩展网页中的包含所述网页的域名的每个页面生成树；确定所述树中的导航条节点；确定所述导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和抽取与匹配的叶子节点相对应的页面中的信息。

根据本发明的另一个方面，提供了一种用于从网页抽取信息的设备，包括：树生成装置，其被配置成针对所述网页及其所有扩展网页中的包含所述网页的域名的每个页面生成树；导航条节点确定装置，其被配置成确定所述树中的导航条节点；匹配节点确定装置，其被配置成确定所述导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和信息抽取装置，其被配置成抽取与匹配的叶子节点相对应的页面中的信息。

根据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。

通过本发明的用于从网页抽取信息的方法和设备，使得能够基于主页的URL(统一资源定位符)，对分布在同一域名下的多个网页中的所需信息进行抽取。

通过以下结合附图对本发明的优选实施方式的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

为了进一步阐述本公开内容的以上和其它优点和特征，下面结合附图对本公开内容的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本公开内容的典型示例，而不应看作是对本公开内容的范围的限定。在附图中：

图1A示出了具有相似结构的网页的示例；

图1B示出了具有单一结构的网页的信息抽取示例；

图2A示出了多页面信息抽取的示例；

图2B示意性地示出了根据本发明的方法的整体流程；

图3是根据本发明的实施方式的用于从网页抽取信息的方法的流程图；

图4A示出了与导航节点对应的HTML结构和Dom树结构的示例；

图4B示意性地示出了信息抽取；

图5示意性地示出了据本发明的实施方式的用于从网页抽取信息的设备的框图；和

图6是其中可以实现根据本发明的实施方式的方法和/或设备的通用个人计算机的示例性结构的框图。

具体实施方式

在下文中将结合附图对本公开的示范性实施方式进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其他细节。

如前文所述，从网络上搜集并抽取信息是建立知识库的重要手段。如图1A和1B所示的现有方法虽然可以满足一定的需求，但是仍然具有局限性。

如图2A所示，http://owtware.com是公司的主页URL，公司的信息诸如产品、合作伙伴、联系方式等分布在不同的页面上，而且三个页面包含主要信息的部分也不具备相似的结构。

如果只有主页URL是已知的，则现有方法无法处理这种多页面分布信息抽取。然而，通常主页URL是容易获得的。因此，如何对主页URL信息进行扩展以抽取其他信息，仍然是亟待解决的问题。

为了解决现有技术中存在的问题，本发明提出一种基于多网页的信息抽取方法，使得可以在只给定主页URL的情况下：

-自动扩展出包含相关信息的其他页面，

-在每个相关页面中找到包含主要信息的位置，和

-对于不同属性类型的页面进行单独的信息抽取。

图2B示意性地示出了根据本发明的方法的整体流程。如图2B所示，根据本发明的方法主要包括以下三个部分：

1.通过主页扩展出多个网页的集合；

2.使用统计方法对网页集合进行统计分类，从而找出导航条节点，然后利用关键词词典匹配导航条节点所包含的叶子节点的文本，并且通过匹配到的节点信息找到待抽取的页面；和

3.针对待抽取页面的信息类型，使用不同的分析器进行抽取。

下面结合图3及图4A和4B详细说明根据本发明的实施方式的用于从网页抽取信息的方法。

图3是根据本发明的一个实施方式的用于从网页抽取信息的方法的流程图。

方法开始于步骤301，针对网页及其所有扩展网页中的包含该网页的域名的每个页面生成树。具体地，在本实施方式中，以图2A所示的URL为例，公司主页URL为u_root＝http://www.owtware.com/，要抽取的信息是该公司的其他属性，例如产品、联系方式等。

首先，使用爬虫(crawler)爬取u_root对应的HTML页面p_root，然后从页面解析出所包含的全部URL的集合u＝[u₀,u₁,u₂,……,u_n]。考虑到页面包含的URL可能是与该公司相关的，也有可能是不相关的，比如一些广告、外链等等，因此使用特定的规则来筛选出部分URL集合u’＝[u’₀,u’₁,u’₂,……,u’_n,]，其中u’_i包含dmain(u_root)，domain(URL)是抽取URL顶级域名的操作，例如domain(u_root)＝www.owtware.com。这样，可以保留同一域名下的所有URL，例如：http://www.owtware.com/index.php/zh/products/。

优选地，考虑到u’_i对应的页面p_i可能包含了其他URL信息，因此可以对p_i进一步扩展。对于每个p_i采取同样的策略扩展URL及对应页面，每次扩展完合并相同的URL及页面。扩展过程可重复n次。为了保证既可以得到一定数量的页面，又不会导致页面数量过多，一般可取n＝2。从而，可以得到一个具有相同域名的页面集合p＝[<p₀,u₀>,<p₁,u₁>,<p₂,u₂>,……,<p_n,u_n>]，其中p_i表示网页，u_i表示网页对应的URL。

接着，在步骤302中，确定树中的导航条节点。具体地，在本实施方式中，从集合p中找出导航条节点。如上文所述，目标是要从集合p中找出包含该公司信息的页面，比如：产品、联系方式等。通常，这些信息可以通过导航条节点中的链接找到与其对应的页面。选择导航条节点作为信息锚点主要有以下三个原因：

1.信息准确。导航条节点中包含的链接所指向的页面可以认为是对该公司的描述，例如，“产品服务”对应的页面会介绍该公司的产品，而“联系我们”会链接到包含公司地址、电话等信息的页面。而网页中的其他部分出现的链接则不一定描述的是该公司的信息，有可能介绍的是其他公司的情况，或者广告之类的信息。

2.信息全面。导航条节点基本包含了与该公司相关的所有信息，找到导航条节点，也就找到了所有包含相关信息的页面，这对于之后信息抽取有很大帮助。

3.相对容易发现。虽然不同网页可能具有不同的结构，但是导航条节点的样式大多是相同的。这种共性有助于准确地在网页结构中发现导航条节点的位置。

下面举例说明如何确定导航条节点。

根据上述第三个特点，可以通过统计每个页面p_i(p_i∈p)中的节点，找出频繁出现的节点，这些节点会包含导航条节点，进而通过对这些频繁出现的节点基于特征值进行排序，可以发现导航条节点，具体方法如下：

对于集合p中的每个页面p_i，首先将p_i转换成Dom树的结构，如图4A所示；

对于Dom树中的每个叶子节点node_i，取node_i的路径模式path_i，path_i由该叶子节点对应的文本和到第n个祖先节点经过的路径组合而成。根据实践经验，对于大多数页面来说，n可以取大于或等于5的整数值。例如，对于导航条节点“联系我们”，在n＝5时可以得到path_i＝”ul_li_ul_li_a_联系我们”

然后，计算每个path_i的文档频率df_i，即path_i出现在不同文档中的次数。通过统计可以得到一个路径频率词典node_pattern_dictionary{<path₁,df₁>,…,<path_n,df_n>}，其中df_i>t，t为如下设定的阈值：

阶梯性的设置阈值t是为了减少网页数量|p|对最终结果的影响。

得到路径频率词典之后，对集合p中每个p_i对应的Dom树结构进行第二次遍历，这次对于每个非叶子节点node_i，假设其覆盖的所有非空叶子节点集合为c＝[c₀,c₁,c₂,……,c_n]，如果满足对于每个c_i，path_i(c_i)皆存在于路径频率词典node_pattern_dictionary中，则记录该node_i的信息。最终可以得到候选词典candidate_pattern_dictionary{<path₁,[df₁,cn₁]>,…,<path_n,[df_n,cn_n]>}，其中path_i表示非叶子节点node_i到祖先节点的路径信息，df_i表示文档频率，cn_i表示node_i覆盖的所有非空叶子节点的数量。与叶子节点的path_i的区别在于非叶子节点的path_i不包括文本信息。如图4A中的3所示，从“联系我们”到ul节点对应的路径为ul_li_ul_div_div，n＝5。

最终，按照(cn*df/|p|)的值对候选词典candidate_pattern_dictionary进行排序，取最大值对应的路径作为导航条节点路径模板，并且该最大值对应的路径中的祖先节点可以被确定为导航条节点。对于该公司主页下的给定HTML页面，可以使用该模板来定位导航条节点的位置。

本领域技术人员应理解，以上描述的利用统计方法确定导航条节点仅是确定导航条节点的一个示例。本发明不限于此，而是可以采用其他合适的方法来确定导航条节点。

接着，在步骤303中，确定导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点。具体地，在本实施方式中，在步骤302中发现导航条节点之后，对于该导航条节点所覆盖的每个非空叶子节点，使用词典keyword_dict去匹配叶子节点对应的文字。词典keyword_dict包含了一些预设的关键词，例如“产品介绍”、“联系方式”等等。如果某个叶子节点匹配到了某个关键词，便可以在其对应的HTML元素中查找“href”属性，其属性值即为对应网页的URL。例如图4A中“联系我们”节点对应的HTML元素包含了链接：

href＝http://www.owtware.com/index.php/zh/about/contact-us/。

因此，可以从集合p中筛选出包含相关信息的网页集合p’＝[<p’₀,u’₀,t’₀>,<p’₁,u’₁,t’₁>,<p’₂,u’₂,t’₂>,……,<p’_n,u’_n,t’_n>]，其中p’_i和u’_i与前文中定义的p_i和u_i相同，而t’_i表示该页面对应的类型，比如：产品、人物、联系方式等。这使得可以针对不同的页面的类型来选择不同的解析器进行抽取。

对于每个p’_i，首先需要对HTML页面进行预处理，预处理的目的是为了将页面中的主要信息先提取出来。该过程是通用的，并且与网页的类型t’不相关。所提取的结果可以作为后面进行抽取时的输入。如图4B中的(1)所示，原始的HTML页面包含了很多内容，而只有实线框所示的部分是需要的内容，其他部分包括导航条节点、侧面列表、标签Footer等元素都是需要去除的，否则在进行抽取的时候很容易被噪音数据影响。

结合在步骤302中产生的路径频率词典node_pattern_dictionary和候选词典candidate_pattern_dictionary，可以通过以下方式来确定导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点。

对于集合p’_i中的非叶子节点node_i，假设其覆盖的所有非空叶子节点集合为c＝[c₀,c₁,c₂,……,c_n]，如果同时满足以下三个条件，则可以确定node_i为包括与一个或更多个关键词匹配的叶子节点的目标内容节点：

√

√

和

√∑text_len(c_i)>∑text_len(c_j)，其中，c_i为node_i覆盖的非空叶子节点，c_j为node_j覆盖的非空叶子节点，且i≠j，text_len(*)表示叶子节点对应文本的长度。也就是说，node_i覆盖的所有非空叶子节点的文本长度的总合要大于其他节点node_j覆盖的所有非空叶子节点的文本长度的总合。

确定了同时满足以上三个条件的节点node_i，意味着也确定了与预设的关键词匹配的叶子节点。

最后，在步骤304中，抽取与匹配的叶子节点相对应的页面中的信息。具体地，在本实施方式中，在确定了同时满足以上三个条件的节点node_i之后，可以对其覆盖的叶子节点中所包含的信息进行抽取。

优选地，可以将其每个叶子节点作为独立的属性抽取空间，如图4B中的(2)和(3)所示，将每个节点<div class＝"panel-grid-cell"…>作为独立的属性空间。这样做的益处是可以确立属性值的边界，即每个值只能取自于一段{{……}}。例如，对人物信息进行抽取的时候，一段{{……}}中包含的信息可以认为描述的是同一个人，不同{{……}}的信息描述的为不同的人，从而在一定程度上避免抽取错误。

优选地，在确定了抽取范围之后，可以根据p’_i的类型t’_i选取不同的解析器进行特定信息的抽取，例如实体识别器(NER)、专有名词识别器、数值识别器等等。图4B中的(3)给出了专有名词识别的结果的示例。

本领域技术人员应理解，虽然以上就基于公司主页抽取相关信息进行了描述，但是本发明不限于此，而是可以根据需要扩展到任何网页的任何信息的提取。

以上所讨论的方法可以完全由计算机可执行的程序来实现，也可以部分地或完全地使用硬件和/或固件来实现。当其用硬件和/或固件实现时，或者将计算机可执行的程序载入可运行程序的硬件设备时，则实现了下文将要描述的用于对图像的识别结果进行分割的设备。下文中，在不重复上文中已经讨论的一些细节的情况下给出这些设备的概要，但是应当注意，虽然这些设备可以执行前文所描述的方法，但是所述方法不一定采用所描述的设备的那些部件或不一定由那些部件执行。

图5示出了根据本发明的一个实施方式的用于从网页抽取信息的设备500，该设备包括：树生成装置501、导航条节点确定装置502、匹配节点确定装置503和信息抽取装置504。其中，树生成装置501用于针对网页及其所有扩展网页中的包含该网页的域名的每个页面生成树；导航条节点确定装置502用于确定树中的导航条节点；匹配节点确定装置503用于确定导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和信息抽取装置504用于抽取与匹配的叶子节点相对应的页面中的信息。

图5所示的用于从网页抽取信息的设备500对应于图3所示的方法。因此，用于从网页抽取信息的设备500中的各装置的相关细节已经在对图3的用于从网页抽取信息的方法的描述中详细给出，在此不再赘述。

上述装置中各个组成模块、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图6所示的通用计算机600)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

图6是其中可以实现根据本发明的实施方式的方法和/或设备的通用个人计算机的示例性结构的框图。如图6所示，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，也根据需要存储当CPU 601执行各种处理等等时所需的数据。CPU 601、ROM 602和RAM603经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件连接到输入/输出接口605：输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分608(包括硬盘等)、通信部分609(包括网络接口卡比如LAN卡、调制解调器等)。通信部分609经由网络比如因特网执行通信处理。根据需要，驱动器610也可连接到输入/输出接口605。可移除介质611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分608中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可移除介质611安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可移除介质611。可移除介质611的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出了相应的计算机程序代码、一种存储有机器可读取的指令代码的计算机程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施方式的方法。

相应地，被配置为承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

通过以上描述，本公开的实施方式提供了以下的技术方案，但不限于此。

附记1.一种用于从网页抽取信息的方法，包括以下步骤：

针对所述网页及其所有扩展网页中的包含所述网页的域名的每个页面生成树；

确定所述树中的导航条节点；

确定所述导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和

抽取与匹配的叶子节点相对应的页面中的信息。

附记2.根据附记1的方法，其中，利用统计方法来确定所述导航条节点。

附记3.根据附记2的方法，其中，确定所述树中的导航条节点还包括：

确定仅包含在所述树中出现的次数超过预定阈值的叶子节点的非叶子节点；和

通过对所述非叶子节点进行排序来确定所述导航条节点。

附记4.根据附记3的方法，其中，确定出现的次数超过预定阈值的叶子节点包括，确定所述叶子节点的文本和路径信息在所述树中出现的次数超过所述预定阈值。

附记5.根据附记4的方法，其中，所述路径信息是所述叶子节点到其第n个祖先节点所经过的路径，其中n是正整数。

附记6.根据附记5的方法，其中，n大于或等于5。

附记7.根据附记3的方法，其中，通过对所述非叶子节点进行排序来确定所述导航条节点包括：

计算所述非叶子节点的特征值，所述特征值取决于所述非叶子节点所覆盖的叶子节点的数目和所述次数；和

将所述非叶子节点中的具有最大特征值的非叶子节点确定为所述导航条节点。

附记8.根据附记7的方法，其中，所述特征值为所述非叶子节点所覆盖的叶子节点的数目和所述次数的乘积与包含所述网页的域名的页面总数的比值。

附记9.根据附记1至8中任一项的方法，其中，抽取与匹配的叶子节点相对应的页面中的信息包括：

确定与所述匹配的叶子节点相对应的页面中包含的目标节点；和

分别抽取所述目标节点所覆盖的每个叶子节点的文本。

附记10.根据附记9的方法，其中，所述目标节点按照如下方式确定：

所述目标节点所包含的每个叶子节点的文本和路径信息在所述树中出现的次数不超过所述预定阈值；

所述目标节点不是在仅包含在所述树中出现的次数超过预定阈值的叶子节点的非叶子节点之中的非叶子节点；并且

所述目标节点所包含的所有叶子节点的总文本长度大于其所在树中的其他非叶子节点的总文本长度。

附记11.根据附记9的方法，其中，分别抽取所述目标节点所覆盖的每个叶子节点的文本还包括，取决于与所述目标节点相对应的页面的类型，选择不同的解析器来进行抽取。

附记12.根据附记11的方法，其中，将所述目标节点的每个叶子节点作为独立的属性抽取空间。

附记13.根据附记11的方法，其中，所述解析器是实体识别器、专有名词识别器或数值识别器。

附记14.根据附记1至8中任一项的方法，其中，使用所确定的导航条节点的路径信息来确定所述网页及其所有扩展网页中的导航条节点。

附记15.根据附记1至8中任一项的方法，其中，通过抽取URL顶级域名的操作来确定所述网页及其所有扩展网页中的包含所述网页的域名的页面。

附记16.根据附记1至8中任一项的方法，其中，所述树是HTML文档对象模型DOM。

附记17.根据附记1至8中任一项的方法，其中，所述关键词是预设的关键词。

附记18.根据附记1至8中任一项的方法，其中，对所述扩展网页扩展n次以得到包含所述网页的域名的页面，其中n是大于或等于2的整数。

附记19.一种用于从网页抽取信息的设备，包括：

树生成装置，其被配置成针对所述网页及其所有扩展网页中的包含所述网页的域名的每个页面生成树；

导航条节点确定装置，其被配置成确定所述树中的导航条节点；

匹配节点确定装置，其被配置成确定所述导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和

信息抽取装置，其被配置成抽取与匹配的叶子节点相对应的页面中的信息。

附记20.一种计算机可读存储介质，所述计算机可读存储介质存储有能够由处理器运行来执行以下操作的程序：

针对所述网页及其所有扩展网页中的包含所述网页的域名的每个页面生成树；

确定所述树中的导航条节点；

确定所述导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和

抽取与匹配的叶子节点相对应的页面中的信息。

最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上虽然结合附图详细描述了本发明的实施方式，但是应当明白，上面所描述的实施方式只是被配置为说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

Claims (10)

1.一种用于从网页抽取信息的方法，包括以下步骤：

针对所述网页及其所有扩展网页中的包含所述网页的域名的每个页面生成树；

确定所述树中的导航条节点；

确定所述导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和

抽取与匹配的叶子节点相对应的页面中的信息。

2.根据权利要求1所述的方法，其中，确定所述树中的导航条节点还包括：

确定仅包含在所述树中出现的次数超过预定阈值的叶子节点的非叶子节点；和

通过对所述非叶子节点进行排序来确定所述导航条节点。

3.根据权利要求2所述的方法，其中，确定出现的次数超过预定阈值的叶子节点包括，确定所述叶子节点的文本和路径信息在所述树中出现的次数超过所述预定阈值。

4.根据权利要求3所述的方法，其中，所述路径信息是所述叶子节点到其第n个祖先节点所经过的路径，其中n是正整数。

5.根据权利要求4所述的方法，其中，n大于或等于5。

6.根据权利要求2所述的方法，其中，通过对所述非叶子节点进行排序来确定所述导航条节点包括：

计算所述非叶子节点的特征值，所述特征值取决于所述非叶子节点所覆盖的叶子节点的数目和所述次数；和

将所述非叶子节点中的具有最大特征值的非叶子节点确定为所述导航条节点。

7.根据权利要求1至6中任一项所述的方法，其中，抽取与匹配的叶子节点相对应的页面中的信息包括：

确定与所述匹配的叶子节点相对应的页面中包含的目标节点；和

分别抽取所述目标节点所覆盖的每个叶子节点的文本。

8.根据权利要求7所述的方法，其中，所述目标节点按照如下方式确定：

所述目标节点所包含的每个叶子节点的文本和路径信息在所述树中出现的次数不超过所述预定阈值；

所述目标节点不是在仅包含在所述树中出现的次数超过预定阈值的叶子节点的非叶子节点之中的非叶子节点；并且

所述目标节点所包含的所有叶子节点的总文本长度大于其所在树中的其他非叶子节点的总文本长度。

9.一种用于从网页抽取信息的设备，包括：

树生成装置，其被配置成针对所述网页及其所有扩展网页中的包含所述网页的域名的每个页面生成树；

导航条节点确定装置，其被配置成确定所述树中的导航条节点；

匹配节点确定装置，其被配置成确定所述导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和

信息抽取装置，其被配置成抽取与匹配的叶子节点相对应的页面中的信息。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有能够由处理器运行来执行以下操作的程序：

针对所述网页及其所有扩展网页中的包含所述网页的域名的每个页面生成树；

确定所述树中的导航条节点；

确定所述导航条节点所覆盖的与一个或更多个关键词匹配的叶子节点；和

抽取与匹配的叶子节点相对应的页面中的信息。

Images