CN111339396A - 提取网页内容的方法、装置和计算机存储介质 - Google Patents

Abstract

本发明涉及一种提取网页内容的方法，包括：计算网页特征与至少一个网页特征聚类的代表集合的相似度，代表集合包括相应网页特征聚类中彼此间相似度较高的网页特征的样本；确定与网页特征的相似度最高的代表集合；用网页特征更新与所确定的代表集合关联的网页特征聚类；重新计算所更新的网页特征聚类的代表集合；以及根据与所更新的网页特征聚类关联的提取模板从网页中提取内容。

Description

提取网页内容的方法、装置和计算机存储介质

技术领域

本公开涉及提取网页内容的方法、装置和计算机存储介质。

背景技术

互联网、固定接入设备及便携式接入终端的迅速发展，使得网页成为人们获取信息、制造信息的主要媒介。但是随着网页数量的激增，想要快速准确地获取所需信息是困难的。

随着数字资源和万维网上的信息的飞速增长，存在着大量方便用户阅读的信息。因此，也存在根据需要将所需要抽取的信息自动抽取出来的需求。提取网页内容的方法和系统通常涉及从半结构化的Web文档中抽取数据，其核心在于将分散在网络上的半结构化的HTML页面中的隐含的信息点抽取出来，并以更为结构化的、语义更为清晰的形式加以表示，为用户在Web中查询数据以及应用程序直接利用Web中的数据提供便利。由于网页内容信息提取是互联网信息处理的首要环节，因此信息提取的准确度会直接影响到后续的处理。信息抽取的目标是去除提取噪音，获取网页中有价值的信息，例如网页的标题、时间、正文、链接等信息。

传统的网页信息提取方法包括基于规则的提取方法和基于机器学习的提取方法。基于规则的方法可以达到较高的提取准确度，但是规则的构建过程需要领域专家的深度参与，由于需要借助人工参与，因此仅对于少量数据来说可能是有效的，这样的人工标注方法无法处理海量数据。相比于基于规则的提取方法，基于机器学习的方法则无需人工参与。但是这类方法往往需要大量的标注语料，而制作标注语料也需要人工来完成，因此现有的基于机器学习的信息提取方法也存在局限性。

因此，本发明旨在提供一种能够解决上述问题的提取网页信息的方法、装置和计算机存储介质。相比于现有技术，本发明能够用于海量数据的处理、不需要大量的人工标注的参与、且具有更高的准确度，并且能够根据需要适应性地提取所需的信息。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本公开的目的在于本发明旨在提供一种提取网页信息的方法、装置和计算机存储介质。相比于现有技术，本发明能够用于海量数据的处理、不需要大量的人工标注的参与、且具有更高的准确度，并且能够根据需要适应性地提取所需的信息。

为了实现本公开的目的，根据本公开的一个方面提供了一种提取网页内容的方法，包括：计算网页特征与至少一个网页特征聚类的代表集合的相似度，代表集合包括相应网页特征聚类中彼此间相似度较高的网页特征的样本；确定与网页特征的相似度最高的代表集合；用网页特征更新与所确定的代表集合关联的网页特征聚类；重新计算所更新的网页特征聚类的代表集合；以及根据与所更新的网页特征聚类关联的提取模板从网页中提取内容。

根据本公开的另一方面，还提供了一种提取网页内容的装置，包括：至少一个处理器，被配置成执行提取网页内容的方法。

根据本公开的另一方面，还提供了一种存储有计算机可读的程序指令的计算机可读介质，当所述程序指令由计算机执行时，用于实现提取网页内容的方法。

下面参考附图详细描述本发明的示例性实施例的进一步特性和优点，以及本发明的示例性实施例的结构和操作。应当注意，本发明不限于这里描述的具体实施例。在这里出现这样的实施例只是出于说明的目的。相关领域技术人员根据这里包含的指导会想到其它实施例。

附图说明

参照下面结合附图对本公开实施方式的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：

图1是示出网页中待提取的内容的示例的示意图；

图2示出根据本公开实施方式的网页内容提取方法的各步骤的流程图；

图3A是一个示例网页的部分的示意图；

图3B是示出将图3A示出的网页部分转换成文档对象模型树的一个示例的示意图；

图4是根据本公开的实施方式的提取网页信息系统的系统框图；

图5是示出可用来实现根据本公开的实施方式的提取网页内容的装置的通用机器的结构简图。

具体实施方式

在下文中将结合附图对本公开的示例性实施方式进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中可以做出很多特定于实施方式的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施方式的不同而有所改变。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。

本领域的技术人员可以理解，示例性实施例的各方面可以被实施为系统、方法或计算机程序产品。因此，示例性实施例的各个方面可以具体实现为以下形式，即，可以是完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)、或组合软件部分与硬件部分的实施例，本文可以一般称为"电路"、"模块"或"系统"。此外，示例性实施例的各个方面可以采取体现为一个或多个计算机可读介质的计算机程序产品的形式，该计算机可读介质上面体现有计算机可读程序代码。可以例如通过计算机网络来分发计算机程序，或者计算机程序可以位于一个或更多个远程服务器上，或被嵌入设备的存储器中。

可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电的、磁的、光的、电磁的、红外线的、或半导体的系统、设备或装置、或前述各项的任何适当的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括以下：有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储装置、磁存储装置、或前述各项的任何适当的组合。在本文语境中，计算机可读存储介质可以是任何含有或存储供指令执行系统、设备或装置使用的或与指令执行系统、设备或装置相联系的程序的有形介质。

计算机可读信号介质可以包括例如在基带中或作为载波的一部分传播的其中带有计算机可读程序代码的数据信号。这样的传播信号可以采取任何适当的形式，包括但不限于电磁的、光的或其任何适当的组合。

计算机可读信号介质可以是不同于计算机可读存储介质的、能够传达、传播或传输供指令执行系统、设备或装置使用的或与指令执行系统、设备或装置相联系的程序的任何一种计算机可读介质。

体现在计算机可读介质中的程序代码可以采用任何适当的介质传输，包括但不限于无线、有线、光缆、射频等等、或上述各项的任何适当的组合。

用于执行这里公开的示例性实施例的各方面的操作的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++之类，还包括常规的过程式程序设计语言，诸如"C"程序设计语言或类似的程序设计语言。

以下参照按照示例性实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述这里公开的示例性实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以生产出一种机器，使得通过计算机或其它可编程数据处理设备执行的这些指令产生用于实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能够指引计算机或其它可编程数据处理设备以特定方式工作的计算机可读介质中，使得存储在计算机可读介质中的指令产生一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令的制造品。

也可以把计算机程序指令加载到计算机或其它可编程数据处理设备上，导致在计算机或其它可编程数据处理设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

图1是示出网页中待提取的内容的示例的示意图。

具体地，作为示例，图1示出了一个招聘网页的样例，其中，左侧的较小的矩形区域中的内容和右侧的较大矩形中的内容内为待提取的内容的样例。如图1所示，左侧的较小的矩形区域中的待提取内容是关于教育程度的相关信息，而右侧的较大矩形中的待提取的内容是关于职位描述的相关信息。在该网页样例中，待抽取的内容涉及教育程度和职位描述信息，当然要提取的内容取决于用户的需求，可以利用下面描述的本公开的各个实施方式根据需要进行所需种类的信息的提取。因此，待提取的网页信息内容，可以是大段的文本，也可以是以表格形式存在的数据。根据本公开的各个实施方式并不限定待提取的网页信息内容的类型。根据本公开的各个实施方式的网页信息提取方法和装置可以适用于各种形式的网页以及各种形式的内容。

下面参照图2对根据本公开实施方式的网页内容提取方法进行说明，图2是示出根据本公开实施方式的网页内容提取方法的各步骤的流程图。

参照图2，在步骤201中，计算网页特征与至少一个网页特征聚类的代表集合的相似度。

这里的网页特征可以是例如文档对象模型(Document Object Model，DOM)的标签的网页特征。根据本公开的各个实施方式，网页可以被从多个网站抓取或下载得到，被抓取或下载的网页被转换为文档对象模型树。图3B示出了转换后的文档对象树的一个示例。在将抓取或下载的网页全部转换为文档对象树后，依次计算每个网页中的网页特征与网页特征聚类的代表集合的相似度。作为替代，也可以在抓取一个网页后即进行步骤201的处理。下面将对作为网页形式的一种的DOM树模型进行简单介绍。

图3A是一个示例网页的部分的示意图。

图3B则示出了将图3A示出的网页部分的转换成文档对象模型树的一个示例的示意图。

参照图3B，根据上文关于叶节点模式的定义，作为示例，图3B中叶节点“川崎市”的模式为text_strong_p_div_川崎市，其中，该叶节点模式的路径为“text_strong_p_div_”，内容为“川崎市”。类似地，其余各叶节点的模式分别为text_h2_div_川崎市、text_p_div_麻生区办公室等。text_strong_p_div_川崎市即为DOM的标签。

下面以DOM的标签作为网页特征的示例进行说明，该示例仅出于示出的目的而不在于限制网页特征的形式，根据本公开内容的各实施方式并不限于针对DOM标签作为网页特征的网页，而是可以针对任何互联网内容。在这里对DOM进行简要说明，文档对象模型DOM可以以一种独立于平台和语言的方式访问和修改一个文档的内容和结构。DOM使得用户页面可以动态地变化，如可以动态地显示或隐藏一个元素，改变其属性，或增加一个元素等，从而使得页面的交互性大大地增强。DOM实际上是以面向对象方式描述的文档模型，其定义了表示和修改文档所需的对象、这些对象的行为和属性以及这些对象之间的关系。可以把DOM认为是页面上数据和结构的一个树形表示，然而页面也可能不是以如图3B所示的DOM树的方式来实现。

作为示例，如果待提取的网页内容信息是DOM的标签，则作为DOM标签的网页特征样本可以以下述方式呈现：

“<tag1><tag2>……<tagn>C1”

DOM的标签作为网页特征的一个具体的示例如下：

“<html><body><div[1]><div[2]><div[1]><div[4]><div[1]><div><dl><dt[6]text content”

如果待提取的网页内容信息是关系型的数据，其中包含属性和属性值。那么一个样本可以表示为：

“<tag11><tag12>……<tag1n>R1<tag21><tag22>……<tag2n>C1”

其中R1和C1分别是要提取的属性和属性值。

作为关系型数据的网页特征的一个具体的示例如下：

“<html><body><table><tbody><tr><td><table><tbody><tr[2]><td><table><tbody><tr[8]><td[1]>Required Education<html><body><table><tbody><tr><td><table><tbody><tr[2]><td><table><tbody><tr[8]><td[2]>4Year Degree”

从上述表达可见，“Required Education”即表征“所需的教育程度”的属性，而“4Year Degree”是表征接受教育的时间，即“所需的教育程度”的属性的属性值。

因此，网页特征样本即是例如如上述示例所述的DOM标签型样本或关系型数据样本。当然，网页特征并不限于作为示例描述的这两种形式，也可以是任意形式的数据。

设有k个待提取的网页特征聚类:{R1,R2,…,Rk}，并且每个聚类有各自有若干样本，这样就有k个代表集合：{C1,C2,…,Ck}，在每个代表集合中，有若干个代表样本点，代表集合中包括相应的网页特征聚类中彼此间相似度较高的网页特征的样本。

这样，当通过对待提取网页内容信息的网页进行解析而获得网页特征的样本后，在步骤201处，计算网页特征样本与已有的至少一个网页特征聚类{R1,R2,…,Rk}的代表集合{C1,C2,…,Ck}的相似度，需要说明的是，已有的至少一个网页特征聚类{R1,R2,…,Rk}及其代表集合{C1,C2,…,Ck}是最近更新过的网页特征聚类及其代表集合，最初的种子网页特征聚类及其代表集合可能是小规模的，因此通过人工方式来确定，基于该人工确定的网页特征聚类和代表集合再通过自动迭代来不断更新从而得到最近更新过的网页特征聚类{R1,R2,…,Rk}及其代表集合{C1,C2,…,Ck}，需要注意的是，这里的网页特征样本可以是多于一个数量的样本，即待提取信息的网页信息的样本的集合。

在步骤201中，计算一个网页特征样本与一个代表集合相似度，具体可以是分别计算该网页特征样本与代表集合中的每个网页特征的相似度，再对计算出的各个相似度求取平均值以度量该网页特征样本与该代表集合相似度，根据本公开内容实施方式的相似度计算方法并不限于以上描述的方式，而是可以是能计算样本与包含其他样本的集合的相似度的任何方式。下面对于样本间相似度的计算方式进行说明。

<样本间相似度的计算>

在此，对本文中的样本间相似度计算方式进行说明，相似度计算用于计算样本之间的相似度。这里的样本包含待抽取的信息以及与该信息相关的特征。为了提高相似度计算的准确性，特别是为了提高是针对不同表达方式的网页格式之间的相似度计算的准确性，需要对相似度的计算方式进行学习。

相似度学习的任务就是学习样本之间的相似度。由于网页的表现形式多样性，导致计算样本之间的相似度很困难。通常的做法是将样本映射到另一个空间中，在该空间中，同类样本之间的距离近，而不同类的样本之间的距离远。因此考虑利用经训练的神经网络确定网页特征之间的相似度，根据本公开的各个实施方式的相似度计算的学习通过并行的两个共享权重的网络来实现，该网络能被应用于那些类别数多或者整个训练样本无法用于之前方法训练的分类问题。在根据本公开的各个实施方式的相似度度量计算中，具体地，将输入的成对样本映射到一个空间中，通过调整参数，使得输入的样本对在该空间中的距离体现其类别的区分。

接下来，再次参照图2，在步骤202处，确定与网页特征样本的相似度最高的代表集合，具体，通过对在步骤201处计算的网页特征样本与各个代表集合的各个相似度进行比较，确定与网页特征样本的相似度最大的代表集合。

在确定与网页特征样本的相似度最大的代表集合之后，在图2的步骤203处，用网页特征更新与所确定的代表集合关联的网页特征聚类，具体方式为，通过将网页特征并入到与所确定的与网页特征对应的代表集合中来对与所确定的代表集合关联的网页特征聚类进行更新。

接下来，再次参照图2在步骤204中，重新计算所更新的网页特征聚类的代表集合。

假设所确定的代表集合中的代表样本点的数量M(M为大于1的整数)，需要注意的是，代表集合中的代表样本点的数量可以预先设定为固定值，或者使用预设阈值来控制代表样本点的数量，或者是通过其他约束条件可变的。仅出于示例的目的，在本公开的各个实施方式中，使用下面的步骤来更新代表样本点：

使用步骤201中的网页特征样本所构成的集合中的一个样本，对于每个聚类C_m，使用下面的公式来更新代表样本点：

通过将公式(2)带入公式(1)进行计算以选择使得公式(1)argmax右侧的式子的值最大的前M个样本(关于argmax函数的计算方式在此不进行赘述)，其中sim表示相似度，X_mi表示类别C_m中的第i个样本，X_mj表示类别m中的第j个样本，P_k为不同于X_mi所属聚类C_m的其他聚类；或者按照下面的公式(3)选择相似度比值大于预设阈值θ的样本；

在以上述方式对网页特征聚类进行更新后，在网页特征样本所构成的集合中选择其它样本以重复以上步骤，直到收敛或者达到预设的最大的迭代步数。

最后，再次参照图2，在步骤205中，根据与所更新的网页特征聚类关联的提取模板从网页中提取内容。具体地，当得到更新的各个聚类以后，能够使用与各个更新的聚类相关联的提取模板来对未知的数据进行提取。符合提取模板的数据中的内容将被提取出来。在根据本公开的各个实施方式的一个示例中，使用代表样本点来表达提取模板。在这种情况下，当获取到一个待提取信息的新的样本的时，计算该样本与每个更新的聚类的代表样本点之间的相似度。选取与相似度最大的聚类相关的提取模板作为提取该样本的提取模板来对该样本进行信息提取。鉴于利用与某个聚类相关联的提取模板对信息进行提取对于本领域技术人员是公知的，本文仅对其在本公开的实施方式中的应用进行描述，省略具体的实现方式。

下面结合图4对根据本公开的实施方式的提取网页信息系统的系统框图。

在图4所示的系统400中，包括种子样本存储单元401、相似度学习单元402、相似度计算单元403、代表点计算单元404、代表点存储单元405、分类单元406、输入单元407和信息提取单元408。其中，种子样本存储单元401被配置成存储种子样本；相似度学习单元402被配置成对样本间的相似度度量进行学习；相似度计算单元403被配置计算样本间的相似度；代表点计算单元404被配置成通过计算确定代表点；代表点存储单元405被配置成存储代表点；分类单元406被配置成基于相似度将样本分类到对应的聚类；输入单元407被配置成输入网页；信息提取单元408被配置成提取网页内容。

根据本公开的实施方式，代表集合中彼此间相似度较高的网页特征的样本取自同一类别的网页内容。例如上文中描述的“要求的教育程度”和“职位描述”属于不同的类别。此外，类别也可以是表征网页特征类型的类别。根据本公开的实施方式可以根据应用需要适应性地调整对于类别的定义，对类别定义的调整通过对图4所示的种子样本存储单元401中存储的种子样本进行手动调整来实现。进一步地，根据本公开的实施方式，代表集合的数量等于待提取网页内容的类别的数量。

图5是示出可用来实现根据本公开的实施方式的提取网页信息的装置和提取网页信息的方法的通用机器700的结构简图。通用机器700可以是例如计算机系统。应注意，通用机器700只是一个示例，并非暗示对本公开的方法和装置的使用范围或者功能的局限。也不应将通用机器700解释为对上述信息处理方法和信息处理装置中示出的任一组件或其组合具有依赖或需求。

在图5中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，还根据需要存储当CPU 701执行各种处理等等时所需的数据。CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。

下述部件也连接到输入/输出接口705：输入部分706(包括键盘、鼠标等等)、输出部分707(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分708(包括硬盘等)、通信部分709(包括网络接口卡例如LAN卡、调制解调器等)。通信部分709经由网络例如因特网执行通信处理。根据需要，驱动器710也可连接到输入/输出接口705。可拆卸介质711例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器710上，使得从中读出的计算机程序可根据需要被安装到存储部分708中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质711安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

此外，本公开还提出了一种存储有计算机可读的程序指令的计算机程序产品。所述指令代码由计算机读取并执行时，可执行上述根据本公开的信息处理方法。相应地，用于承载这种程序指令的上面列举的各种存储介质也包括在本公开的范围内。

上面已通过框图、流程图和/或实施方式进行了详细描述，阐明了根据本公开的实施方式的装置和/或方法的具体实施方式。当这些框图、流程图和/或实施方式包含一个或多个功能和/或操作时，本领域的技术人员明白，这些框图、流程图和/或实施方式中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语“第一”，“第二”等并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。

综上，在根据本公开的实施方式中，本公开提供了如下方案，但不限于此：

1.一种提取网页内容的方法，包括：

计算网页特征与至少一个网页特征聚类的代表集合的相似度，所述代表集合包括相应网页特征聚类中彼此间相似度较高的网页特征的样本；

确定与所述网页特征的相似度最高的代表集合；

用所述网页特征更新与所确定的代表集合关联的网页特征聚类；

重新计算所更新的网页特征聚类的代表集合；以及

根据与所更新的网页特征聚类关联的提取模板从网页中提取内容。

2.如方案1所述的方法，其中，

所述代表集合中彼此间相似度较高的网页特征的样本取自同一类别的网页内容。

3.如方案2所述的方法，其中，

所述代表集合的数量等于待提取网页内容的类别的数量。

4.如方案2或3所述的方法，其中：

所述类别包括表征网页特征类型的类别。

5.如方案2或3所述的方法，其中：

对所述类别的定义的调整通过对种子样本的调整来实现。

6.如方案5所述的方法，其中：

所述种子样本是人工确定的。

7.如方案1所述的方法，其中

基于所更新的网页特征聚类中网页特征与其它样本的网页特征的相似度之和除以与各个代表集合的相似度之和的比值来选择组成所更新的网页特征聚类的代表集合的样本。

8.如方案7所述的方法，其中

用对应于较大比值的预定数量的样本组成所更新的网页特征聚类的代表集合。

9.如方案1所述的方法，其中：

利用神经网络确定网页特征之间的相似度。

10.如方案9所述的方法，其中

所述神经网络包括Siamese网络。

11.如方案9所述的方法，其中

所述神经网络是经过训练的神经网络。

12.如方案1所述的方法，其中

待提取的网页内容信息是DOM标签或关系型数据。

13.一种提取网页内容的装置，包括：

至少一个处理器，被配置成执行如方案1至12中任一项所述的方法。

14.一种存储有计算机可读的程序指令的计算机存储介质，当所述程序指令由计算机执行时，用于实现根据方案1至12中任一项所述的方法。

15.一种提取网页内容的系统中，包括：

种子样本存储单元，被配置成存储种子样本；

相似度学习单元，被配置成对样本间的相似度度量进行学习；

相似度计算单元，被配置计算样本间的相似度；

代表点计算单元，被配置成通过计算确定代表点；

代表点存储单元，被配置成存储代表点；

分类单元，被配置成基于相似度将样本分类到对应的聚类；

输入单元，被配置成输入网页；

信息提取单元，被配置成提取所述网页的内容。

尽管上面已经通过对本公开的具体实施方式的描述对本公开进行了披露，但是，应该理解，本领域的技术人员可在所附方案的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims (10)

1.一种提取网页内容的方法，包括：

计算网页特征与至少一个网页特征聚类的代表集合的相似度，所述代表集合包括相应网页特征聚类中彼此间相似度较高的网页特征的样本；

确定与所述网页特征的相似度最高的代表集合；

用所述网页特征更新与所确定的代表集合关联的网页特征聚类；

重新计算所更新的网页特征聚类的代表集合；以及

根据与所更新的网页特征聚类关联的提取模板从网页中提取内容。

2.如权利要求1所述的方法，其中，

所述代表集合中彼此间相似度较高的网页特征的样本取自同一类别的网页内容。

3.如权利要求2所述的方法，其中，

所述代表集合的数量等于待提取网页内容的类别的数量。

4.如权利要求1所述的方法，其中

基于所更新的网页特征聚类中网页特征与其它样本的网页特征的相似度之和除以与各个代表集合的相似度之和的比值来选择组成所更新的网页特征聚类的代表集合的样本。

5.如权利要求4所述的方法，其中

用对应于较大比值的预定数量的样本组成所更新的网页特征聚类的代表集合。

6.如权利要求1所述的方法，其中：

利用神经网络确定网页特征之间的相似度。

7.如权利要求6所述的方法，其中

所述神经网络包括Siamese网络。

8.如权利要求6所述的方法，其中

所述神经网络是经过训练的神经网络。

9.一种提取网页内容的装置，包括：

至少一个处理器，被配置成执行如权利要求1至8中任一项所述的方法。

10.一种存储有计算机可读的程序指令的计算机存储介质，当所述程序指令由计算机执行时，用于实现根据权利要求1至8中任一项所述的方法。

Images