CN103455572B - 获取网页中影视主体的方法及装置 - Google Patents

Abstract

本发明涉及网络数据通信领域，其公开了一种获取网页中影视主体的方法及装置。该方法包括：在待挖掘影视主体的网页中抽取待挖掘文本，并根据预设切分规则对待挖掘文本进行切分，得到句子集合；在句子集合中，提取所有句子的最长公共子句作为候选影视主体；根据候选影视主体确定该网页的影视主体。通过本发明，能够避免现有技术中当存在大量需要解析的网站时，编写包装器的繁琐过程，还克服当网页结构经常发生变化时，由于无法实时地检测出网页结构的变化，而造成解析失败的缺陷。

Description

获取网页中影视主体的方法及装置

技术领域

本发明涉及网络数据通信领域，特别是涉及一种获取网页中影视主体的方法及装置。

背景技术

垂直搜索技术是针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。用户可以通过垂直搜索获取到更加专业化、精准的信息。

现如今，垂直搜索已广泛应用到了对网页的搜索当中，例如，影视垂直搜索技术，主要用于识别网页中的影视主体。目前，在识别网页中影视主体的挖掘算法中，大多采用基于模板的影视主体提取方法，即使用包装器分析网页结构并构造出相应的正则表达式模板，从而在网页中进行网页影视主体数据的抽取。可见，现有方案依需要依赖于网页HTML（Hypertext Markup Language，超文本标记语言）内部结构特征，才能完成数据的抽取。

但是，发明人发现，现有技术中存在如下问题：在网页中获取影视主体时所使用的包装器是通过分析网页源代码来编写的，当存在大量需要解析的网站时，编写包装器的工作量就会非常庞大，甚至难以完成。另外，当网页结构经常发生变化时，可能会导致无法实时地检测出网页结构的变化，从而造成解析失败，进而降低了获取网页中影视主体的效率。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的适于获取网页中影视主体的方法及相应的装置。

依据本发明的一个方面，提供了一种获取网页中影视主体的方法，包括：

在待挖掘影视主体的网页中抽取待挖掘文本，并根据预设切分规则对待挖掘文本进行切分，得到句子集合；

在句子集合中，提取所有句子的最长公共子句作为候选影视主体；

根据候选影视主体确定该网页的影视主体。

可选地，根据候选影视主体确定该网页的影视主体，包括：

根据预设提取规则在待挖掘文本中提取无意义子句，组成无意义子句集合；

使用无意义子句集合对候选影视主体进行清洗，得到该网页的影视主体。

可选地，在待挖掘影视主体的网页中抽取待挖掘文本，包括：

对待挖掘影视主体的网页内容进行归一化处理；

在归一化处理后的网页内容中，抽取预设类型的信息作为待挖掘文本。

可选地，对待挖掘影视主体的网页内容进行归一化处理，包括下列至少之一的组合：

将待挖掘影视主体的网页内容中的标点符号统一转换成英文标点符号；

将待挖掘影视主体的网页内容中的数字统一转换成阿拉伯数字；

将待挖掘影视主体的网页内容中的字体统一转换成简体字；

将待挖掘影视主体的网页内容中的英文字母统一转换成小写英文字母。

可选地，在归一化处理后的网页内容中，抽取预设类型的信息作为待挖掘文本，包括：

抽取下列至少之一的信息，作为待挖掘文本：

归一化处理后的网页内容头部信息中的标题信息、关键字信息和描述信息，该网页内容正文信息中的属性信息。

可选地，根据预设切分规则对待挖掘文本进行切分，包括：

使用第一预设标点符号对待挖掘文本中的关键字信息、描述信息及属性信息进行句子切分，其中，第一预设标点符号包括下列中的至少一个：逗号、句号、换行符。

可选地，在句子集合中，提取所有句子的最长公共子句作为候选影视主体，包括：

在句子集合中，分别计算每个句子与标题信息的最长公共子句，得到第一子句集合；

在第一子句集合中，计算每两个子句的最长公共子句，得到第二子句集合；

统计第二子句集合中每个句子的频度，取出频度最高的部分子句，在其中选择出长度最长的句子作为所有句子的最长公共子句，并将其作为候选影视主体。

可选地，根据预设提取规则在待挖掘文本中提取无意义子句，组成无意义子句集合，包括：

根据预设提取规则，对待挖掘文本中的标题信息和关键字信息进行子句切分；

收集海量网页内容，统计切分得到的每个子句的频度，并将频度大于预设值的子句组成无意义子句集合。

可选地，根据预设提取规则，对待挖掘文本中的标题信息和关键字信息进行子句切分，包括：

在待挖掘文本中的标题信息和关键字信息中，将每两个第二预设标点符号之间的字符串作为一个子句，其中，第二预设标点符号包括逗号和/或破折号；

对于切分后得到的每个子句而言，

若该子句中包含候选影视主体，则在候选影视主体的所在位置处将该子句进行切分。

可选地，使用无意义子句集合对候选影视主体进行清洗，得到该网页的影视主体，包括：

若候选影视主体不存在于无意义子句集合中，则确认该候选影视主体为该网页的影视主体；

若候选影视主体存在于无意义子句集合中，则根据预设提取规则，对网页头部信息中的标题信息进行切分；

在切分后的子句中选择最左边且未出现在无意义子句集合中的子句，作为新候选影视主体；以及

从新候选影视主体中清除出现在无意义子句集合中的部分，得到该网页的影视主体。

依据本发明的一个方面，还提供了一种获取网页中影视主体的装置，包括：

文本抽取器，配置为在待挖掘影视主体的网页中抽取待挖掘文本；

切分器，配置为根据预设切分规则对待挖掘文本进行切分，得到句子集合；

主体提取器，配置为在切分器切分得到的句子集合中，提取所有句子的最长公共子句作为候选影视主体；

影视主体确定器，配置为根据主体提取器所获取的候选影视主体确定该网页的影视主体。

可选地，影视主体确定器包括：

无意义子句提取单元，配置为根据预设提取规则在待挖掘文本中提取无意义子句，组成无意义子句集合；

过滤单元，配置为使用无意义子句集合对候选影视主体进行清洗，得到该网页的影视主体。

可选地，文本抽取器包括：

处理单元，配置为对待挖掘影视主体的网页内容进行归一化处理；

抽取单元，配置为在归一化处理后的网页内容中，抽取预设类型的信息作为待挖掘文本。

可选地，处理单元配置为对下列至少之一的组合进行归一化处理：

将待挖掘影视主体的网页内容中的标点符号统一转换成英文标点符号；

将待挖掘影视主体的网页内容中的数字统一转换成阿拉伯数字；

将待挖掘影视主体的网页内容中的字体统一转换成简体字；

将待挖掘影视主体的网页内容中的英文字母统一转换成小写英文字母。

可选地，抽取单元配置为抽取下列至少之一的信息，作为待挖掘文本：

归一化处理后的网页内容头部信息中的标题信息、关键字信息和描述信息，该网页内容正文信息中的属性信息。

可选地，切分器还配置为使用第一预设标点符号对待挖掘文本中的关键字信息、描述信息及属性信息进行句子切分，得到句子集合；

其中，第一预设标点符号包括下列中的至少一个：逗号、句号、换行符。

可选地，主体提取器包括：

计算单元，配置为在句子集合中，分别计算每个句子与标题信息的最长公共子句，得到第一子句集合；以及

在第一子句集合中，计算每两个子句的最长公共子句，得到第二子句集合；

选取单元，配置为统计第二子句集合中每个句子的频度，取出频度最高的部分子句，在其中选择出长度最长的句子作为所有句子的最长公共子句，并将其作为候选影视主体。

可选地，无意义子句提取单元配置为按照如下方式获取无意义子句集合：

根据预设提取规则，对待挖掘文本中的标题信息和关键字信息进行子句切分；

收集海量网页内容，统计切分得到的每个子句的频度，并将频度大于预设值的子句组成无意义子句集合。

可选地，无意义子句提取单元还配置为按照如下方式执行切分操作：

在待挖掘文本中的标题信息和关键字信息中，将每两个第二预设标点符号之间的字符串作为一个子句，其中，第二预设标点符号包括逗号和/或破折号；

对于切分后得到的每个子句而言，

若该子句中包含候选影视主体，则在候选影视主体的所在位置处将该子句进行切分。

可选地，过滤单元还配置为：

判断候选影视主体是否存在于无意义子句集合中；

若候选影视主体不存在于无意义子句集合中，则确认该候选影视主体为该网页的影视主体；

若候选影视主体存在于无意义子句集合中，则根据预设提取规则，对网页头部信息中的标题信息进行切分；

在切分后的子句中选择最左边且未出现在无意义子句集合中的子句，作为新候选影视主体；

从新候选影视主体中清除出现在无意义子句集合中的部分，得到该网页的影视主体。

本发明提供了一种获取网页中影视主体的方法及装置，通过本发明，能够在待获取影视主体的网页中提取待挖掘文本，并以对待挖掘文本进行切分的方式来获取网页的影视主体。本发明避免了现有技术中当存在大量需要解析的网站时，编写包装器的繁琐过程，降低了设备的处理压力，从而能够实现快速、准确地对大量的网站进行影视主体的提取。进一步本发明实施例还克服了当网页结构经常发生变化时，由于无法实时地检测出网页结构的变化，而造成解析失败的缺陷。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是根据本发明一个实施例的一种获取网页中影视主体的方法流程图；

图2是根据本发明一个实施例的一种获取网页中影视主体的具体方法流程图；

图3是根据本发明一个实施例的网页头部信息的内容示意图；

图4是根据本发明一个实施例的包含属性信息的网页正文信息内容示意图；

图5是根据本发明一个实施例的提取候选影视主体的方法流程图；

图6是根据本发明一个实施例的一种获取网页中影视主体的装置框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应该被这里阐述的实施例所限制。相反，提供这些实施例是为了能够透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

本发明实施例提供了一种获取网页中影视主体的方法。该方法对能够提取网页中影视主体的设备进行了改进，例如，本实施例中的设备可以为用户终端，也可以为服务器，本实施例中的终端可以为PC（Personal Computer，个人计算机）、手机、手持电脑等。

图1是根据本发明一个实施例的一种获取网页中影视主体的方法流程图。该方法具体包括步骤S102至S106。

S102，在待挖掘影视主体的网页中抽取待挖掘文本，并根据预设切分规则对待挖掘文本进行切分，得到句子集合。

可选地，上述预设规则为根据待挖掘文本的内容预先制定的切分规则，具体实现过程在以下实施例中进行具体说明。

S104，在句子集合中，提取所有句子的最长公共子句作为候选影视主体。

S106，根据候选影视主体确定该网页的影视主体。

根据本发明提供的一种获取网页中影视主体的方法，能够在待获取影视主体的网页中提取待挖掘文本，并以对待挖掘文本进行切分的方式来获取网页的影视主体。可见，与现有技术相比，本实施例所提供的方法无需使用预先编写的包装器来分析网页结构，避免了现有技术中当存在大量需要解析的网站时，编写包装器的繁琐过程，降低了设备的处理压力，从而能够实现快速、准确地对大量的网站进行影视主体的提取。进一步本发明实施例还克服了当网页结构经常发生变化时，由于无法实时地检测出网页结构的变化，而造成解析失败的缺陷。

实施例二

本实施例为本发明的一个具体应用场景，通过本实施例，能够更加清楚、具体地阐述本发明所提供的方法。

图2是根据本发明一个实施例的一种获取网页中影视主体的具体方法流程图。该方法具体包括步骤S201至S206，下面对该方法进行具体介绍。

S201，获取待挖掘影视主体的网页的内容，并对该网页的内容进行归一化处理。

需要说明的是，网页内容是由特定格式的字符串组成的，设备在对网页内容进行处理时，要先读取和识别网页内容。其中，网页内容中通常包括标点符号、数字和字母等，这些字符串并不一定以一个统一的形态进行呈现，如网页内容中可能包括了大写字母，同时也包括了小写字母等，而这些非统一形态的字符这串不利于设备对网页内容的识别，使得设备对网页处理的效率较低。

由上述分析可知，为了使得设备能够较为快捷地对网页内容进行识别和处理，首先要对网页内容进行归一化处理，使得网页中不同类型的字符串进行统一。其中，归一化处理的过程具体包括：如果网页内容中包含标点符号，则将该网页内容中的标点符号统一转换成英文标点符号，如果网页内容中包含有数字，则该网页内容中的数字统一转换成阿拉伯数字，如果网页内容中包含有简体字和繁体字，则将该网页内容中的字体统一转换成简体字，如果网页内容中包含有英文字母，则将该网页内容中的英文字母统一转换成小写英文字母。归一化处理能够规范网页所包括的内容，利于设备对网页内容的识别，从而提高设备对网页内容处理的效率。

在对网页内容进行归一化处理之后，继续执行步骤S202。在步骤S202中，从归一化处理后的网页内容中抽取预设类型的信息作为待挖掘文本。

需要提及的是，网页通常以HTML格式进行编写，所以，网页内容中会包括头部信息和正文信息两部分。可选地，基于该两部分信息，步骤S202在对待挖掘文本进行提取时，可以分为以下两个阶段进行。

第一个阶段，使用正则表达式，在网页的头部信息中获取标题信息（Titletext）、关键字信息（Keyword text）及描述信息（Description text），将该三部分信息作为第一类文本。本实施例中，使用正则表达式只是本发明的一个较佳地实施方式，还可以使用其他的方法来获取第一类文本，本实施例不再进行具体说明。另外，本实施例中，选择上述三种信息为第一类文本的依据为：为了搜索设备便于对网页进行搜索，目前与影视相关的网站均为搜索设备做了优化，为了方便设备的搜索，网页的影视主体大都会出现在网页头部信息的标题信息、关键字信息及描述信息中。所以，该三部分信息提取，能够确保在后续的处理中获取到准确的影视主体。

第二阶段，若网页的正文信息中包含有属性信息，则还需在网页的正文信息中获取属性信息（Attribute text），将其作为第二类文本。需要说明的是，部分网页的正文内容中并未包含有属性信息，这种情况，只获取上述第一类文本作为待挖掘文本即可。本实施例选中，当网页的正文信息中包含有属性信息时，选择属性信息为第二类文本的依据为：在含有影视主体的网页中，通常会存在大量的和影视相关的属性信息，如影视名，演员名，导演，类型，更新时间，播放地址等。这些属性信息经常和影视名称出现在一起，因此抽取出正文信息中的属性信息作为第二类文本也能够确保在后续的处理中获取到准确的影视主体。

为了更加清楚地展现步骤S202所获取的待挖掘文本，现以图3和图4中所示的网页内容为例进行举例说明。其中，图3是根据本发明一个实施例的网页头部信息的内容示意图，图4是根据本发明一个实施例的包含属性信息的网页正文信息内容示意图。此时，根据图3和图4的内容所获取的待挖掘文本如表一所示。其中，表一的第一行为该网页的URL（Uniform Resource Locator，统一资源定位符），该行内容不属于待挖掘文本，表一的第二至四行为在图3所示的头部信息中选择的第一类文本为，表一的第五行为在图4所示的正文信息中选择的第二类文本。

表一

在通过步骤S202提取出待挖掘文本之后，继续执行步骤S203。在步骤S203中，根据预设规则对待挖掘文本进行句子切分，得到句子集合。下面，对步骤S203的切分过程进行具体介绍。

本实施例中，在对待挖掘文本进行句子切分时，可以采用第一预设标点符号对待挖掘文本中的关键字信息、描述信息及属性信息进行句子切分。可选地，第一预设标点符号可以包括逗号、句号和换行符中的至少一个标点符号。

需要说明的是，由于待挖掘文本中不同信息所包含的内容会有所不同，所以对每个信息进行切分时所采取的方式也可能不同。可选地，在具体进行切分时，具体可以采用如下方式对每种信息进行句子切分：对于第一类文本中的关键词信息，可以使用逗号对其进行句子切分。对于第一类文本中的描述信息，首先，判断描述信息中是否存在“剧情”两个字，若存在，则将“剧情”之前的句子使用逗号对其进行切分，若不包含，则使用逗号对描述信息进行切分。对于第二类文本中的属性信息，可以使用换行符和句号进行句子切分。在通过上述方式对不同信息进行切分之后，将切分得到的所有句子进行组合，得到句子集合。

在一个具体的示例中，如果待挖掘文本的内容如上述表一所示，则经步骤S203切分之后得到的句子集合可如表二所示。

表二

需要说明的是，上述提及待挖掘文本中所包括的内容均比较贴合该网页所要表现的影视主题，故句子集合中的句子包含该网页影视主体的可能性较高，所以为了较为准确地提取到该网页的影视主体，在切分得到句子集合之后，还继续执行步骤S204，在句子集合中，提取所有句子的最长公共子句作为候选影视主体。下面具体结合图5对提取候选影视主体的过程进行具体介绍。

图5是根据本发明一个实施例的提取候选影视主体的方法流程图。具体包括步骤S2041至S2043。

S2041，在句子集合中，分别计算每个句子与标题信息的最长公共子句，得到第一子句集合。

通常，标题信息中包含影视主体的几率较大，所以计算每个句子与标题信息的最长公共子句的处理方式，能够获取与真正的影视主体更为接近的候选影视主体。

另外，本实施例中，为了更加快速、准确地获取到每个句子与标题信息的最长公共子句，可以采用LCS（Longest Common Subsequence，即最长公共子序列）算法进行获取，当然还可以采用其他算法，在此不在举例说明。

在得到第一子句集合之后，执行步骤S2042，在第一子句集合中，计算每两个子句的最长公共子句，得到第二子句集合。

可选地，与步骤S2041的处理方式相同，也可以采用LCS算法来获取每两个句子之间的最长公共子句。

在获取到第二子句集合之后，继续执行步骤S2043。在步骤S2043中，统计第二子句集合中每个句子的频度，取出频度最高的子句，在频度最高的子句中选择出长度最长的句子作为所有句子的最长公共子句，并将其作为候选影视主体。本实施例中，将候选影视主体出现的频度标记为max_itf(s_i)。

在一个具体的示例中，如果句子集合如上述表二所示，则经步骤S2041至S2043的处理后，最长公共子句的频度统计结果具体如表三所示。通过表三可以得知，最终获取的候选影视主体为“钢铁侠3”。

表三

子句	频度	是否为候选影视主体
			钢铁侠3	18	是
《钢铁侠3》	9	否
			《钢铁侠3》全集	1	否

本实施例通过步骤S2041至S2043对提取候选影视主体的过程进行了介绍。下面具体介绍本实施例所提供的方法中，根据候选影视主体确定该网页的影视主体的具体过程。其中，确定影视主体的过程主要通过如下步骤S205和S206来实现。

S205，根据预设提取规则在待挖掘文本中提取无意义子句，组成无意义子句集合。之后再通过步骤S206来使用无意义子句集合对候选影视主体进行清洗，得到该网页的影视主体。下面，先对步骤S205获取无意义子句集合的过程进行详细介绍。

在获取无意义子句集合时，首先根据预设提取规则，对待挖掘文本中的标题信息和关键字信息进行子句切分。在具体实现时，可以使用第二预设标点符号对待挖掘文本中的标题信息和关键字信息进行切分，可选地，本实施例中的第二预设标点可以为逗号或者破折号。

需要说明的是，上述切分后的子句中，可能会存在网页的影视主体，所以，为了较大程度上使得真正的网页影视主体不出现在无意义子句当中，本实施例在得到切分后的子句之后，还需对每个子句进行如下处理：判断该子句中是否包含候选影视主体，若该子句中包含的内容不仅为候选影视主体，则在候选影视主体的所在位置处将该子句进行切分，同时将候选影视主体进行去除，若该子句中仅包含候选影视主体或者不包含候选影视主体，则不对该子句进行切分处理。在对上述每个子句进行处理之后，得到处理后的每个子句。

之后，对处理后的每个子句进行句子频度统计，本实施例为了更加准确的统计处理后的每个子句的频度，还会对海量网页的内容进行收集，并在其中统计处理后的每个子句进行句子频度。其中，海量网页为预先设置的与影视相关的一定数量的网页。在统计句子频度之后，将所有频度大于预设值的处理后的子句组成无意义子句集合。

上述及了候选影视主体出现的频度为max_itf(s_i)，可选地，若本实施例中的预设值标记为tf(s)，则其应满足如下条件：

tf(s)＞max_itf(s_i)*0.001

在一个具体的示例中，如果待挖掘文本的内容还如上述表一所示，则由步骤S205获取的无意义子句集合具体如表四所示。

表四

上面结合具体实例介绍了步骤S205获取无意义子句集合的过程，下面接着介绍步骤S206的清洗操作。在使用无意义子句集合对候选影视主体进行清洗时，首先会判断候选影视主体是否存在与无意义子句集合中。其中，当候选影视主体不存在于无意义子句集合中时，与当候选影视主体存在于无意义子句集合中时的处理方式有所不同。下面分别介绍对该两种情况的具体处理方式。

情况一，候选影视主体不存在于无意义子句集合中。该情况说明了候选影视主体无需清洗，可直接将该候选影视主体作为该网页的影视主体。例如，上述表三所示的候选影视主体为“钢铁侠3”，通过对比可见，“钢铁侠3”并未出现在表四所示的无意义子句集合中，故无需对“钢铁侠3”进行清洗，可直接将“钢铁侠3”作为该网页的影视主体。

情况二，候选影视主体存在于无意义子句集合中。该情况说明了候选影视主体选取得并非准确，其中可能不包含该网页的影视主体，这时，需要重新获取一个新候选影视主体。可选地，本实施例可以通过如下方式获取新影视主体。

首先，根据预设提取规则，对网页头部信息中的标题信息进行切分，得到第三子句集合。本实施例中，标题信息中的内容最可能包含真正的影视主体，可以只对标题信息进行切分而不对其他信息进行切分。可选地，本实施例可以使用逗号或者破折号对网页头部信息中的标题信息进行切分。

在通过上述方式切分得到第三子句集合之后，接着在第三子句集合中选择出现在最左边，且未出现在上述无意义子句集合中的子句，将该子句作为新候选影视主体。本实施例之所以选择最左边出现的子句为新候选影视主体，原因是，通常情况下，网页的影视主体会在某段信息的前端出现，所以，最左边出现的子句包含影视主体的几率较大。

最后，再从新候选影视主体中去除出现在无意义子句集合中的部分，将未清洗掉的部分作为该网页的影视主体。

对于上述介绍的获取新影视主体的方式，本实施例还以如下实例进行举例说明。假设，待挖掘文本中的标题信息包括“正在播放《钢铁侠3》全集在线观看-百度影音电视剧-QVOD快播下载-2013最新电影-2013最新电视剧-热映影视”，无意义子句集合的内容包括“《，》，正在播放，QVOD快播下载，2013最新电影，2013最新电视剧，热映影视”，且候选影视主体为“正在播放”。

通过对比可见，候选影视主体“正在播放”出现在了无意义子句集合中，这说明该候选影视主体是错误的，需重新获取一个新候选影视主体。此时，会先对标题信息进行句子切分，切分之后的第三子句集合包括“正在播放，《钢铁侠3》，全集在线观看，百度影音电视剧，QVOD快播下载，2013最新电影，2013最新电视剧，热映影视”。其次，在第三子句集合中选择出现在最左边，且未出现在上述无意义子句集合中的子句，即“《钢铁侠3》”，并将“《钢铁侠3》”作为新候选影视主体。之后，将“《钢铁侠3》”中出现在无意义子句集合中的部分进行去除，即在“《钢铁侠3》”中去除“《，》”。最后，将剩余部分“钢铁侠3”作为该网页的影视主体。

综上所述，步骤S201至S206详细介绍了获取网页中影视主体的方法。通过该方法，能够在待获取影视主体的网页中提取待挖掘文本，并以对待挖掘文本进行切分的方式来获取网页的影视主体。可见，与现有技术相比，本实施例所提供的方法无需使用预先编写的包装器来分析网页结构，避免了现有技术中当存在大量需要解析的网站时，编写包装器的繁琐过程，降低了设备的处理压力，从而能够实现快速、准确地对大量的网站进行影视主体的提取。进一步本发明实施例还克服了当网页结构经常发生变化时，由于无法实时地检测出网页结构的变化，而造成解析失败的缺陷。

实施例三

图6是根据本发明一个实施例的一种获取网页中影视主体的装置框图。该装置600包括：

文本抽取器601，配置为在待挖掘影视主体的网页中抽取待挖掘文本；

切分器602，与上述文本抽取器601相耦合，配置为根据预设切分规则对待挖掘文本进行切分，得到句子集合；

主体提取器603，与上述切分器602相耦合，配置为在切分器602切分得到的句子集合中，提取所有句子的最长公共子句作为候选影视主体；

影视主体确定器604，与上述主体提取器603相耦合，配置为根据主体提取器603所获取的候选影视主体确定该网页的影视主体。

可选地，影视主体确定器604包括：

无意义子句提取单元6041，配置为根据预设提取规则在待挖掘文本中提取无意义子句，组成无意义子句集合；

过滤单元6042，配置为使用无意义子句集合对候选影视主体进行清洗，得到该网页的影视主体。

可选地，文本抽取器601包括：

处理单元6011，配置为对待挖掘影视主体的网页内容进行归一化处理；

抽取单元6012，配置为在归一化处理后的网页内容中，抽取预设类型的信息作为待挖掘文本。

可选地，处理单元6011配置为对下列至少之一的组合进行归一化处理：

将待挖掘影视主体的网页内容中的标点符号统一转换成英文标点符号；

将待挖掘影视主体的网页内容中的数字统一转换成阿拉伯数字；

将待挖掘影视主体的网页内容中的字体统一转换成简体字；

将待挖掘影视主体的网页内容中的英文字母统一转换成小写英文字母。

可选地，抽取单元6012配置为抽取下列至少之一的信息，作为待挖掘文本：

归一化处理后的网页内容头部信息中的标题信息、关键字信息和描述信息，该网页内容正文信息中的属性信息。

可选地，切分器602还配置为使用第一预设标点符号对待挖掘文本中的关键字信息、描述信息及属性信息进行句子切分，得到句子集合；

其中，第一预设标点符号包括下列中的至少一个：逗号、句号、换行符。

可选地，主体提取器603包括：

计算单元6031，配置为在句子集合中，分别计算每个句子与标题信息的最长公共子句，得到第一子句集合；以及

在第一子句集合中，计算每两个子句的最长公共子句，得到第二子句集合；

选取单元6032，配置为统计第二子句集合中每个句子的频度，取出频度最高的部分子句，在其中选择出长度最长的句子作为所有句子的最长公共子句，并将其作为候选影视主体。

可选地，无意义子句提取单元6041配置为按照如下方式获取无意义子句集合：

根据预设提取规则，对待挖掘文本中的标题信息和关键字信息进行子句切分；

收集海量网页内容，统计切分得到的每个子句的频度，并将频度大于预设值的子句组成无意义子句集合。

可选地，无意义子句提取单元6041还配置为按照如下方式执行切分操作：

在待挖掘文本中的标题信息和关键字信息中，将每两个第二预设标点符号之间的字符串作为一个子句，其中，第二预设标点符号包括逗号和/或破折号；

对于切分后得到的每个子句而言，

若该子句中包含候选影视主体，则在候选影视主体的所在位置处将该子句进行切分。

可选地，过滤单元6042还配置为：

判断候选影视主体是否存在于无意义子句集合中；

若候选影视主体不存在于无意义子句集合中，则确认该候选影视主体为该网页的影视主体；

若候选影视主体存在于无意义子句集合中，则根据预设提取规则，对网页头部信息中的标题信息进行切分；

在切分后的子句中选择最左边且未出现在无意义子句集合中的子句，作为新候选影视主体；

从新候选影视主体中清除出现在无意义子句集合中的部分，得到该网页的影视主体。

在此提供的算法和展示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的获取网页中影视主体的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (18)

1.一种获取网页中影视主体的方法，包括：

在待挖掘影视主体的网页中抽取待挖掘文本，并根据预设切分规则对所述待挖掘文本进行切分，得到句子集合；

在所述句子集合中，提取所有句子的最长公共子句作为候选影视主体；

根据所述候选影视主体确定该网页的影视主体；

其中，所述根据所述候选影视主体确定该网页的影视主体，包括：

根据预设提取规则在所述待挖掘文本中提取无意义子句，组成无意义子句集合；

使用所述无意义子句集合对所述候选影视主体进行清洗，得到该网页的影视主体。

2.根据权利要求1所述的方法，其中，所述在待挖掘影视主体的网页中抽取待挖掘文本，包括：

对所述待挖掘影视主体的网页内容进行归一化处理；

在归一化处理后的网页内容中，抽取预设类型的信息作为待挖掘文本。

3.根据权利要求2所述的方法，其中，对所述待挖掘影视主体的网页内容进行归一化处理，包括下列至少之一的组合：

将待挖掘影视主体的网页内容中的标点符号统一转换成英文标点符号；

将待挖掘影视主体的网页内容中的数字统一转换成阿拉伯数字；

将待挖掘影视主体的网页内容中的字体统一转换成简体字；

将待挖掘影视主体的网页内容中的英文字母统一转换成小写英文字母。

4.根据权利要求2所述的方法，其中，所述在归一化处理后的网页内容中，抽取预设类型的信息作为待挖掘文本，包括：

抽取下列至少之一的信息，作为所述待挖掘文本：

归一化处理后的网页内容头部信息中的标题信息、关键字信息和描述信息，该网页内容正文信息中的属性信息。

5.根据权利要求1至4任一项所述的方法，其中，所述根据预设切分规则对待挖掘文本进行切分，包括：

使用第一预设标点符号对所述待挖掘文本中的关键字信息、描述信息及属性信息进行句子切分，其中，所述第一预设标点符号包括下列中的至少一个：逗号、句号、换行符。

6.根据权利要求4所述的方法，其中，在所述句子集合中，提取所有句子的最长公共子句作为候选影视主体，包括：

在所述句子集合中，分别计算每个句子与所述标题信息的最长公共子句，得到第一子句集合；

在所述第一子句集合中，计算每两个子句的最长公共子句，得到第二子句集合；

统计所述第二子句集合中每个句子的频度，取出频度最高的部分子句，在其中选择出长度最长的句子作为所有句子的最长公共子句，并将其作为候选影视主体。

7.根据权利要求1所述的方法，其中，所述根据预设提取规则在待挖掘文本中提取无意义子句，组成无意义子句集合，包括：

根据预设提取规则，对所述待挖掘文本中的标题信息和关键字信息进行子句切分；

收集海量网页内容，统计切分得到的每个子句的频度，并将频度大于预设值的子句组成无意义子句集合。

8.根据权利要求7所述的方法，其中，所述根据预设提取规则，对待挖掘文本中的标题信息和关键字信息进行子句切分，包括：

在所述待挖掘文本中的标题信息和关键字信息中，将每两个第二预设标点符号之间的字符串作为一个子句，其中，所述第二预设标点符号包括逗号和/或破折号；

对于切分后得到的每个子句而言，

若该子句中包含所述候选影视主体，则在所述候选影视主体的所在位置处将该子句进行切分。

9.根据权利要求8所述的方法，其中，所述使用无意义子句集合对候选影视主体进行清洗，得到该网页的影视主体，包括：

若所述候选影视主体不存在于所述无意义子句集合中，则确认该候选影视主体为该网页的影视主体；

若所述候选影视主体存在于所述无意义子句集合中，则根据所述预设提取规则，对网页头部信息中的标题信息进行切分；

在切分后的子句中选择最左边且未出现在所述无意义子句集合中的子句，作为新候选影视主体；以及

从所述新候选影视主体中清除出现在所述无意义子句集合中的部分，得到该网页的影视主体。

10.一种获取网页中影视主体的装置，包括：

文本抽取器，配置为在待挖掘影视主体的网页中抽取待挖掘文本；

切分器，配置为根据预设切分规则对所述待挖掘文本进行切分，得到句子集合；

主体提取器，配置为在所述切分器切分得到的句子集合中，提取所有句子的最长公共子句作为候选影视主体；

影视主体确定器，配置为根据所述主体提取器所获取的候选影视主体确定该网页的影视主体；

其中，所述影视主体确定器包括：

无意义子句提取单元，配置为根据预设提取规则在所述待挖掘文本中提取无意义子句，组成无意义子句集合；

过滤单元，配置为使用所述无意义子句集合对所述候选影视主体进行清洗，得到该网页的影视主体。

11.根据权利要求10所述的装置，其中，所述文本抽取器包括：

处理单元，配置为对所述待挖掘影视主体的网页内容进行归一化处理；

抽取单元，配置为在归一化处理后的网页内容中，抽取预设类型的信息作为待挖掘文本。

12.根据权利要求11所述的装置，其中，所述处理单元配置为对下列至少之一的组合进行归一化处理：

将待挖掘影视主体的网页内容中的标点符号统一转换成英文标点符号；

将待挖掘影视主体的网页内容中的数字统一转换成阿拉伯数字；

将待挖掘影视主体的网页内容中的字体统一转换成简体字；

将待挖掘影视主体的网页内容中的英文字母统一转换成小写英文字母。

13.根据权利要求11所述的装置，其中，所述抽取单元配置为抽取下列至少之一的信息，作为所述待挖掘文本：

归一化处理后的网页内容头部信息中的标题信息、关键字信息和描述信息，该网页内容正文信息中的属性信息。

14.根据权利要求10至13任一项所述的装置，其中，所述切分器还配置为使用第一预设标点符号对所述待挖掘文本中的关键字信息、描述信息及属性信息进行句子切分，得到句子集合；

其中，第一预设标点符号包括下列中的至少一个：逗号、句号、换行符。

15.根据权利要求13所述的装置，其中，所述主体提取器包括：

计算单元，配置为在所述句子集合中，分别计算每个句子与所述标题信息的最长公共子句，得到第一子句集合；以及

在所述第一子句集合中，计算每两个子句的最长公共子句，得到第二子句集合；

选取单元，配置为统计所述第二子句集合中每个句子的频度，取出频度最高的部分子句，在其中选择出长度最长的句子作为所有句子的最长公共子句，并将其作为候选影视主体。

16.根据权利要求10所述的装置，其中，所述无意义子句提取单元配置为按照如下方式获取无意义子句集合：

根据预设提取规则，对所述待挖掘文本中的标题信息和关键字信息进行子句切分；

收集海量网页内容，统计切分得到的每个子句的频度，并将频度大于预设值的子句组成无意义子句集合。

17.根据权利要求16所述的装置，其中，所述无意义子句提取单元还配置为按照如下方式执行切分操作：

在所述待挖掘文本中的标题信息和关键字信息中，将每两个第二预设标点符号之间的字符串作为一个子句，其中，所述第二预设标点符号包括逗号和/或破折号；

对于切分后得到的每个子句而言，

若该子句中包含所述候选影视主体，则在所述候选影视主体的所在位置处将该子句进行切分。

18.根据权利要求17所述的装置，其中，所述过滤单元还配置为：

判断所述候选影视主体是否存在于无意义子句集合中；

若所述候选影视主体不存在于所述无意义子句集合中，则确认该候选影视主体为该网页的影视主体；

若所述候选影视主体存在于所述无意义子句集合中，则根据所述预设提取规则，对网页头部信息中的标题信息进行切分；

在切分后的子句中选择最左边且未出现在所述无意义子句集合中的子句，作为新候选影视主体；

从所述新候选影视主体中清除出现在所述无意义子句集合中的部分，得到该网页的影视主体。