CN104156452A

CN104156452A - 一种网页文本摘要生成方法和装置

Info

Publication number: CN104156452A
Application number: CN201410405758.3A
Authority: CN
Inventors: 杨树强; 薛竹君; 尹洪; 陈志坤; 金松昌; 宋锡宁; 束阳雪; 黄鸿杰; 蒋千月; 韩伟红; 周斌; 李爱平
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2014-08-18
Filing date: 2014-08-18
Publication date: 2014-11-19

Abstract

本申请实施例提供了一种网页文本摘要生成方法和装置，所述方法包括：确定网页文本中的关键词条；根据所述网页文本中每一词条的出现频率，计算所述网页文本中每一词条的初始权重；当所述网页文本中的任一词条为关键词条时，增大所述关键词条的初始权重，得到所述关键词条的目标权重；当所述网页文本中的任一词条为非关键词条时，将所述非关键词条的初始权重作为所述非关键词条的目标权重；利用所述网页文本中每一词条的目标权重，计算得到每一句子的句子权重；根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要。本申请实施例提高了网页文本摘要的准确度。

Description

一种网页文本摘要生成方法和装置

技术领域

本申请涉及信息处理技术领域，更具体的说是涉及一种网页文本摘要生成方法和装置。

背景技术

网页文本摘要是能够反映网页文本中心内容的简洁连贯的短文，在网络信息传输中，通过网页文本摘要可以实现信息快速浏览，减少网络搜索时间等优点，因此网页文本摘要的自动生成是网络信息传输过程中的重要技术。

现有技术中，一种网页文本摘要的生成方法主要利用出现频率等统计信息，确定出能够代表网页文本主题的句子作为摘要句，由摘要句组成网页文本摘要。

但是现有的这种方式，仅利用出现频率等统计信息得到的摘要句，并不能准确反映网页文本主题。

发明内容

有鉴于此，本申请提供了一种网页文本摘要生成方法和装置，用以提高网页文本摘要的准确度。

为实现上述目的，本申请提供如下技术方案：

一种网页文本摘要生成方法，包括：

确定网页文本中的关键词条；

根据所述网页文本中每一词条的出现频率，计算所述网页文本中每一词条的初始权重；

当所述网页文本中的任一词条为关键词条时，增大所述关键词条的初始权重，得到所述关键词条的目标权重；

当所述网页文本中的任一词条为非关键词条时，将所述非关键词条的初始权重作为所述非关键词条的目标权重；

利用所述网页文本中每一词条的目标权重，计算得到每一句子的句子权重；

根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要。

优选地，所述确定所述网页文本中的关键词条包括：

至少确定所述网页文本中标题中的词条、小标题中的词条、超链接中的词条、标签中的词条和/或出现频率大于预设值的词条作为关键词条。

优选地，当所述网页文本中的任一词条为关键词条时，增大所述关键词条的初始权重，得到所述关键词条的目标权重包括：

当所述网页文本中的任一词条为关键词条时，将所述关键词条的类型对应的权重比例因子与所述关键词条的初始权重相乘，得到所述关键词条的目标权重，所述关键词条的权重比例因子为大于1的自然数。

优选地，所述根据所述网页文本中每一词条的出现频率，计算所述网页文本中每一词条的初始权重包括：

根据所述网页文本中每一词条的出现频率，按照第一权重计算公式，计算所述述网页文本中每一词条的初始权重；

所述第一权重计算公式为：

w_{t_{k}} = \frac{{tf}_{k} \times \log_{2} (N / n_{k} + 0.01)}{\sqrt{Σ_{k = 1}^{n} {({tf}_{k})}^{2} \times {[\log_{2} (N / n_{k} + 0.01)]}^{2}}};

其中，表示词条t_k的初始权重，k＝1、2、……n，n为网页文本中的词条数量；tf_k表示词条t_k的在网页文本中的出现次数；N为网页文本中的段落数目；n_k表示存在词条t_k的段落数量；N/n_k表示词条t_k的段落密度；

则当所述网页文本中的任一词条为关键词条时，增大所述关键词条的初始权重，得到所述关键词条的目标权重包括：

当所述网页文本中的任一词条为关键词条时，按照第二权重计算公式，得到所述关键词条的目标权重；

所述第二权重计算公式为：

{w_{t_{k}}}^{'} = β * w_{t_{k}};

其中，β表示关键词条的权重比例因子，表示词条t_k的初始权重；

则所述利用所述网页文本中每一词条的目标权重，计算得到每一句子的句子权重包括：

利用所述网页文本中每一词条的目标权重，按照第三权重计算公式，得到每一句子的句子权重；

所述第三权重计算公式为：

w_{s (i)} = α Σ_{k = 1}^{Len (s (i))} w_{t_{k}} + (1 - α) Σ_{k = 1}^{4} f_{k};

其中，s(i)为网页文本中的第i个句子；w_s(i)表示s(i)的权重；表示词条t_k的初始权重；Len(s(i))为句子s(i)中的词条数量；α为结构比例因子；

f₁表示句子s(i)中具有特殊格式的词条的数量；

f₂表示句子s(i)中的书签词语和超链接词语的总数量；

f₃表示句子s(i)位于网页文本的段落的段首时取值为1，位于网页文本中段落的段尾时取值为0；

f₄表示句子s(i)包括指示性词语时取值为1，否则取值为0。

优选地，所述根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要包括：

按照句子权重从大到小的顺序，选择预设数量的句子作为摘要句子；

计算任意两个摘要句子之间的相似度；

将相似度大于预设值的任意两个摘要句子中的其中一个冗余句子删除；

由删除冗余句子之后的摘要句子生成网页文本摘要。

优选地，计算任意两个摘要句子之间的相似度包括：

按照相似度计算公式，计算任意两个摘要句子之间的相似度；

所述相似度计算公式为：

d_{s} (s_{i}, s_{j}) = \sqrt{Σ_{k = 1}^{m} {(d (i_{k}))}^{2}};

d (i_{k}) = \min (d (i_{k}, Σ_{1}^{m} j_{l}));

s_i和s_j表示任意的两个摘要句子；d_s(s_i,s_j)表示s_i和s_j的相似度；i_k表示句子s_i中的词条，j_l为s_j中的词条；表示词条i_k与句子s_j的中每一词条之间的词义距离，词义距离表示词义相似度；d(i_k)表示si中词条i_k与句子j_l的词义距离。

一种网页文本摘要生成装置，包括：

关键词条确定模块，用于确定所述网页文本中的关键词条；

第一权重确定模块，用于根据所述网页文本中每一词条的出现频率，计算所述网页文本中每一词条的初始权重；

第二权重确定模块，用于当所述网页文本中的任一词条为关键词条时，增大所述关键词条的初始权重，得到所述关键词条的目标权重；当所述网页文本中的任一词条为非关键词条时，将所述非关键词条的初始权重作为所述非关键词条的目标权重；

句子权重确定模块，用于利用所述网页文本中每一词条的目标权重，计算得到每一句子的句子权重；

摘要生成模块，用于根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要。

优选地，所述第一权重计算模块包括：

第一权重计算单元，用于根据所述网页文本中每一词条的出现频率，按照第一权重计算公式，计算所述述网页文本中每一词条的初始权重；

所述第一权重计算公式为：

w_{t_{k}} = \frac{{tf}_{k} \times \log_{2} (N / n_{k} + 0.01)}{\sqrt{Σ_{k = 1}^{n} {({tf}_{k})}^{2} \times {[\log_{2} (N / n_{k} + 0.01)]}^{2}}};

所述第二权重计算模块包括：

第二权重计算单元，用于当所述网页文本中的任一词条为关键词条时，按照第二权重计算公式，得到所述关键词条的目标权重；

所述第二权重计算公式为：

{w_{t_{k}}}^{'} = β * w_{t_{k}};

第三权重计算单元，用于当所述网页文本中的任一词条为非关键词条时，将所述非关键词条的初始权重作为所述非关键词条的目标权重；

所述句子权重计算模块包括：

句子权重计算单元，用于利用所述网页文本中每一词条的目标权重，按照第三权重计算公式，得到每一句子的句子权重；

所述第三权重计算公式为：

w_{s (i)} = α Σ_{k = 1}^{Len (s (i))} w_{t_{k}} + (1 - α) Σ_{k = 1}^{4} f_{k};

f₁表示句子s(i)中具有特殊格式的词条的数量；

f₂表示句子s(i)中的书签词语和超链接词语的总数量；

f₄表示句子s(i)包括指示性词语时取值为1，否则取值为0。

优选地，所述摘要生成模块包括：

选择单元，用于按照句子权重从大到小的顺序，选择预设数量的句子作为摘要句子；

相似度确定单元，用于计算任意两个摘要句子之间的相似度；

冗余消除单元，用于将相似度大于预设值的任意两个摘要句子中的其中一个冗余句子删除；

摘要生成单元，用于由删除冗余句子之后的摘要句子生成网页文本摘要。

优选地，所述相似度确定单元具体用于按照相似度计算公式，计算任意两个摘要句子之间的相似度；

所述相似度计算公式为：

d_{s} (s_{i}, s_{j}) = \sqrt{Σ_{k = 1}^{m} {(d (i_{k}))}^{2}};

d (i_{k}) = \min (d (i_{k}, Σ_{1}^{m} j_{l}));

经由上述的技术方案可知，与现有技术相比，本申请提供了一种网页文本摘要生成方法和装置，通常确定网页文本中的关键词条，并在计算出网页文本每一词条的初始权重时，若词条为关键词条，则将初始权重增大，得到关键词条的目标权重，若词条为非关键词条，则初始权重即作为目标权重，由于关键词条是与网页文本的主题最接近的词条，因此关键词条的目标权重可以准确表示关键词条在网页文本中的重要程度，加强了关键词条的重要性，可以得到更准确的句子权重，能够提高最终得到的摘要句子的准确性，从而提高了网页文本摘要的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种网页文本摘要生成方法一个实施例的流程图；

图1a为本申请实施例提供的网页文本的结构层次示意图；

图2为本申请实施例提供的一种网页文本摘要生成方法另一个实施例的流程图；

图3为本申请实施例提供的一种网页文本摘要生成方法又一个实施例的流程图；

图4为本申请实施例提供的一种网页文本摘要生成方法一个实施例的结构示意图；

图5为本申请实施例提供的一种网页文本摘要生成方法另一个实施例的结构示意图；

图6为本申请实施例提供的一种网页文本摘要生成方法又一个实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，首先确定网页文本中的关键词条，并在计算出网页文本每一词条的初始权重时，若词条为关键词条，则将初始权重增大，得到关键词条的目标权重，若词条为非关键词条，则初始权重即作为目标权重，由于关键词条是与网页文本的主题最接近的词条，因此关键词条的目标权重可以准确表示关键词条在网页文本中的重要程度，加强了关键词条的重要性，可以得到更准确的句子权重，能够提高最终得到的摘要句子的准确性，从而提高了网页文本摘要的准确度。

图1为本申请实施例提供的一种网页文本摘要生成方法一个实施例的流程图，该方法可以包括以下几个步骤：

101：确定网页文本中的关键词条。

102：根据所述网页文本中每一词条的出现频率，计算所述网页文本中每一词条的初始权重。

103：当所述网页文本中的任一词条为关键词条时，增大所述关键词条的初始权重，得到所述关键词条的目标权重。

104：当所述网页文本中的任一词条为非关键词条时，将所述非关键词条的初始权重作为所述非关键词条的目标权重。

105：利用所述网页文本中每一词条的目标权重，计算得到每一句子的句子权重。

106：根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要。

权重表示词条在网页文本中的重要程度。

初始权重是利用词条在网页文本中的出现频率等统计信息计算得到的，在现有技术中，通常是根据每一词条的初始权重计算得到每一句子的句子权重，但是由于初始权重仅是利用词条在网页文本中的出现频率计算得到，因此初始权重并不能准确表示词条在网页文本中的重要程度，容易导致得到摘要句子冗余。因此本实施例中，首先确定出网页文本中的关键词条，关键词条是指网页文本中较为重要的、与网页文本的主题最接近的词条。

由于关键词条是与网页文本的主题最接近的词条，因此需要增大关键词条的初始权重，得到目标权重，使得目标权重可以准确表示关键词条在网页文本中的重要程度，能够提高最终得到的摘要句子的准确性，使得网页文本摘要更准确，且可以减少句子冗余。

其中，关键词条的确定可以有多种实现方式，且由于不同类型的网页文本具有不同的特征，因此网页文本中关键词条可以是：

网页文本中的标题中的词条、小标题中的词条、超链接中的词条、标签中的词条、和/或出现频率大于预设值的词条。

由于标题和小标题中的词条能够更加突出网页文本的主题内容以及整体框架，通过标题和小标题有助于理清网页文本中的语义结构层次，因此可以选择标题和/小标题中的词条作为关键词条。

通常，网页文本中重要或需要强调的内容，会采用超链接或标签、或者采用特殊格式，如加黑、斜体、特定颜色等进行标注，因此可以选择超链接、标签、和/或具有特殊格式的文字、段落中的词条作为关键词条。

具有特定内容或特定类型的网页文本，通常属于该特定内容或特定类型的专有名词在网页文本中的出现频率较高，因此可以将出现频率大于预设值的词条作为关键词条。

在本申请实施例的一个应用场景中，所述网页文本的类型可以为新闻，即网页文本具体指网页新闻。网页新闻即具有如下特点：

(1)网页新闻的标题更突出主题，首段是对整篇新闻概括性的论述。

(2)正文内容中含有小标题，小标题的识别有助于把握文章的主题和整体框架，每一个小标题后面的段落围绕该小标题展开，有助于理清文章的语义结构层次。

(3)语言简洁、规范，专有名词出现频率高。

(4)当新闻中有些内容重要或需要强调的时候，将用超链接或书签指向这些内容

(5)对一些重要的文字或段落用一些加黑<b></b>、斜体<i></i>、颜色<color＝””>、分级标题<h1></h1>等排版格式来展示。

因此，可以根据网页文本的类型，确定出网页文本的关键词条。

根据关键词条的确定依据，关键词条具有不同的类型，以网页新闻为例，可以将确定关键词条分为三类，该三类的关键词条可以按照如下方式确定：

第一类关键词：通常网页新闻的标题被视为提示主题的关键特征，且所有的网页新闻都包含头部内容，头部内容中最常用的标记符是title标签和meta标签。title标签以及head标签中包含网页文本的标题，标题被视为提示网页文本主题的关键特征，meta元数据主要包括关键字和摘要词。因此利用网页文本的HTML文档中的网页标识特征，将title标签、head标签和meta标签中的词作为第一类关键词条。

第二类关键词：网页新闻中的小标题将连续的自然段分割为若干个块，小标题即为所属块概括性的主旨短语或主旨句。小标题可以通过HTML标记中的各级子标题(<h1>，<h2>，…)提取。小标题中的词作为第二类关键词条，有助于把握文章的主题和整体框架，有助于理清文章的结构层次。

第三类关键词：为了使阅读简单易懂，新闻语言形式规范，描述事件的词语呈归一化，其同义词出现频率非常低，因此反复出现的名词往往具有重要的作用，我们把文章中出现频数最高的前N位名词可以作为第三类关键词条，N为大于等于1的整数，可以根据实际应用情况确定。

本申请实施例中，若词条为关键词条，则在该关键词条的初始权重基础上，需要增大所述初始权重，以得到关键词条的目标权重。若词条为非关键词条，则初始权重即作为目标权重。

目标权重能够更准确的表示词条在网页文本中的重要程度，提高了关键词条的重要性。使得在利用词条的目标权重计算句子权重时，可以得到更准确的句子权重，使得摘要句子能够更准确反映网页文本主题。

本申请实施例通过增大关键词条的权重，突出关键词条的重要性，进而提高了网页文本摘要的准确度。

初始权重的计算以及句子权重的计算可以有多种实现算法，在下面实施例中会进行介绍。

其中，句子权重的计算，可以按照下述公式实现：

w_{s (i)} = α Σ_{k = 1}^{Len (s (i))} w_{t_{k}} + (1 - α) Σ_{k = 1}^{4} f_{k};

其中，s(i)为网页文本中的第i个句子；w_s(i)表示s(i)的权重；表示词条t_k的初始权重；Len(s(i))为句子s(i)中的词条数量；α为结构比例因子。

f₁表示句子s(i)中具有特殊格式的词条的数量，其中，特殊格式包括特定字体、特定颜色、特定背景、下划线等格式。特定字体例如可以是黑体、斜体等，特定颜色例如蓝色、绿色等。

f₂表示句子s(i)中的书签(bookmark)词语和超链接(hypertext)词语的总数量。

f₃表示句子s(i)位于网页文本的段落的段首，取值为1，位于网页文本中段落的段尾，取值为0。

f₄表示句子s(i)包括指示性词语，取值为1，否则取值为0。其中，指示性词语包括短语“总之”，“综上所述”等具有概括性含义的词条。

该公式的具体描述可以参见下述实施例。

其中，根据句子权重选择摘要句子，可以是根据对网页文本摘要的句子数量的要求，按照句子权重从大到小的顺序，选择预设数量的句子作为摘要句子，也即选择句子权重较大的预设数量个句子作为摘要句子。

或者是，选择句子权重大于预设数值的句子作为摘要句子。

将获得的摘要句子，按照在网页文本中的出现顺序依次排列组合，即可以得到由摘要句子生成的网页文本摘要。

由于网页文本具有结构层次，如图1a所述，为网页文本的结构层次图，因此，在确定网页文本中的关键词时，可以将网页文本按照结构层次进行分割，依次得到网页的块、段落、句子以及词条等，从而能够更方便快速的得到关键词条。

由于网页文本是通过HTML标记提供了对文本摘要工作有利的一些辅助信息，包括：文档标题<Title>，各级子标题(<h1>，<h2>，…)，强调句<strong>，超链接等等。但是，网页文本中的信息除了正文内容外，还包括大量的噪声，这些噪声包括脚本、广告链接、导航链接、版权信息等等。而对于网页文本做自动摘要，需要的则是网页的正文信息，而其他的都是无用信息。

因此，需要将网页文本进行预处理，预处理可以包括：将无用信息过滤掉；去除停用词；同时，还可以包括对网页文本正文进行分词和词性标注，从而可以方便快速确定出关键词条。

因此，确定网元文本中的关键词条具体是确定预处理之后的网页文本中的关键词条。

计算所述网页文本中每一词条的初始权重具体是计算所述预处理之后的网页文本中每一词条的初始权重。

其中，增大关键词条的初始权重，得到关键词条的目标权重，具体可以是将关键词条的初始权重乘以权重比例因子，得到关键词条的目标权重，权重比例因子为大于1的自然数，

由于关键词条根据其获取来源，可以分为不同的类型，例如上文描述中的第一类关键词条、第二类关键词条以及第三类关键词条等，不同类型的关键词条可以对应不同的权重比例因子，因此在计算关键词条的目标权重时，是将所述关键词条的类型对应的权重比例因子，与所述关键词条的初始权重相乘，得到所述关键词条的目标权重。

非关键词条的目标权重即为初始权重，非关键词条对应的权重比例因子即为1。

关键词的权重比例因子可以根据实际应用情况确定，以网页文本为网页新闻为例，第一类关键词的权重比例因子可以为2，第二类关键词的权重比例因子可以为1.5，第三类关键词的权重比例因子可以为1.2。

图2为本申请实施例提供一种网页文本摘要生成方法一个实施例的流程图，该方法可以包括以下几个步骤：

201：确定所述网页文本中的关键词条。

具体的，可以至少确定所述网页文本中标题中的词条、小标题中的词条、超链接中的词条、标签中的词条和/或出现频率大于预设值的词条作为关键词条。

202：根据所述网页文本中每一词条的出现频率，按照第一权重计算公式，计算所述网页文本中每一词条的初始权重。

其中，该第一权重计算公式为：

w_{t_{k}} = \frac{{tf}_{k} \times \log_{2} (N / n_{k} + 0.01)}{\sqrt{Σ_{k = 1}^{n} {({tf}_{k})}^{2} \times {[\log_{2} (N / n_{k} + 0.01)]}^{2}}};

其中，表示词条t_k的初始权重，k＝1、2、……n，n为网页文本中的词条数量；tf_k表示词条t_k的在网页文本中的出现次数；N为网页文本中的段落数目；n_k表示存在词条t_k的段落数量；N/n_k表示词条t_k的段落密度。

203：当所述网页文本中的任一词条为关键词条时，按照第二权重计算公式，得到所述关键词条的目标权重。

其中，第二权重计算公式为：

{w_{t_{k}}}^{'} = β * w_{t_{k}};

其中，β表示关键词条的权重比例因子，表示词条t_k的初始权重。

204：当所述网页文本中的任一词条为非关键词条时，将所述非关键词条的初始权重作为所述非关键词条的目标权重。

205：利用所述网页文本中每一词条的目标权重，按照第三权重计算公式，得到每一句子的句子权重。

其中，第三权重计算公式为：

w_{s (i)} = α Σ_{k = 1}^{Len (s (i))} w_{t_{k}} + (1 - α) Σ_{k = 1}^{4} f_{k}

f₂表示句子s(i)中的书签词语和超链接词语的总数量。

其中，α为结构比例因子的确定可以采用预设数值，或者按照下述方式训练得到：

假设T为训练文本，S为训练文本T的摘要句子集合，t为训练文本中的句子，s为摘要句子集合S中的句子。

(1)初始α设为0.1，步长step为0.01；

(2)对训练文本中的每个句子t计算句子权重Wt，具体计算过程可以参见上述描述，并按照权重从大到小进行排序，选取前len(S)个句子，len(S)为摘要句子集合S中的句子数；

(3)若选出的句子存在句子则α＝α+step；

(4)返回步骤(2)继续执行，直至选出的句子t全部属于S，此时的α的取值即为最终的结构比例因子。

206：根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要。

为了使得网页文本摘要更加简洁，对于得到摘要句子，可以进一步进行优先。

因此，作为又一实施例，该步骤106的操作可以具体包括：

计算任意两个摘要句子之间的相似度；

由删除冗余句子之后的摘要句子生成网页文本摘要。

基于不同网页文本的类型，特别是网页新闻，为了起到强调作用，容易在文章中的不同位置用不同形式的句子重复网页文本的中心内容，这些句子很可能都会作为摘要句子，从而造成网页文本摘要的冗余。因此，可以通过计算句子之间相似度，将相似度较高的任意两个摘要句子中的其中一个冗余句子删除，以消除冗余。再由删除冗余句子之后的摘要句子生成网页文本摘要，可以进一步提高文本摘要的简洁度。

其中，计算任意两个摘要句子之间的相似度可以按照相似度计算公式得到。该相似度计算公式为：

d_{s} (s_{i}, s_{j}) = \sqrt{Σ_{k = 1}^{m} {(d (i_{k}))}^{2}};

d (i_{k}) = \min (d (i_{k}, Σ_{1}^{m} j_{l}));

s_i和s_j表示任意的两个摘要句子；d_s(s_i,s_j)表示s_i和s_j的相似度；i_k表示句子s_i中的词条，j_l为sj中的词条；表示词条i_k与句子s_j的中每一词条之间的词义距离，词义距离表示词义相似度；d(i_k)表示si中词条i_k与句子j_l的词义距离。

d_s(s_i,s_j)越大，表示句子s_i和s_j越接近，聚合度越高，形容冗余，因此将其中的一个冗余句子删除。再由删除冗余句子之后的摘要句子组成网页文本摘要，以提高网页文本摘要准确度的同时，提高网页文本摘要的简洁性。

图3为本申请实施例提供的一种网页文本摘要生成方法一个实施例的流程图，该方法可以包括以下几个步骤：

301：确定所述网页文本中的关键词条。

302：按照目标权重计算公式，计算所述网页文本中每一词条的目标权重。

其中，该目标权重计算公式：

w_{t_{k}} = λ * \frac{{tf}_{k} \times \log_{2} (N / n_{k} + 0.01)}{\sqrt{Σ_{k = 1}^{n} {({tf}_{k})}^{2} \times {[\log_{2} (N / n_{k} + 0.01)]}^{2}}}

其中，表示词条t_k的初始权重，k＝1、2、……n，n为网页文本中的词条数量；tf_k表示词条t_k的在网页文本中的出现次数；N为网页文本中的段落数目；n_k表示存在词条t_k的段落数量；N/n_k表示词条t_k的段落密度；当词条为非关键词条时，λ＝1；当词条为关键词条时，λ＞1，此时λ即为关键词条的权重比例因子β，根据关键词类型的不同取值不同。

303：利用所述网页文本中每一词条的目标权重，计算得到每一句子的句子权重。

304：根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要。

步骤303以及步骤304的操作可以参见图1或图2所对应的实施例中所述。在此不再赘述。

本实施例中，可以直接根据目标权重计算公式得到每一词条的目标权重，目标权重根据词条是否为关键词条，而权重比例因子不同，以能够提高关键词条的重要性，使得得到的网页文本摘要更准确。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

图4为本申请实施例提供的一种网页文本摘要生成装置一个实施例的结构示意图，所述装置可以包括：

关键词条确定模块401，用于确定所述网页文本中的关键词条。

第一权重确定模块402，用于根据所述网页文本中每一词条的出现频率，计算所述网页文本中每一词条的初始权重。

第二权重确定模块403，用于当所述网页文本中的任一词条为关键词条时，增大所述关键词条的初始权重，得到所述关键词条的目标权重；当所述网页文本中的任一词条为非关键词条时，将所述非关键词条的初始权重作为所述非关键词条的目标权重。

句子权重确定模块404，用于利用所述网页文本中每一词条的目标权重，计算得到每一句子的句子权重。

摘要生成模块405，用于根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要。

由于关键词条是与网页文本的主题最接近的词条，因此本实施例中通过增大关键词条的初始权重，得到目标权重，使得目标权重可以准确表示关键词条在网页文本中的重要程度，能够提高最终得到的摘要句子的准确性，使得网页文本摘要更准确，且可以减少句子冗余。

图5为本申请实施例提供的一种网页文本摘要生成装置另一个实施例的结构示意图，所述装置可以包括关键词条确定模块401、第一权重确定模块402、第二权重确定模块403、句子权重确定模块404以及摘要生成模块405，各个模块功能可以参见图4所对应实施例中所述，其中，在本实施例中：

所述第一权重计算模块402可以包括：

第一权重计算单元501，用于根据所述网页文本中每一词条的出现频率，按照第一权重计算公式，计算所述述网页文本中每一词条的初始权重；

所述第一权重计算公式为：

w_{t_{k}} = \frac{{tf}_{k} \times \log_{2} (N / n_{k} + 0.01)}{\sqrt{Σ_{k = 1}^{n} {({tf}_{k})}^{2} \times {[\log_{2} (N / n_{k} + 0.01)]}^{2}}};

所述第二权重计算模块403可以包括：

第二权重计算单元502，用于当所述网页文本中的任一词条为关键词条时，按照第二权重计算公式，得到所述关键词条的目标权重；

所述第二权重计算公式为：

{w_{t_{k}}}^{'} = β * w_{t_{k}};

第三权重计算单元503，用于当所述网页文本中的任一词条为非关键词条时，将所述非关键词条的初始权重作为所述非关键词条的目标权重。

所述句子权重计算模块404可以包括：

句子权重计算单元504，用于利用所述网页文本中每一词条的目标权重，按照第三权重计算公式，得到每一句子的句子权重；

所述第三权重计算公式为：

w_{s (i)} = α Σ_{k = 1}^{Len (s (i))} w_{t_{k}} + (1 - α) Σ_{k = 1}^{4} f_{k};

f₁表示句子s(i)中具有特殊格式的词条的数量；

f₂表示句子s(i)中的书签(bookmark)词语和超链接(hypertext)词语的总数量；

f₄表示句子s(i)包括指示性词语时取值为1，否则取值为0。

其中，α的确定可以参见方法实施例中所述，在此不再赘述。

其中，作为又一个实施例，该摘要生成模块405可以包括：

选择单元505，用于按照句子权重从大到小的顺序，选择预设数量的句子作为摘要句子；

相似度确定单元506，用于计算任意两个摘要句子之间的相似度；

冗余消除单元507，用于将相似度大于预设值的任意两个摘要句子中的其中一个冗余句子删除；

摘要生成单元508，用于由删除冗余句子之后的摘要句子生成网页文本摘要。

基于不同网页文本的类型，特别是网页新闻，为了起到强调作用，容易在文章中的不同位置用不同形式的句子重复网页文本的中心内容，这些句子很可能都会作为摘要句子句，从而造成文本摘要的冗余。因此，可以通过计算句子之间相似度，将相似度较高的任意两个摘要句子中的其中一个冗余句子删除，以消除冗余。再由删除冗余句子之后的摘要句子生成网页文本摘要，可以进一步提高文本摘要的简洁度。

其中，所述相似度确定单元可以具体用于按照相似度计算公式，计算任意两个摘要句子之间的相似度；

所述相似度计算公式为：

d_{s} (s_{i}, s_{j}) = \sqrt{Σ_{k = 1}^{m} {(d (i_{k}))}^{2}};

d (i_{k}) = \min (d (i_{k}, Σ_{1}^{m} j_{l}));

一词条之间的词义距离，词义距离表示词义相似度。d(i_k)表示si中词条i_k与句子j_l的词义距离。

图6为本申请实施例提供的一种网页文本摘要生成装置又一个实施例的结构示意图，所述装置可以包括：

关键词条确定模块601，用于确定所述网页文本中的关键词条。

目标权重计算模块602，用于按照目标权重计算公式，计算所述网页文本中每一词条的目标权重。

其中，该目标权重计算公式：

w_{t_{k}} = λ * \frac{{tf}_{k} \times \log_{2} (N / n_{k} + 0.01)}{\sqrt{Σ_{k = 1}^{n} {({tf}_{k})}^{2} \times {[\log_{2} (N / n_{k} + 0.01)]}^{2}}};

句子权重计算模块603，用于利用所述网页文本中每一词条的目标权重，计算得到每一句子的句子权重。

摘要生成模块604，用于根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种网页文本摘要生成方法，其特征在于，包括：

确定网页文本中的关键词条；

2.根据权利要求1所述的方法，其特征在于，所述确定所述网页文本中的关键词条包括：

3.根据权利要求1或2所述的方法，其特征在于，当所述网页文本中的任一词条为关键词条时，增大所述关键词条的初始权重，得到所述关键词条的目标权重包括：

4.根据权利要求1或2所述的方法，其特征在于，所述根据所述网页文本中每一词条的出现频率，计算所述网页文本中每一词条的初始权重包括：

所述第一权重计算公式为：

w_{t_{k}} = \frac{{tf}_{k} \times \log_{2} (N / n_{k} + 0.01)}{\sqrt{Σ_{k = 1}^{n} {({tf}_{k})}^{2} \times {[\log_{2} (N / n_{k} + 0.01)]}^{2}}};

所述第二权重计算公式为：

{w_{t_{k}}}^{'} = β * w_{t_{k}};

则所述利用所述网页文本中每一词条的目标权重，计算得到每一句子的；句子权重包括：

所述第三权重计算公式为：

w_{s (i)} = α Σ_{k = 1}^{Len (s (i))} w_{t_{k}} + (1 - α) Σ_{k = 1}^{4} f_{k};

f₁表示句子s(i)中具有特殊格式的词条的数量；

f₂表示句子s(i)中的书签词语和超链接词语的总数量；

f₄表示句子s(i)包括指示性词语时取值为1，否则取值为0。

5.根据权利要求1所述的方法，其特征在于，所述根据所述句子权重，选择摘要句子，并由所述摘要句子生成网页文本摘要包括：

计算任意两个摘要句子之间的相似度；

由删除冗余句子之后的摘要句子生成网页文本摘要。

6.根据权利要求5所述的方法，其特征在于，计算任意两个摘要句子之间的相似度包括：

所述相似度计算公式为：

d_{s} (s_{i}, s_{j}) = \sqrt{Σ_{k = 1}^{m} {(d (i_{k}))}^{2}};

d (i_{k}) = \min (d (i_{k}, Σ_{1}^{m} j_{l}));

7.一种网页文本摘要生成装置，其特征在于，包括：

关键词条确定模块，用于确定所述网页文本中的关键词条；

8.据权利要求7述的装置，其特征在于，所述第一权重计算模块包括：

所述第一权重计算公式为：

w_{t_{k}} = \frac{{tf}_{k} \times \log_{2} (N / n_{k} + 0.01)}{\sqrt{Σ_{k = 1}^{n} {({tf}_{k})}^{2} \times {[\log_{2} (N / n_{k} + 0.01)]}^{2}}};

所述第二权重计算模块包括：

所述第二权重计算公式为：

{w_{t_{k}}}^{'} = β * w_{t_{k}};

所述句子权重计算模块包括：

所述第三权重计算公式为：

w_{s (i)} = α Σ_{k = 1}^{Len (s (i))} w_{t_{k}} + (1 - α) Σ_{k = 1}^{4} f_{k};

f₁表示句子s(i)中具有特殊格式的词条的数量；

f₂表示句子s(i)中的书签词语和超链接词语的总数量；

f₄表示句子s(i)包括指示性词语时取值为1，否则取值为0。

9.根据权利要求7或8所述的装置，其特征在于，所述摘要生成模块包括：

10.根据权利要求9所述的装置，其特征在于，所述相似度确定单元具体用于按照相似度计算公式，计算任意两个摘要句子之间的相似度；

所述相似度计算公式为：

d_{s} (s_{i}, s_{j}) = \sqrt{Σ_{k = 1}^{m} {(d (i_{k}))}^{2}};

d (i_{k}) = \min (d (i_{k}, Σ_{1}^{m} j_{l}));