CN103246687B - 基于特征信息的Blog自动摘要方法 - Google Patents

基于特征信息的Blog自动摘要方法 Download PDF

Info

Publication number
CN103246687B
CN103246687B CN201210193883.3A CN201210193883A CN103246687B CN 103246687 B CN103246687 B CN 103246687B CN 201210193883 A CN201210193883 A CN 201210193883A CN 103246687 B CN103246687 B CN 103246687B
Authority
CN
China
Prior art keywords
sentence
information
sentences
abstract
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210193883.3A
Other languages
English (en)
Other versions
CN103246687A (zh
Inventor
赵朋朋
鲜学丰
陈明
刘全
崔志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201210193883.3A priority Critical patent/CN103246687B/zh
Publication of CN103246687A publication Critical patent/CN103246687A/zh
Application granted granted Critical
Publication of CN103246687B publication Critical patent/CN103246687B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明在于公开了一种基于特征信息的Blog自动摘要方法，其步骤包括：基于特征信息的语句得分；基于潜在语义的评论关注得分；摘要复选与合并；经过如上处理后，即为本发明最终所得到的摘要句集合；该方法在充分利用Blog特征信息的基础上，基于潜在语义相关性来融合评论中的关注点，生成对读者更为友好的摘要，同时通过摘要复选的方法平衡了主题覆盖与信息冗余；本发明利用潜在语义相关性解决了评论和正文间的同义噪音问题；本方法生成的摘要对读者更为友好，准确性更高。

Description

基于特征信息的Blog自动摘要方法
技术领域
本发明涉及自动摘要领域，尤其涉及一种基于特征信息的Blog自动摘要方法。
背景技术
随着Web2.0的兴起，Blog这种新的信息传播和交互方式不断流行，其影响力也在日益扩大，在即时性与多样性方面已经超过传统媒体，给现实世界带来了巨大影响，越来越受到网民和企业界的重视。
面对巨大的Blog用户规模所带来的海量Blog信息，读者如何去查找和阅读自己感兴趣的内容就变成了一个难题。在自动摘要研究中，一方面更为多样化的表达方式和更为复杂的段落结构给面向Blog的自动摘要带来了挑战，但另一方面，由于Blog本身比传统网页增加了标签、评论等额外信息，也提供了生成更为准确的自动摘要的可能。传统搜索引擎基于截取式的摘要提供，往往不能准确反映文章内容的大意，而一个好的摘要能够让用户在不浏览详细内容的情况下快速地了解文章的大意，并迅速判断有无必要继续深入阅读，在如今这个信息爆炸的时代，这无疑具有十分重要的意义。
发明内容
针对现有摘要方法所存在的问题和不足，本发明的目的是提供一种基于特征信息的Blog自动摘要方法，从而提高摘要的准确率和用户阅读的阅读体验。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
基于特征信息的Blog自动摘要方法，包括以下步骤：
步骤1)基于特征信息的语句得分，其包括词条特征信息得分和语句特征信息得分；
（a）词条特征信息得分
利用分词工具对待处理的博文进行分词和词性标注，过滤掉数词、量词、介词等对句意表达不大的词，将预处理后得到的词条集合记为
；
然后综合考虑博文词频、图的描述信息、标题和标签等因素对WS中的词条进行打分，词条的综合得分公式如下：
；
（b）语句特征信息得分
所述语句特征信息得分所考虑的特征包括位置信息、格式信息和提示词；
在综合考虑句子的特征以及其所包含的词条信息的基础上，可以利用公式计算句子的权重得分，公式如下：
；
步骤2）基于潜在语义的评论关注得分
（a）找出原文中的每个句子被哪些评论所关注以及关注的程度；
（b）根据每个句子所得到的评论关注程度和评论价值，来确定该句子被关注的权重得分;
步骤3）摘要复选与合并
（a）初次摘要生成
经过上述两步处理后，每条语句最终的得分由特征得分和评论关注得分两部分组成，可以记为，并计算权值；
在得到博文内每条语句的权值后，首先依据压缩比例和博文总的句子数量计算出所需抽取出的摘要句子数n，然后将博文内的句子按权值进行排名，取出排名前n位的句子，即为初次生成的摘要，记为FA；
（b）二次摘要的抽取
将第一次抽取出的摘要句还原到原文，然后把没有包含摘要句的自然段落提取出来，组成候选自然段落集合CPS:；
假定CPS中某个自然段落，其前面包含摘要句的最相邻自然段落内的摘要句集合为PAS，其后面包含摘要句的最相邻自然段落内的摘要句集合为NAS，分别计算和这两个集合的相似度；利用TF-IDF将PAS和量化成对应的向量、，直接以余弦相似度来衡量；
以同样的方式计算出NAS和的相似度；如果和中任意一个超过预先设定的阈值，则认为该段落是和其上下文表达的同一主题，并且已经通过上下文的摘要句得到表达，将其从CPS中移除；否则认为该段落是独立表达某个主题，需要从中抽取能够代表该主题的摘要句，即进行二次摘要抽取；
若某个候选自然段落需要进行二次摘要抽取，先根据其所包含句子数量和摘要的抽取比例确定所要抽取的摘要句数量。设r为抽取比例，为段落内的语句数，则抽取数量可表示为，即两者乘积后取下限值；因为这里需要抽取能够体现该段落主题的句子，故对于词频信息得分进行改进后重新给每个语句打分，改进后的词频打分公式如下：
其中为在该段落中出现的频率，PN为博文内的段落数目，为包含词条的段落数目；经过改进后，语句得分更能体现该段落的主题；然后将段落内的句子按得分排名，并取出前n位的句子，得到其对应段落的二次摘要句集合，记为；
对CPS中的所有自然段落都进行如上一系列处理，将得到的所有段落二次摘要句集合合并在一起，记为；其中有些段落摘要句集合对应的自然段落在原文中可能是连在一起的，并为表达同一主题服务。对于这些集合需要进行一次相似度计算，并将相似度超过阈值的集合进行合并；经过这样的处理后，得到最终的二次摘要句集合SA:；
（c）合并摘要句
记二次摘要句集合SA中子集合的数量为w，同时用表示对FA中删除语句的数量并初始化为0，则具体处理算法可描述如下：
1) 计算FA中句子和句子之间的两两相似度，构造摘要句之间的相似度矩阵,该矩阵为一对称矩阵，记为：
2) 扫描相似度矩阵，找到矩阵中最大的值：，其表示和为摘要句集合中最为相似的两句，保留权值较大的句子，将权值较小的句子从FA和矩阵中删除，同时删除句子数加1，即：；
3) 不断循环第二步，直到，即删除的句子数量满足大于等于；
4) 检查矩阵中相似度最大的值看其是否已经满足小于指定的相似度阈值,若没有则一直进行上述步骤直到满足此条件，否则终止，最终得到删除的句子数为()，以及删除后的初次摘要集合FA；
5) 从SA中选择句补充进FA。将SA中每个子集合中得分最高的一句加入FA，以保证每个主题都有代表句被选入最终的摘要中；对剩下的数量，则按SA内各子集合的摘要句数量比进行分配，并按得分高低从每个子集合取出对应数量的句子加入到FA中；
步骤4）经过如上处理后，FA即为本发明最终所得到的摘要句集合。
进一步，步骤1（a）中所述因素包括博文词频得分、图的描述信息、标题和标签；
所述博文词频得分：词频信息对于词条权重的贡献采用TF-IDF的方式来判定，计算方法如式： ；
所述图片的描述信息：把这些描述信息作为一种有价值的信息引入进来，对于在这些描述信息里出现过的词条会给定一个加权系数；
所述标题：标题信息往往是全文的概括，所以如果某个词条出现在标题里则意味着该词条具有很高的主题相关性，为其设定加权系数；
所述标签：如果某个词条出现在标签中，则应该具有一个较高的权重，设为；
对于以上的加权信息，取值分别为1.1，1.2，1.2，考虑以上的各个因素之后则词条的综合得分为：。
进一步，步骤1（b）中所述语句特征信息得分所考虑的特征包括位置信息、格式信息和提示词；
所述位置信息：位于段首或者段尾的句子通常会用来概括整段的内容，所以对于位置信息采用加权规则，设定加权系数；
所述格式信息：对于一些重要的信息，或者想提示给读者的信息，往往会被用特殊的字体，或者不同的颜色表示出来，这里设定加权系数；
所述提示词：在进行主题或者内容概括时，往往会用一些提示词来引出，对于包含这些词的句子，设定加权系数；
在综合考虑句子的特征以及其所包含的词条信息的基础上，可以利用公式计算句子的权重得分，公式如下：
其中，为该语句中包含的词条信息得分和，、、为相应的加权系数，这里位置信息权值设为1.1，格式信息权值设为1.2，提示词权值设为1.1，为句子的长度。
进一步的，步骤2的具体方法为，假定语句衍生出的评论集合为CS，则语句的评论关注得分可以用下式进行衡量，为相似度，为评论的价值得分；
接下来确定的值；
将博文和其对应的评论内容看成文档，并进行相应预处理，然后在分类后的每一子类中进行SVD（奇异值）分解，从而构造每个分类下潜在的词-文档语义空间；计算评论和句子相似度时，在对应的类别的语义空间中，首先将待处理的评论和句子根据词频信息表示成对应的评论向量和句子向量，接着将其在k维语义空间中映射成对应的语义向量；
经过映射处理后，对于某条评论和某个语句的相似度则可以用其语义余弦相似度来衡量，表示如下：
在上式中，和为语句与评论各自映射后的语义向量，k为语义空间的维数，和为各自语义向量中第t维的权值；确定的值，从而得到每个语句的评论关注得分；
进一步due，步骤3（a）中，所述的计算如下式，其中为权重参数用来调节两者对总得分的贡献比：
进一步的，步骤3（c）的第一步中，所述为SA中子集合的数量。
本实用新型有益效果是：
本发明在充分利用Blog特征信息的基础上，基于潜在语义相关性来融合评论中的关注点，生成对读者更为友好的摘要，同时通过摘要复选的方法平衡了主题覆盖与信息冗余；本发明利用潜在语义相关性解决了评论和正文间的同义噪音问题；本方法生成的摘要对读者更为友好，准确性更高。
附图说明
图1是本发明摘要抽取流程图；
图2是本发明的评论关注关系图。
具体实施方式
下面将参考附图并结合实施例，来详细说明本发明。
基于特征信息的Blog自动摘要方法，包括以下步骤：
一、基于特征信息的语句得分
1)词条特征信息得分
利用分词工具对待处理的博文进行分词和词性标注，过滤掉数词、量词、介词等对句意表达不大的词。将进行这些预处理后得到的词条集合记为。然后综合考虑下面一些因素对WS中的词条进行打分。
博文词频得分：词频信息对于词条权重的贡献采用TF-IDF的方式来判定，计算方法如式： 。
图片的描述信息：把这些描述信息作为一种有价值的信息引入进来。对于在这些描述信息里出现过的词条会给定一个加权系数。
标题：标题信息往往是全文的概括，所以如果某个词条出现在标题里则意味着该词条具有很高的主题相关性，为其设定加权系数。
标签：如果某个词条出现在标签中，则应该具有一个较高的权重，设为。
对于以上的加权信息，在一些参考文献的基础上结合实验分析，取值分别为1.1，1.2，1.2。考虑以上的各个因素之后则词条的综合得分为：。
2) 语句特征信息得分
位置信息：位于段首或者段尾的句子通常会用来概括整段的内容，所以本文对于位置信息采用加权规则，设定加权系数。
格式信息：对于一些重要的信息，或者想提示给读者的信息，往往会被用特殊的字体，或者不同的颜色表示出来，这里设定加权系数。
提示词：在进行主题或者内容概括时，往往会用一些提示词来引出，对于包含这些词的句子，设定加权系数。
在综合考虑句子的特征以及其所包含的词条信息的基础上，可以利用公式计算句子的权重得分，公式如下：
其中，为该语句中包含的词条信息得分和，、、为相应的加权系数，这里位置信息权值设为1.1，格式信息权值设为1.2，提示词权值设为1.1，为句子的长度。
二、基于潜在语义的评论关注得分
使用Blog评论可以有效提高信息抽取的准确率，同时由于评论体现的是读者对博文中内容的关注点，所以引入评论能够更好地发现读者感兴趣的主题，生成对读者更为友好的摘要。将评论的关注因素引进句子的权重得分计算，使得用来表达读者所关注的主题点的句子更有可能被抽取出来。
为了能够衡量这种关注权重得分需要进行两步处理：1)找出原文中的每个句子被哪些评论所关注以及关注的程度。2)根据每个句子所得到的评论关注程度和评论价值，来确定该句子被关注的权重得分。
假定语句衍生出的评论集合为CS，则语句的评论关注得分可以用下式进行衡量，为相似度，为评论的价值得分。
接下来则需要确定的值。由于评论是由不同的人所提交的，和博文内容之间往往存在着大量的同义噪音，利用词频向量进行相似度计算反映不了真实的相似度。另外由于信息量有限，利用词频信息生成的评论向量和博文语句向量中大部分的元素都为0，存在过于稀疏的问题。基于潜在语义分析(Latent Semantic Analysis，LSA)来计算评论和语句的相似度，可以很好地解决同义噪音问题。LSA将文档从稀疏的高维词汇空间映射到一个低维的向量空间，该向量空间通常被称为隐含语义空间(Latent SemanticSpace)。
本方法中，将博文和其对应的评论内容看成文档，并进行相应预处理，然后在分类后的每一子类中进行SVD分解，从而构造每个分类下潜在的词-文档语义空间。计算评论和句子相似度时，在对应的类别的语义空间中，首先将待处理的评论和句子根据词频信息表示成对应的评论向量和句子向量，接着将其在k维语义空间中映射成对应的语义向量。
经过映射处理后，对于某条评论和某个语句的相似度则可以用其语义余弦相似度来衡量，表示如下：
在上式中，和为语句与评论各自映射后的语义向量，k为语义空间的维数，和为各自语义向量中第t维的权值。至此我们可以确定的值，从而得到每个语句的评论关注得分。
三、摘要复选与合并
1）初次摘要生成
经过上述两步处理后，每条语句最终的得分由特征得分和评论关注得分两部分组成，可以记为，计算如下式，其中为权重参数用来调节两者对总得分的贡献比。
在得到博文内每条语句的权值后，首先依据压缩比例和博文总的句子数量计算出所需抽取出的摘要句子数n，然后将博文内的句子按权值进行排名，取出排名前n位的句子，即为初次生成的摘要，记为FA(First Abstract)。FA在语句本身的特征权重中同时融入了语句被读者关注的情况，所以其对读者更为友好。
2）二次摘要的抽取
将第一次抽取出的摘要句还原到原文，然后把没有包含摘要句的自然段落提取出来，组成候选自然段落集合CPS:。
假定CPS中某个自然段落，其前面包含摘要句的最相邻自然段落内的摘要句集合为PAS，其后面包含摘要句的最相邻自然段落内的摘要句集合为NAS，分别计算和这两个集合的相似度。利用TF-IDF将PAS和量化成对应的向量、，由于这里不存在计算评论相似度时所存在的问题，直接以余弦相似度来衡量。
以同样的方式计算出NAS和的相似度。如果和中任意一个超过预先设定的阈值，则认为该段落是和其上下文表达的同一主题，并且已经通过上下文的摘要句得到表达，将其从CPS中移除。否则认为该段落是独立表达某个主题，需要从中抽取能够代表该主题的摘要句，即进行二次摘要抽取。
若某个候选自然段落需要进行二次摘要抽取，先根据其所包含句子数量和摘要的抽取比例确定所要抽取的摘要句数量。设r为抽取比例，为段落内的语句数，则抽取数量可表示为，即两者乘积后取下限值。因为这里需要抽取能够体现该段落主题的句子，故对于词频信息得分进行改进后重新给每个语句打分，改进后的词频打分公式如下：
其中为在该段落中出现的频率，PN为博文内的段落数目，为包含词条的段落数目。经过改进后，语句得分更能体现该段落的主题。然后将段落内的句子按得分排名，并取出前n位的句子，得到其对应段落的二次摘要句集合，记为。
对CPS中的所有自然段落都进行如上一系列处理，将得到的所有段落二次摘要句集合合并在一起，记为。其中有些段落摘要句集合对应的自然段落在原文中可能是连在一起的，并为表达同一主题服务。对于这些集合需要进行一次相似度计算，并将相似度超过阈值的集合进行合并。经过这样的处理后，得到最终的二次摘要句集合SA(secondabstract):。
3）合并摘要句
第一次的摘要抽取，其保证了大主题的充分体现，但却可能抽取了过多体现同一大主题的类似句子，带来了信息冗余，同时忽略了一些次要主题。第二次的摘要抽取，从那些没有摘要句被选出的自然段落出发，寻找出可能被忽略了的次要主题。本方法通过合并两次抽取出来的摘要来平衡大主题的信息冗余和次要主题的覆盖率。
记二次摘要句集合SA中子集合的数量为w，同时用表示对FA中删除语句的数量并初始化为0，则具体处理算法可描述如下：
1) 计算FA中句子和句子之间的两两相似度，构造摘要句之间的相似度矩阵,该矩阵为一对称矩阵，记为：
2) 扫描相似度矩阵，找到矩阵中最大的值：，其表示和为摘要句集合中最为相似的两句，保留权值较大的句子，将权值较小的句子从FA和矩阵中删除，同时删除句子数加1，即：。
3) 不断循环第二步，直到，即删除的句子数量满足大于等于(为SA中子集合的数量)。
4) 检查矩阵中相似度最大的值看其是否已经满足小于指定的相似度阈值,若没有则一直进行上述步骤直到满足此条件，否则终止。最终得到删除的句子数为()，以及删除后的初次摘要集合FA。
5) 从SA中选择句补充进FA。将SA中每个子集合中得分最高的一句加入FA，以保证每个主题都有代表句被选入最终的摘要中。对剩下的数量，则按SA内各子集合的摘要句数量比进行分配，并按得分高低从每个子集合取出对应数量的句子加入到FA中。
经过如上处理后，FA即为本发明最终所得到的摘要句集合。
上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所作出的等效的变化或修饰，都应涵盖在本发明的保护范围内。

Claims (1)

1.基于特征信息的Blog自动摘要方法，其特征在于，包括以下步骤：
步骤1)基于特征信息的语句得分，其包括词条特征信息得分和语句特征信息得分；
（a）词条特征信息得分
利用分词工具对待处理的博文进行分词和词性标注，过滤掉数词、量词、介词，将预处理后得到的词条集合记为
；
然后综合考虑博文词频、图的描述信息、标题和标签因素对WS中的词条进行打分，词条的综合得分公式如下：
；
（b）语句特征信息得分
所述语句特征信息得分所考虑的特征包括位置信息、格式信息和提示词；
在综合考虑句子的特征以及其所包含的词条信息的基础上，利用公式计算句子的权重得分，公式如下：
；
步骤2）基于潜在语义的评论关注得分
（a）找出原文中的每个句子被哪些评论所关注以及关注的程度；
（b）根据每个句子所得到的评论关注程度和评论价值，来确定该句子被关注的权重得分;
步骤3）摘要复选与合并
（a）初次摘要生成
经过上述两步处理后，每条语句最终的得分由特征得分和评论关注得分两部分组成，记为，并计算权值；
在得到博文内每条语句的权值后，首先依据压缩比例和博文总的句子数量计算出所需抽取出的摘要句子数n，然后将博文内的句子按权值进行排名，取出排名前n位的句子，即为初次生成的摘要，记为FA；
（b）二次摘要的抽取
把没有包含摘要句的自然段落提取出来，组成候选自然段落集合CPS:；
假定CPS中某个自然段落，其前面包含摘要句的最相邻自然段落内的摘要句集合为PAS，其后面包含摘要句的最相邻自然段落内的摘要句集合为NAS，分别计算和这两个集合的相似度，直接以余弦相似度来衡量；
和为利用TF-IDF将PAS和量化后对应的向量；
以同样的方式计算出NAS和的相似度；如果和中任意一个超过预先设定的阈值，则认为已经通过上下文的摘要句得到表达，将其从CPS中移除；否则认为该段落是独立表达某个主题，需要进行二次摘要抽取；
若某个候选自然段落需要进行二次摘要抽取，设r为抽取比例，为段落内的语句数，则抽取数量可表示为；因为这里需要抽取能够体现该段落主题的句子，故对于词频信息得分进行改进后重新给每个语句打分：
其中为在该段落中出现的频率，PN为博文内的段落数目，为包含词条的段落数目；将段落内的句子按得分排名，并取出前n位的句子，得到其对应段落的二次摘要句集合，记为；
对CPS中的所有自然段落都进行如上一系列处理，将得到的所有段落的二次摘要句集合合并在一起，记为；将在原文中连在一起的，并为表达同一主题服务的段落进行合并处理，得到最终的二次摘要句集合SA:；
（c）合并摘要句
记二次摘要句集合SA中子集合的数量为w，同时用表示对FA中删除语句的数量并初始化为0，则具体处理算法可描述如下：
1) 计算FA中句子和句子之间的两两相似度，构造摘要句之间的相似度矩阵,该矩阵为一对称矩阵，记为：
2) 扫描相似度矩阵，找到矩阵中最大的值：，其表示和为摘要句集合中最为相似的两句，保留权值较大的句子，将权值较小的句子从FA和矩阵中删除，同时删除句子数加1，即：；
3) 不断循环第二步，直到，即删除的句子数量满足大于等于；
4) 检查矩阵中相似度最大的值看其是否已经满足小于指定的相似度阈值,若没有则一直进行上述步骤直到满足此条件，否则终止，最终得到删除的句子数为()，以及删除后的初次摘要集合FA；
5) 从SA中选择句补充进FA,将SA中每个子集合中得分最高的一句加入FA，以保证每个主题都有代表句被选入最终的摘要中；对剩下的数量，则按SA内各子集合的摘要句数量比进行分配，并按得分高低从每个子集合取出对应数量的句子加入到FA中；
步骤4）经过如上处理后，FA即为本发明最终所得到的摘要句集合；
所述的基于特征信息的Blog自动摘要方法，步骤2的具体方法为，假定语句衍生出的评论集合为CS，则语句的评论关注得分用下式进行衡量，为相似度，为评论的价值得分；
接下来确定的值；
将博文和其对应的评论内容看成文档，并进行相应预处理，然后在分类后的每一子类中进行SVD分解，从而构造每个分类下潜在的词-文档语义空间；计算评论和句子相似度时，在对应的类别的语义空间中，首先将待处理的评论和句子根据词频信息表示成对应的评论向量和句子向量，接着将其在k维语义空间中映射成对应的语义向量；
经过映射处理后，对于某条评论和某个语句的相似度则用其语义余弦相似度来衡量，表示如下：
在上式中，和为语句与评论各自映射后的语义向量，k为语义空间的维数，和为各自语义向量中第t维的权值；确定的值，从而得到每个语句的评论关注得分；
步骤1（a）中所述因素包括博文词频得分、图的描述信息、标题和标签；
所述博文词频得分：词频信息对于词条权重的贡献采用TF-IDF的方式来判定，计算方法如式： ；
所述图片的描述信息：把这些描述信息作为一种有价值的信息引入进来，对于在这些描述信息里出现过的词条会给定一个加权系数；
所述标题：标题信息往往是全文的概括，所以如果某个词条出现在标题里则意味着该词条具有很高的主题相关性，为其设定加权系数；
所述标签：如果某个词条出现在标签中，则应该具有一个较高的权重，设为；
对于以上的加权信息，取值分别为1.1，1.2，1.2，考虑以上的各个因素之后则词条的综合得分为：；
步骤1（b）中所述语句特征信息得分所考虑的特征包括位置信息、格式信息和提示词；
所述位置信息：位于段首或者段尾的句子通常会用来概括整段的内容，所以对于位置信息采用加权规则，设定加权系数；
所述格式信息：对于一些重要的信息，或者想提示给读者的信息，往往会被用特殊的字体，或者不同的颜色表示出来，这里设定加权系数；
所述提示词：在进行主题或者内容概括时，往往会用一些提示词来引出，对于包含这些词的句子，设定加权系数；
在综合考虑句子的特征以及其所包含的词条信息的基础上，利用公式计算句子的权重得分，公式如下：
其中，为该语句中包含的词条信息得分和，、、为相应的加权系数，这里位置信息权值设为1.1，格式信息权值设为1.2，提示词权值设为1.1，为句子的长度；
步骤3（a）中，所述的计算如下式，其中为权重参数用来调节两者对总得分的贡献比：
。
CN201210193883.3A 2012-06-13 2012-06-13 基于特征信息的Blog自动摘要方法 Expired - Fee Related CN103246687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210193883.3A CN103246687B (zh) 2012-06-13 2012-06-13 基于特征信息的Blog自动摘要方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210193883.3A CN103246687B (zh) 2012-06-13 2012-06-13 基于特征信息的Blog自动摘要方法

Publications (2)

Publication Number Publication Date
CN103246687A CN103246687A (zh) 2013-08-14
CN103246687B true CN103246687B (zh) 2016-08-17

Family

ID=48926211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210193883.3A Expired - Fee Related CN103246687B (zh) 2012-06-13 2012-06-13 基于特征信息的Blog自动摘要方法

Country Status (1)

Country Link
CN (1) CN103246687B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461477A (zh) 2013-09-13 2015-03-25 腾讯科技（北京）有限公司 网络评论信息的添加方法、系统和相应装置
CN104156452A (zh) * 2014-08-18 2014-11-19 中国人民解放军国防科学技术大学 一种网页文本摘要生成方法和装置
CN104503958B (zh) * 2014-11-19 2017-09-26 百度在线网络技术（北京）有限公司 文档摘要的生成方法及装置
CN105868175A (zh) * 2015-12-03 2016-08-17 乐视网信息技术（北京）股份有限公司 摘要生成方法及装置
CN107273474A (zh) * 2017-06-08 2017-10-20 成都数联铭品科技有限公司 基于潜在语义分析的自动摘要抽取方法及系统
CN108108447B (zh) * 2017-12-27 2020-12-08 掌阅科技股份有限公司 电子缩略书生成方法、电子设备及计算机存储介质
CN108197103B (zh) * 2017-12-27 2019-05-17 掌阅科技股份有限公司 电子缩略书生成方法、电子设备及计算机存储介质
CN108052686B (zh) * 2018-01-26 2022-02-11 腾讯科技（深圳）有限公司 一种摘要提取方法及相关设备
CN108417206A (zh) * 2018-02-27 2018-08-17 四川云淞源科技有限公司 基于大数据的信息高速处理方法
CN111651589B (zh) * 2020-08-10 2020-10-30 中南民族大学 一种针对长文档的两阶段文本摘要生成方法
CN112364225B (zh) * 2020-09-30 2021-11-23 昆明理工大学 一种结合用户评论的司法舆情文本摘要方法
CN113673215B (zh) * 2021-07-13 2024-08-13 北京搜狗科技发展有限公司 文本的摘要生成方法、装置、电子设备及可读介质
CN114925920B (zh) * 2022-05-25 2024-05-03 中国平安财产保险股份有限公司 离线位置预测方法、装置、电子设备及存储介质
CN114741499B (zh) * 2022-06-08 2022-09-06 杭州费尔斯通科技有限公司 一种基于句子语义模型的文本摘要生成方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667194A (zh) * 2009-09-29 2010-03-10 北京大学 基于用户评论文本特征的自动摘要方法及其自动摘要系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024308B2 (en) * 2006-08-07 2011-09-20 Chacha Search, Inc Electronic previous search results log

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667194A (zh) * 2009-09-29 2010-03-10 北京大学 基于用户评论文本特征的自动摘要方法及其自动摘要系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于特征信息的Blog自动文摘研究;陈明等;《计算机应用研究》;20111031;第28卷(第10期);3760-3763页 *

Also Published As

Publication number Publication date
CN103246687A (zh) 2013-08-14

Similar Documents

Publication Publication Date Title
CN103246687B (zh) 基于特征信息的Blog自动摘要方法
WO2021068339A1 (zh) 文本分类方法、装置及计算机可读存储介质
Bermingham et al. Classifying sentiment in microblogs: is brevity an advantage?
TWI536181B (zh) 在多語文本中的語言識別
Nagwani et al. A frequent term and semantic similarity based single document text summarization algorithm
JP6335898B2 (ja) 製品認識に基づく情報分類
US20190303375A1 (en) Relevant passage retrieval system
CN105975459B (zh) 一种词项的权重标注方法和装置
CN110134792B (zh) 文本识别方法、装置、电子设备以及存储介质
CN113569050B (zh) 基于深度学习的政务领域知识图谱自动化构建方法和装置
Yüksel et al. Turkish tweet classification with transformer encoder
CN109446313B (zh) 一种基于自然语言分析的排序系统及方法
CN112364624B (zh) 基于深度学习语言模型融合语义特征的关键词提取方法
Man Feature extension for short text categorization using frequent term sets
CN108228612B (zh) 一种提取网络事件关键词以及情绪倾向的方法及装置
CN109753646B (zh) 一种文章属性识别方法以及电子设备
Kusumaningrum et al. WCLOUDVIZ: Word cloud visualization of Indonesian news articles classification based on Latent dirichlet allocation
CN113591476A (zh) 一种基于机器学习的数据标签推荐方法
JP2014021757A (ja) コンテンツ評価値予測装置、方法、及びプログラム
Riahi et al. Implicit emotion detection from text with information fusion
Sudiro et al. Aspect Based Sentiment Analysis with Combination Feature Extraction LDA and Word2vec
Swamy et al. Nit-agartala-nlp-team at semeval-2020 task 8: Building multimodal classifiers to tackle internet humor
Rubtsova et al. Aspect extraction from reviews using conditional random fields
CN107590163B (zh) 文本特征选择的方法、装置和系统
Sariki et al. A book recommendation system based on named entities

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

Termination date: 20210613

CF01 Termination of patent right due to non-payment of annual fee