CN105589847B - 带权重的文章标识方法和装置 - Google Patents

Abstract

本发明提供一种带权重的文章标识方法和装置，方法包括：对文章对应的标题进行分词得到多个词；计算多个词的权重值；多个词的权重值反应多个词在文章中的重要程度；根据多个词的权重值，扩展文章对应的标题中多个词中至少一个词的数量，使多个词的数量与多个词的权重值相对应；以扩展后的标题对文章进行标识。根据本发明，根据文章标题中各个词的重要程度为各个词计算了权重值，并根据权重值大小对文章标题中相应的词进行了扩展，扩展后的标题中权重值较大的词占比增大，这相当于扩展后的标题也能体现文章多个词的重要程度，所以在需要根据文章多个词的重要程度分析问题时，可以使用扩展后的标题替代文章进行使用。

Description

带权重的文章标识方法和装置

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种带权重的文章标识方法和装置。

背景技术

在互联网领域中，对于互联网中存在的文章，由于其文章往往包括较多内容不适合直接记录或使用，通常取文章的标题来代表整篇文章，因为标题通常具有文章的简要内容。

上述方案的缺陷在于：由于文章中的内容重要程度不同，而文章内容的重要程度无法在标题中反映出来，如何需要按文章重要程度分析问题时，则文章标题无法使用。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的带权重的文章标识方法和装置。

依据本发明的一种带权重的文章标识方法，包括：对文章对应的标题进行分词得到多个词；计算所述多个词的权重值；所述多个词的权重值反应所述多个词在所述文章中的重要程度；根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量，使所述多个词的数量与所述多个词的权重值相对应；以扩展后的标题对所述文章进行标识。

可选地，前述的方法，计算所述多个词的权重值，具体包括：统计所述多个词在所述文章中的词频，根据所述多个词在所述文章中的词频，计算所述多个词的权重值。

可选地，前述的方法，在根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量之前，还包括：对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍。

可选地，前述的方法，在对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍之前，还包括：根据所述多个词的权重值中的最小值设置所述预设值。

可选地，前述的方法，以扩展后的标题对所述文章进行标识，具体包括：取所述扩展后的标题的最小哈希值对所述文章进行标识。

依据本发明的一种带权重的文章标识装置，包括：分词模块，用于对文章对应的标题进行分词得到多个词；权重值计算模块，用于计算所述多个词的权重值；所述多个词的权重值反应所述多个词在所述文章中的重要程度；扩展模块，用于根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量，使所述多个词的数量与所述多个词的权重值相对应；标识模块，用于以扩展后的标题对所述文章进行标识。

可选地，前述的装置，所述权重值计算模块统计所述多个词在所述文章中的词频，根据所述多个词在所述文章中的词频，计算所述多个词的权重值。

可选地，前述的装置，还包括：权值调整模块，用于对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍。

可选地，前述的装置，还包括：设置模块，用于根据所述多个词的权重值中的最小值设置所述预设值。

可选地，前述的装置，所述标识模块取所述扩展后的标题的最小哈希值对所述文章进行标识。

根据以上技术方案，本发明的带权重的文章标识方法和装置至少具有以下优点：

在本发明的技术方案中，根据文章标题中各个词的重要程度为各个词计算了权重值，并根据权重值大小对文章标题中相应的词进行了扩展，扩展后的标题中权重值较大的词占比增大，这相当于扩展后的标题也能体现文章多个词的重要程度，所以在需要根据文章多个词的重要程度分析问题时，可以使用扩展后的标题替代文章进行使用。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明的一个实施例的带权重的文章标识方法的流程图；

图2示出了根据本发明的一个实施例的带权重的文章标识装置的框图；

图3示出了根据本发明的一个实施例的带权重的文章标识装置的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明的一个实施例中一种带权重的文章标识方法，包括：

步骤110，对文章对应的标题进行分词得到多个词。例如，对应某个新闻的标题《明星新片尺度大》，对其分词得到多个词为：明星、新片、尺度、大。

步骤120，计算多个词的权重值；多个词的权重值反应多个词在文章中的重要程度。在本实施例中，对于计算权重值的方式不进行限制，例如，假设某个词与当前的热点事件匹配，则赋予该词较高的权重值。

步骤130，据多个词的权重值，扩展文章对应的标题中多个词中至少一个词的数量，使多个词的数量与多个词的权重值相对应。在本实施例中，例如，对于标题《明星新片尺度大》，明星的权重值为0.2、新片的权重值为0.1，则扩展的标题可以是《明星明星新片尺度大》；可见，扩展后的标题中，重要的词占比较大，所以扩展后的标题中可以体现出新闻中哪些词的重要程度较大。

步骤140，以扩展后的标题对文章进行标识。在本实施例中，扩展后的标题中权重高的词重复的次数多，权重低的词重复次数少，其能体现文章的多个词的重要程度，所以在需要根据文章多个词的重要程度分析问题时，可以使用扩展后的标题替代文章进行使用。

本发明的另一实施例中提供了一种带权重的文章标识方法，相比于前述的实施例，本实施例的带权重的文章标识方法，步骤120，具体包括：

统计多个词在文章中的词频，根据多个词在文章中的词频，计算多个词的权重值。在本实施例中，越重要的词在文章中出现的频率就越高，所以根据词频可以判断多个词的权重。

本发明的另一实施例中提供了一种带权重的文章标识方法，相比于前述的实施例，本实施例的带权重的文章标识方法，在步骤130之前，还包括：

对多个词的权重值进行调整，使得多个词的权重值均为预设值的整数倍。在本实施例中，由于标题中词的个数只能够按整数进行增加，所以需要对多个词的权重值进行调整，使得多个词的权重值的比值不至过于复杂，导致标题中扩展了大量的词，从而影响了标题的简要性。

本发明的另一实施例中提供了一种带权重的文章标识方法，相比于前述的实施例，本实施例的带权重的文章标识方法，在步骤130之前，还包括：

根据多个词的权重值中的最小值设置预设值。在本实施例中，将多个词的权重值中的最小值设置预设值，使得标题中的至少一个词只出现一次，从而可以保证标题的长度不至过长。

本发明的另一实施例中提供了一种带权重的文章标识方法，相比于前述的实施例，本实施例的带权重的文章标识方法，步骤140，具体包括：

取扩展后的标题的最小哈希值对文章进行标识。根据本实施例的技术方案，例如对于一篇文章《明星新片尺度大职场御姐范儿就得这么穿》，如果直接用标题的最小哈希值标识文章，则该值可能与《欧美风服饰搭配晋级职场御姐范儿》这些文章对应的值相近，但两篇文章的重点并不相同；本实施例中，可以根据权重比如(tfidf，词频)算出“明星”的权重比较高，比如这篇文章中“明星”的权重为0.4，“新片”的权重为0.2，其他词的权重为0.1，那么将标题扩展为《明星明星明星明星新片新片尺度大职场御姐范儿就得这么穿》，再计算最小哈希值，则得到的值能够反映多个词的不同重要程度。

如图2所示，本发明的一个实施例中一种带权重的文章标识装置，包括：

分词模块210，用于对文章对应的标题进行分词得到多个词。例如，对应某个新闻的标题《明星新片尺度大》，对其分词得到多个词为：明星、新片、尺度、大。

权重值计算模块220，用于计算多个词的权重值；多个词的权重值反应多个词在文章中的重要程度。在本实施例中，对于计算权重值的方式不进行限制，例如，假设某个词与当前的热点事件匹配，则赋予该词较高的权重值。

扩展模块230，用于根据多个词的权重值，扩展文章对应的标题中多个词中至少一个词的数量，使多个词的数量与多个词的权重值相对应。在本实施例中，例如，对于标题《明星新片尺度大》，明星的权重值为0.2、新片的权重值为0.1，则扩展的标题可以是《明星明星新片尺度大》；可见，扩展后的标题中，重要的词占比较大，所以扩展后的标题中可以体现出新闻中哪些词的重要程度较大。

标识模块240，用于以扩展后的标题对文章进行标识。在本实施例中，扩展后的标题中权重高的词重复的次数多，权重低的词重复次数少，其能体现文章多个词的重要程度，所以在需要根据文章多个词的重要程度分析问题时，可以使用扩展后的标题替代文章进行使用。

本发明的另一实施例中提供了一种带权重的文章标识装置，相比于前述的实施例，本实施例的带权重的文章标识装置，权重值计算模块220统计多个词在文章中的词频，根据多个词在文章中的词频，计算多个词的权重值。在本实施例中，越重要的词在文章中出现的频率就越高，所以根据词频可以判断多个词的权重。

如图3所示，本发明的另一实施例中提供了一种带权重的文章标识装置，相比于前述的实施例，本实施例的带权重的文章标识装置，还包括：

权值调整模块310，用于对多个词的权重值进行调整，使得多个词的权重值均为预设值的整数倍。在本实施例中，由于标题中词的个数只能够按整数进行增加，所以需要对多个词的权重值进行调整，使得多个词的权重值的比值不至过于复杂，导致标题中扩展了大量的词，从而影响了标题的简要性。

本发明的另一实施例中提供了一种带权重的文章标识装置，相比于前述的实施例，本实施例的带权重的文章标识装置，还包括：

设置模块320，用于根据多个词的权重值中的最小值设置预设值。在本实施例中，将多个词的权重值中的最小值设置预设值，使得标题中的至少一个词只出现一次，从而可以保证标题的长度不至过长。

本发明的另一实施例中提供了一种带权重的文章标识装置，相比于前述的实施例，本实施例的带权重的文章标识装置，

标识模块140取扩展后的标题的最小哈希值对文章进行标识。根据本实施例的技术方案，例如对于一篇文章《明星新片尺度大职场御姐范儿就得这么穿》，如果直接用标题的最小哈希值标识文章，则该值可能与《欧美风服饰搭配晋级职场御姐范儿》这些文章对应的值相近，但两篇文章的重点并不相同；本实施例中，可以根据权重比如(tfidf，词频)算出“明星”的权重比较高，比如这篇文章中“明星”的权重为0.4，“新片”的权重为0.2，其他词的权重为0.1，那么将标题扩展为《明星明星明星明星新片新片尺度大职场御姐范儿就得这么穿》，再计算最小哈希值，则得到的值能够反映多个词的不同重要程度。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的带权重的文章标识装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (6)

1.一种带权重的文章标识方法，其特征在于，包括：

对文章对应的标题进行分词得到多个词；

计算所述多个词的权重值，所述多个词的权重值反应所述多个词在所述文章中的重要程度；

根据所述多个词的权重值中的最小值设置预设值；

对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍；

根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量，使所述多个词的数量与所述多个词的权重值相对应；

以扩展后的标题对所述文章进行标识。

2.根据权利要求1所述的方法，其特征在于，计算所述多个词的权重值，具体包括：

统计所述多个词在所述文章中的词频，根据所述多个词在所述文章中的词频，计算所述多个词的权重值。

3.根据权利要求1-2任一项所述的方法，其特征在于，以扩展后的标题对所述文章进行标识，具体包括：

取所述扩展后的标题的最小哈希值对所述文章进行标识。

4.一种带权重的文章标识装置，其特征在于，包括：

分词模块，用于对文章对应的标题进行分词得到多个词；

权重值计算模块，用于计算所述多个词的权重值，所述多个词的权重值反应所述多个词在所述文章中的重要程度；

扩展模块，用于根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量，使所述多个词的数量与所述多个词的权重值相对应；

设置模块，用于根据所述多个词的权重值中的最小值设置预设值；

权值调整模块，用于对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍；

标识模块，用于以扩展后的标题对所述文章进行标识。

5.根据权利要求4所述的装置，其特征在于，所述权重值计算模块统计所述多个词在所述文章中的词频，根据所述多个词在所述文章中的词频，计算所述多个词的权重值。

6.根据权利要求4-5任一项所述的装置，其特征在于，

所述标识模块取所述扩展后的标题的最小哈希值对所述文章进行标识。