CN111079422B - 关键词提取方法、装置及存储介质 - Google Patents

关键词提取方法、装置及存储介质 Download PDF

Info

Publication number
CN111079422B
CN111079422B CN201911282700.3A CN201911282700A CN111079422B CN 111079422 B CN111079422 B CN 111079422B CN 201911282700 A CN201911282700 A CN 201911282700A CN 111079422 B CN111079422 B CN 111079422B
Authority
CN
China
Prior art keywords
candidate
phrase
original document
key
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911282700.3A
Other languages
English (en)
Other versions
CN111079422A (zh
Inventor
过群
鲁骁
孟二利
王斌
史亮
齐保元
纪鸿旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201911282700.3A priority Critical patent/CN111079422B/zh
Priority to EP20165499.3A priority patent/EP3835995A1/en
Priority to US16/830,081 priority patent/US11580303B2/en
Publication of CN111079422A publication Critical patent/CN111079422A/zh
Application granted granted Critical
Publication of CN111079422B publication Critical patent/CN111079422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种关键词提取方法、装置及存储介质，包括：接收原始文档，从原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；获取候选集合中每个候选短语与原始文档的关联度；获取候选集合中每个候选短语的发散度；基于关联度和发散度，从候选集合中选择至少一个候选短语作为关键短语，基于所选择的至少一个关键短语构成原始文档的关键短语集合。这样，能从候选集合选取与原始文档的关联度高的候选短语作为关键短语，使提取的关键短语与原始文档的相似性高，提高提取关键短语的准确性；能从候选集合中选发散度高的短语作为关键短语，使提取的关键短语与已选至关键短语集合的关键短语的差异程度高，提高关键短语的多样性。

Description

关键词提取方法、装置及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及一种关键词提取方法、装置及存储介质。
背景技术
随着互联网文本数据的爆炸式增长，相关业务中经常需要提取能概括文章核心观点的关键词，以实现精准推荐、重点标注等功能。此类业务在执行时具有标准主观性强，而且难以获取可用标注语料，从而导致传统方法的准确度不高，并且十分耗费计算时间。
相关技术中，关键词提取包括两种方法，方法一为关键词抽取(针对文内已出现的词)，方法二为关键词生成(针对文内未出现的词)。
方法一中的关键词抽取有多种实现方式，具体包括：基于统计的方式，基于图的方式，和基于序列标注的方式。其中，基于统计的方式高度依赖于专家对统计特征的设计，而基于图的方式中时间复杂度一般较高(一般在O(n2)以上)，此两种方式有一个共同的缺陷即：不能保证筛选出来的关键词与文本存在语义的关联关系，并且倾向于将频繁词作为关键词。基于序列标注的方式是有监督的方法，依赖于标注语料并且只适用于训练语料领域的任务。方式法二中的关键词也包括多种实现方式，具体包括：基于翻译对齐的方式，和基于序列到序列(即seq2seq)的方式。此两种方式均依赖于大量标注语料，计算复杂度高，并且只适用于训练语料的领域。
发明内容
本公开提供一种关键词提取方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种关键词提取方法，包括：
接收原始文档，从所述原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；
获取所述候选集合中每个所述候选短语与所述原始文档的关联度；
获取所述候选集合中每个所述候选短语的发散度；
基于所述关联度和所述发散度，从所述候选集合中选择至少一个候选短语作为关键短语，基于所选择的至少一个关键短语构成所述原始文档的关键短语集合。
可选的，所述基于所述关联度和所述发散度，从所述候选集合中选择至少一个候选短语作为关键短语，包括：
判断所述候选集合中每个所述候选短语与所述原始文档的关联度是否大于预设关联度阈值，并判断所述候选集合中每个所述候选短语的发散度是否大于预设发散度阈值；
从所述候选集合中选择与所述原始文档的关联度大于所述预设关联度阈值且所述发散度大于所述预设发散度阈值的至少一个候选短语；
将所述至少一个候选短语作为所述关键短语。
可选的，所述获取所述候选集合中每个所述候选短语的发散度，包括：
从所述候选集合中确定当前待判断候选短语；
获取所述当前待判断候选短语与所述原始文档的关联度，以及所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度；
基于所述当前待判断候选短语与所述原始文档的关联度、所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度、以及预设发散度，确定所述当前待判断候选短语的发散度，直至确定出所述候选集合中每个所述候选短语的发散度。
可选的，所述当前待判断候选短语的发散度的计算公式为：
Figure BDA0002317202310000021
其中，x表示所述当前待判断候选短语的短语特征向量，y表示已选择至所述关键短语集合中的关键短语的短语特征向量，S1(x,D)表示所述当前待判断候选短语的发散度，S(x,D)表示所述当前待判断候选短语与所述原始文档的关联度，Ysim(x,y)表示所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度，λ表示所述预设发散度，λ大于等于0且小于等于1。
可选的，所述从原始文档中提取多个候选短语，包括：
根据基于预设短语粒度确定的候选短语提取规则，从所述原始文档中提取与所述预设短语粒度相匹配的多个候选短语；
其中，所述与所述预设短语粒度相匹配的候选短语包括：修饰性词语与名词性词语组合的名词性短语。
可选的，所述方法还包括：
从所述原始文档中提取出动词性、名词性或形容词性的词语构成的降噪文档；
使用基于无标注语料训练的向量生成模型计算所述降噪文档的文档特征向量；
从所述降噪文档中选择出名词性词语，或者修饰性词语与名词性词语组合的名词性短语构成待聚类词语集合；
使用所述向量生成模型，获取所述待聚类词语集合中每个待聚类词语的词语特征向量，根据所述词语特征向量对所述待聚类词语进行聚类，确定所述原始文档的多个聚类集合。
可选的，所述获取所述候选集合中每个候选短语与所述原始文档的关联度，包括：
根据所述降噪文档的文档特征向量、所述多个聚类集合以及所述候选集合中每个所述候选短语的短语特征向量，计算每个所述候选短语与所述原始文档的关联度。
可选的，所述候选集合中每个所述候选短语与所述原始文档的关联度的计算公式为：
Figure BDA0002317202310000031
其中，z表示所述候选集合中的任一候选短语的短语特征向量，S(z,D)表示所述候选集合中的任一所述候选短语与所述原始文档的关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示所述文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
根据本公开实施例的第二方面，提供一种关键词提取装置，包括：
接收模块，配置为接收原始文档，从所述原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；
第一获取模块，配置为获取所述候选集合中每个所述候选短语与所述原始文档的关联度；
第二获取模块，配置为获取所述候选集合中每个所述候选短语的发散度；
第一选择模块，配置为基于所述关联度和所述发散度，从所述候选集合中选择至少一个候选短语作为关键短语，基于所选择的至少一个关键短语构成所述原始文档的关键短语集合。
可选的，所述第一选择模块，包括：
判断子模块，配置为判断所述候选集合中每个所述候选短语与所述原始文档的关联度是否大于预设关联度阈值，并判断所述候选集合中每个所述候选短语的发散度是否大于预设发散度阈值；
选择子模块，配置为从所述候选集合中选择与所述原始文档的关联度大于所述预设关联度阈值且所述发散度大于所述预设发散度阈值的至少一个候选短语；
第一确定子模块，配置为将所述至少一个候选短语作为所述关键短语。
可选的，所述第二获取模块，包括：
第二确定子模块，配置为从所述候选集合中确定当前待判断候选短语；
获取子模块，配置为获取所述当前待判断候选短语与所述原始文档的关联度，以及所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度；
第三确定子模块，配置为基于所述当前待判断候选短语与所述原始文档的关联度、所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度、以及预设发散度，确定所述当前待判断候选短语的发散度，直至确定出所述候选集合中每个所述候选短语的发散度。
可选的，所述当前待判断候选短语的发散度的计算公式为：
Figure BDA0002317202310000041
其中，x表示所述当前待判断候选短语的短语特征向量，y表示已选择至所述关键短语集合中的关键短语的短语特征向量，S1(x,D)表示所述当前待判断候选短语的发散度，S(x,D)表示所述当前待判断候选短语与所述原始文档的关联度，Ysim(x,y)表示所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度，λ表示所述预设发散度，λ大于等于0且小于等于1。
可选的，所述接收模块，包括：
提取子模块，配置为根据基于预设短语粒度确定的候选短语提取规则，从所述原始文档中提取与所述预设短语粒度相匹配的多个候选短语；
其中，所述与所述预设短语粒度相匹配的候选短语包括：修饰性词语与名词性词语组合的名词性短语。
可选的，所述装置还包括：
构建模块，配置为从所述原始文档中提取出动词性、名词性或形容词性的词语构成的降噪文档；
生成模块，配置为使用基于无标注语料训练的向量生成模型计算所述降噪文档的文档特征向量；
第二选择模块，配置为从所述降噪文档中选择出名词性词语，或者修饰性词语与名词性词语组合的名词性短语构成待聚类词语集合；
确定模块，配置为使用所述向量生成模型，获取所述待聚类词语集合中每个待聚类词语的词语特征向量，根据所述词语特征向量对所述待聚类词语进行聚类，确定所述原始文档的多个聚类集合。
可选的，所述第一获取模块，还配置为：
根据所述降噪文档的文档特征向量、所述多个聚类集合以及所述候选集合中每个所述候选短语的短语特征向量，计算每个所述候选短语与所述原始文档的关联度。
可选的，所述候选集合中每个所述候选短语与所述原始文档的关联度的计算公式为：
Figure BDA0002317202310000051
其中，z表示所述候选集合中的任一候选短语的短语特征向量，S(z,D)表示所述候选集合中的任一所述候选短语与所述原始文档的关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示所述文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
根据本公开实施例的第三方面，提供一种关键词提取装置，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述第一方面中的关键词提取方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由关键词提取装置的处理器执行时，使得所述装置能够执行上述第一方面中的关键词提取方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述技术方案可知，本公开通过获取每个候选短语与原始文档的关联度，获取每个候选短语的发散度，并基于关联度和发散度从候选集合中选择至少一个候选短语作为关键短语，以基于至少一个候选短语构成原始文档的关键短语集合。这样，在确定关键短语的过程中将候选短语与原始文档的关联度以及候选短语的发散度考虑进去，由于关联度能够表征候选短语与原始文档的之间相似性，关联度越高，则候选短语与原始文档的相似性越高，而发散度能够表征候选短语的差异程度，发散度越高，则候选短语的差异程度越高，即候选短语与原始文档之间的相似度越高，且与已选择至关键短语集合中的关键短语之间的相似度越低。
相较于相关技术中仅基于候选短语的出现频次选择关键短语，本公开将候选短语、原始文档、以及已选择至关键短语集合的关键短语之间的关联关系考虑进去，在进行关键短语的提取的过程中，能够从候选集合中选取与原始文档之间的关联度较高的候选短语作为关键短语，以使所提取的关键短语与原始文档之间的相似性高，进而提高提取关键短语的准确性和通用性；且能够从候选集合中选取发散度较高的候选短语作为关键短语，使所提取的关键短语与已选择至关键短语集合中的关键短语之间的差异程度高，进而提高所提取关键短语的多样性。以原始文档是文章为例，基于本公开实施例中的技术方案能够快速概括出能够表达该文章核心观点的关键短语，进而确定出该文章是否是用户需要阅读的文章，能够实现文章的精准推荐，并提高用户阅读文章的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的关键词提取方法的流程图一。
图2是根据一示例性实施例示出的关键词提取方法的流程图二。
图3是根据一示例性实施例示出的一种关键词提取方法的流程图三。
图4是根据一示例性实施例示出的关键词提取方法的流程图四。
图5是根据一示例性实施例示出的一种关键词提取装置框图。
图6是根据一示例性实施例示出的一种关键词提取装置的硬件结构框图一。
图7是根据一示例性实施例示出的一种关键词提取装置的硬件结构框图二。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本公开实施例中提供了一种关键词提取方法。参照图1，图1是根据一示例性实施例示出的关键词提取方法的流程图一，如图1所示，该方法包括以下步骤：
在步骤101中，接收原始文档，从原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；
在步骤102中，获取候选集合中每个候选短语与原始文档的关联度；
在步骤103中，获取候选集合中每个候选短语的发散度；
在步骤104中，基于每个候选短语与原始文档的关联度和每个候选短语的发散度，从候选集合中选择至少一个候选短语作为关键短语，基于所选择的至少一个关键短语构成原始文档的关键短语集合。
这里，关键词提取方法可以应用于移动终端和固定终端，其中，移动终端包括：手机、平板电脑、笔记本电脑等；固定终端包括：个人计算机。在其他可选的实施例中，该关键词提取方法也可以运行于网络侧设备，其中，网络侧设备包括：服务器、处理中心等。
在其他可选的实施例中，图1所示的方法还包括：输出原始文档的关键短语集合。其中，输出原始文档的关键短语集合包括以下至少之一：将原始文档的关键短语集合从一个移动终端发送至另一移动终端；将原始文档的关键短语集合从网络侧设备发送至移动终端；将原始文档的关键短语集合从移动终端发送至网络侧设备；在显示装置上显示原始文档的关键短语集合；在播放装置上播放原始文档的关键短语集合。
这里，候选短语为包含在原始文档中的词语或者词组等。本公开实施例中，可以基于候选短语提取规则从原始文档中提取多个候选短语，并基于提取的多个候选短语构成候选集合。在构成候选集合之后，可以获取候选集合中每个候选短语与原始文档的关联度，以及候选集合中每个候选短语的发散度，并基于该关联度和发散度从候选集合中确定出关键短语，以基于确定出的关键短语构成原始文档的关键短语集合。
例如，基于候选短语提取规则从原始文档中提取的候短语可以为修饰性词语与名词性词语组合的名词性短语等，其中，修饰性词语的词性可以是形容词、名词或可以修饰名词的其他词性词语。例如，“手机”是一个名词性词语，“可折叠手机”是一个名词性短语，其中，“可折叠的”是形容词性的修饰性词语，该名词性短语是由形容词性的修饰性词语与名词性词语组合成的短语。再例如，“手机”是一个名词性词语，“曲面屏手机”是一个名词性短语，其中，“曲面屏”是名词词性的修饰性词语，此名词性短语是由名词词性的修饰性词语与名词性词语组合成的短语。
如果原始文档是一篇介绍手机功能的文档，文档内容包括“一种能够进行拍照的曲面屏手机，该手机具有摄像头”，则可以将原始文档中的“曲面屏手机”确定为候选短语。
本公开实施例中，候选短语与原始文档的关联度用于表征候选短语与原始文档之间的相似性，关联度越高，则候选短语与原始文档的相似性越高，而发散度能够表征候选短语与已选择至关键短语集合中的关键短语之间的差异程度，发散度越高，则候选短语与已选择至关键短语集合中的关键短语之间的差异程度越高。
相较于基于候选短语的出现频次选择关键短语，本公开将候选短语、原始文档、以及已选择至关键短语集合的关键短语之间的关联关系考虑进去，能够使所提取的关键短语与原始文档之间的相似度高，进而提高提取关键短语的准确性和通用性；且能够使所提取的关键短语与已选择至关键短语集合中的关键短语之间的差异程度高，进而提高提取关键短语的多样性。
在其他可选的实施例中，还提供了一种关键词提取方法，参照图2，图2是根据一示例性实施例示出的一种关键词提取方法的流程图二。此方法在图1所示的方法基础上，步骤104包括：
步骤21，判断候选集合中每个候选短语与原始文档的关联度是否大于预设关联度阈值，并判断候选集合中每个候选短语的发散度是否大于预设发散度阈值；
步骤22，从候选集合中选择与原始文档的关联度大于预设关联度阈值且发散度大于预设发散度阈值的至少一个候选短语；
步骤23，将至少一个候选短语作为关键短语，基于所选择的至少一个关键短语构成原始文档的关键短语集合。
这里，预设关联度阈值和预设发散度阈值可以根据需要设定。例如，可以设定预设关联度阈值为50％，预设发散度阈值为80％，则可以从候选集合中选择与原始文档的关联度大于50％，且发散度大于80％的候选短语作为构成关键短语集合的关键短语。
在其他可选的实施例中，当确定关键短语集合中所包含的关键短语的数量大于或者等于设定数量阈值，或者候选集合中不存在与原始文档的关联度大于预设关联度阈值且发散度大于预设发散度阈值的候选短语时，则结束关键短语的提取。
这里，由于关联度用于表征候选短语与原始文档之间的相似性，当关联度较低时，则表征候选短语与原始文档之间的相似性较低，这时，如果将与原始文档之间的关联度较低的候选短语确定为关键短语，会降低最终确定的关键短语集合所包含的关键短语的精确性。本公开实施例中，通过预先设置预设关联度阈值，能够在关键短语的提取过程中，提取与原始文档相似性较高的候选短语，进而提高关键短语提取的精确性。
而由于发散度是用于表征候选短语的差异程度，发散度越高，则候选短语与已选择至关键短语集合中的关键短语的差异程度越高，即候选短语与已选择至关键短语集合中的关键短语之间的相似度低。本公开实施例中，通过预先设置预设发散度阈值，能够在关键短语的提取过程中，提取与原始文档之间的相似度高，且与已选择至关键短语集合中的关键短语之间的相似度低的候选短语。这样，能够在保证所提取的关键短语的精确性的基础上，提高关键短语集合中最终确定的关键短语的多样性。
在其他可选的实施例中，还提供了一种关键词提取方法，参照图3，图3是根据一示例性实施例示出的一种关键词提取方法的流程图三。此方法在图1所示的方法基础上，步骤103包括：
步骤31，从候选集合中确定当前待判断候选短语；
步骤32，获取当前待判断候选短语与原始文档的关联度，以及当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度；
步骤33，基于当前待判断候选短语与原始文档的关联度、当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度、以及预设发散度，确定当前待判断候选短语的发散度，直至确定出候选集合中每个候选短语的发散度。
这里，在从候选集合中确定当前待判断候选短语之前，已经将该候选集合中的部分候选短语选择至关键短语集合中。由于在进行关键短语提取的初始阶段，关键短语集合为空，这时，可以基于候选集合中每个候选短语与原始文档之间的关联度，确定选择至该关键短语集合中的初始关键短语。例如，将候选集合中与原始文档之间的关联度最大的候选短语确定为该初始关键短语。这样，初始关键短语则为第一个选择至关键短语集合中的关键短语。
在关键短语集合中已经存在选择至该关键短语集合中的关键短语之后，可以基于设定规则从候选集合中确定当前待判断候选短语。例如，通过遍历的方式从候选集合中确定当前待判断候选短语。
在确定出当前待判断候选短语之后，可以获取当前待判断候选短语与原始文档之间的关联度，以及该当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度。然后根据该当前待判断候选短语与原始文档之间的关联度、该当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度、以及预设发散度，确定当前待判断候选短语的发散度，其中，预设发散度可以根据需要设定。这样，可以通过调整预设发散度自由调整候选短语的发散度，减少选择至关键短语集合中的关键短语之间重复的可能性，进而解决关键短语提取冗余的问题。
在其他可选的实施例中，当前待判断候选短语的发散度的计算公式为：
Figure BDA0002317202310000091
公式(1)中，x表示当前待判断候选短语的短语特征向量，y表示已选择至关键短语集合中的关键短语的短语特征向量，S1(x,D)表示当前待判断候选短语的发散度，S(x,D)表示当前待判断候选短语与原始文档的关联度，Ysim(x,y)表示当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度，λ表示预设发散度，λ大于等于0且小于等于1，Ω表示候选集合所包含的候选短语，θ表示已选择至关键短语集合中的关键短语，x∈Ω\θ表示候选集合中除已选择至候选短语集合中的候选短语，y∈θ表示已选择至关键短语集合中的关键短语。
基于公式(1)可知，在当前待判断候选短语与原始文档的关联度确定时，当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度越大，当前待判断候选短语的发散度越小；在前待判断候选短语与已选择至关键短语集合中的关键短语的关联度确定时，当前待判断候选短语与原始文档的关联度越大，当前待判断候选短语的发散度越大。
在实现的过程中，可以基于公式(1)确定出候选集合中各个候选短语的发散度，以及候选集合中各个候选短语与原始文档之间的关联度，并确定出关联度大于预设关联度阈值且发散度大于预设发散度阈值的候选短语作为关键短语。例如，将与原始文档的关联度大于50％，且发散度最高的候选短语确定为关键短语。这样，可以通过调整预设发散度自由调整候选短语的发散度，减少选择至关键短语集合中的关键短语之间重复的可能性，进而解决关键短语提取冗余的问题。
在其他可选的实施例中，从原始文档中提取多个候选短语，包括：
根据基于预设短语粒度确定的候选短语提取规则，从原始文档中提取与预设短语粒度相匹配的多个候选短语；
其中，与预设短语粒度相匹配的候选短语包括：修饰性词语与名词性词语组合的名词性短语。
这里，候选短语提取规则可以是根据预设短语粒度确定的规则，预设短语粒度可以根据预先设定的词语的个数或者类型确定。在基于候选短语提取规则从候选集合中提取名词性短语之前，则可以预先设置好预设短语粒度，例如，预设短语粒度为从候选集合中提取名词和名词组合的候选短语，或者从候选集合中提取形容词、助词和名词组合的候选短语。本公开实施例中，可以根据需求自由调节提取候选短语的粒度，这样，能够提高关键短语提取的灵活性和多样性。
在其他可选的实施例中，该方法还包括：
从原始文档中提取出动词性、名词性或形容词性的词语构成的降噪文档；
使用基于无标注语料训练的向量生成模型计算降噪文档的文档特征向量；
从降噪文档中选择出名词性词语，或者修饰性词语与名词性词语组合的名词性短语构成待聚类词语集合；
使用向量生成模型，获取待聚类词语集合中每个待聚类词语的词语特征向量，根据词语特征向量对待聚类词语进行聚类，确定原始文档的多个聚类集合。
这里，聚类方法包括多种：例如，K均值(K-Means)聚类方法、均值漂移聚类方法、基于密度的聚类方法、用高斯混合模型(GMM)的最大期望(EM)聚类、凝聚层次聚类、图团体检测聚类方法。在聚类前，可预先设置目标聚类中心的个数(例如设置为3)，设置目标聚类中心的个数时，根据待聚类处理的文档的字数进行设置，字数越多，设置的目标聚类中心的个数的越大。上述各种可以提供聚类中心的聚类方法均可达到相似的效果，K均值聚类方法的优点包括：效果稳定，实现的时间复杂度较低，并且可以指定聚类的簇数目。这里，名词可以为词性为名词的词语或名词性短语，修饰性词语包括形容词或名词等
其中，使用向量生成模型计算降噪文档的文档特征向量包括以下方式中的一种：
方式一，使用句子转向量的模型计算降噪文档的文档特征向量，例如句子转向量的模型是sent2vec模型。
方式二，使用词语转向量的模型计算降噪文档中每个词的词语特征向量，计算降噪文档中所有词的词语特征向量的平均值作为降噪文档的文档特征向量，例如句子转向量的模型是word2vec模型。其中，向量生成模型可以是基于无标的注语料训练得到的。
在一种实施方式中，方式一中使用句子转向量的模型计算降噪文档的文档特征向量的步骤包括准备阶段和训练阶段。
准备阶段中，准备与原始文档的所属领域相关的大于预设字数的语料(例如：200万句以上的无标注语料)，此语料的语言种类与原始文档相同，例如原始文档为中文时，准备的语料均为中文内容。即原始文档为英文时，准备的语料均为英文内容。此语料一般是无标注的语料。这里，可以安装与句子转向量的模型相关的系统以及模型软件，例如安装python3.5与sent2vec工具软件。
训练阶段中，使用模型软件对语料进行训练。下面举例说明一种使用sent2vec工具软件训练语料的过程：
步骤1，对准备好的语料进行清洗，保证清洗后的语料中的每句话都是语法正确、语义清晰的自然语言语句。具体清洗方法为：去除特殊字符、编程语言(如html语句)等无法有效表达语料主旨的部分。
步骤2，将清洗后的语料进行分句，每句之间以第一预设符号(例如换行符)分隔。
步骤3，将分句后的语料中每句进行分词，每个词以第二预设符号(例如空格)分隔。分词时可以使用开源软件进行分词。
步骤4，将分词操作后的语料内容以utf-8编码格式编码，存储在.txt格式文件中。
步骤5，确保计算机内存超过16G，运行sent2vec工具软件。设置软件运行必须的相关参数，例如进行以下设置：要求词汇在语料中出现的最低次数(minCount)为10，词语或文档向量维度(dim)为500，最大连词数(wordNgrams)为2，其中连词是指把两个连在一起的词作为一个词，训练过程中的负采样数(neg)为10，训练过程中随机失活的词数目(dropoutK)为4，训练过程中缓存的词数目(bucket)为1000000，sent2vec模型保留的最大词数(maxVocabSize)为500000。
步骤5，加载.txt格式文件，使用分词操作后的语料训练sent2vec模型。在训练成功后以.bin格式保存训练成功的sent2vec模型。
在其他可选的实施例中，获取候选集合中每个候选短语与原始文档的关联度，包括：
根据降噪文档的文档特征向量、多个聚类集合以及候选集合中每个候选短语的短语特征向量，计算每个候选短语与原始文档的关联度。
计算短语与文档的关联度的方法有多种，例如：词频-逆文档频率(TermFrequency–Inverse Document Frequency，TF-IDF)算法，潜在语义索引(Latent SemanticIndexing，简称LSI)算法、词移距离(Word Mover's Distance，WMD)等方法。
本公开实施例中，候选集合中每个候选短语与原始文档的关联度的计算公式为：
Figure BDA0002317202310000121
公式(2)中，z表示候选集合中的任一候选短语的短语特征向量，S(z,D)表示候选集合中的任一候选短语与原始文档的关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数，Ysim(z,Ci)表示候选集合中各个候选短语与第i个聚类集合的聚类特征向量之间的关联度，Ysim(z,V0)表示所述候选集合中各个所述候选短语与原始文档之间的关联度。
相似度函数可以是任意能够表征两个向量相似度的函数，例如此相似度函数是余弦相似度函数、欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、汉明距离、杰卡德距离等。
在其他可选的实施例中，公式(2)可以用于计算任一短语集合中的短语与文档的关联度。使用公式(2)计算短语与文档的关联度的方法，是在使用sent2vec模型和聚类处理的基础上实现的，基于sent2vec模型对文档或句子级别的向量表征进行了优化处理的基础上，聚类处理实现有效的分类，从而可以将短语更好地映射在同一个语义空间，使用公式(2)中结合短语与文档特征向量的关联度以及短语与聚类特征向量的关联度可以更准确有效的表达出短语与文档的关联度。
本公开实施例中提供了一种关键词提取方法。参照图4，图4是根据一示例性实施例示出的关键词提取方法的流程图四，如图4所示，该方法包括以下步骤：
在步骤401中，接收原始文档。
在步骤402中，从原始文档中提取出动词性、名词性或形容词性的词语构成的降噪文档。
在步骤403中，使用基于无标注语料训练的向量生成模型计算降噪文档的文档特征向量。
在步骤404中，从降噪文档中选择出名词性词语，或者修饰性词语与名词性词语组合的名词性短语，基于选择出的名词性词语，或者修饰性词语与名词性词语组合的名词性短语构成待聚类词语集合。
在步骤405中，使用向量生成模型，获取待聚类词语集合中每个待聚类词语的词语特征向量，根据词语特征向量对待聚类词语进行聚类，确定原始文档的多个聚类集合。
在步骤406中，根据基于预设短语粒度确定的候选短语提取规则，从原始文档中提取与预设短语粒度相匹配的多个候选短语，所提取的多个候选短语构成候选集合。
在步骤407中，确定候选集合中每个候选短语的短语特征向量。
在步骤408中，依次输入当前待判断候选短语的短语特征向量。
在步骤409中，根据降噪文档的文档特征向量、多个聚类集合以及当前待判断候选短语的短语特征向量，计算当前待判断候选短语与原始文档的关联度，并确定当前待判断候选短语的发散度。
在步骤410中，判断当前待判断候选短语的与原始文档的关联度是否大于预设关联度阈值，并判断当前待判断候选短语的发散度是否大于预设发散度阈值。
在步骤411中，当当前待判断候选短语的与原始文档的关联度大于预设关联度阈值，且当前待判断候选短语的发散度大于预设发散度阈值时，将该待判断候选短语确定为关键短语，并将该待判断候选短语加入关键短语集合。
在步骤412中，确定关键短语集合中所包含的关键短语的数量是否大于或者等于设定数量阈值；或者，候选集合中是否存在与原始文档的关联度大于预设关联度阈值且发散度大于预设发散度阈值的候选短语。
这里，当确定关键短语集合中所包含的关键短语的数量大于或者等于设定数量阈值，且候选集合中不存在与原始文档的关联度大于预设关联度阈值且发散度大于预设发散度阈值的候选短语时，则结束关键短语的提取。当关键短语集合中所包含的关键短语的数量小于设定数量阈值，且候选集合中存在与原始文档的关联度大于预设关联度阈值且发散度大于预设发散度阈值的候选短语时，则继续执行步骤208至步骤212。
本公开实施例中，相较于相关技术中仅基于候选短语的出现频次选择关键短语，本公开中：第一方面，可以自由调整候选短语的发散度，减少选择至关键短语集合中的关键短语之间重复的可能性，进而解决关键短语提取冗余的问题；第二方面，不受候选词词频的影响，从而解决了相关技术中更倾向于选取高频词的问题；第三方面，可以根据需求自由调节提取候选短语的粒度，这样，能够提高关键短语提取的灵活性和多样性。因而具有准确度高、语义相关度高、覆盖主题全、计算速度快、可扩展性强的特点。
图5是根据一示例性实施例示出的一种关键词提取装置框图。如图5所示，该关键词提取装置50主要包括：
接收模块51，配置为接收原始文档，从原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；
第一获取模块52，配置为获取候选集合中每个候选短语与原始文档的关联度；
第二获取模块53，配置为获取候选集合中每个候选短语的发散度；
第一选择模块54，配置为基于关联度和发散度，从候选集合中选择至少一个候选短语作为关键短语，基于所选择的至少一个关键短语构成原始文档的关键短语集合。
在其他可选的实施例中，第一选择模块54，包括：
判断子模块，配置为判断候选集合中每个候选短语与原始文档的关联度是否大于预设关联度阈值，并判断候选集合中每个候选短语的发散度是否大于预设发散度阈值；
选择子模块，配置为从候选集合中选择与原始文档的关联度大于预设关联度阈值且发散度大于预设发散度阈值的至少一个候选短语；
第一确定子模块，配置为将至少一个候选短语作为关键短语。
在其他可选的实施例中，第二获取模块53，包括：
第二确定子模块，配置为从候选集合中确定当前待判断候选短语；
获取子模块，配置为获取当前待判断候选短语与原始文档的关联度，以及当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度；
第三确定子模块，配置为基于当前待判断候选短语与原始文档的关联度、当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度、以及预设发散度，确定当前待判断候选短语的发散度，直至确定出候选集合中每个候选短语的发散度。
在其他可选的实施例中，当前待判断候选短语的发散度的计算公式为：
Figure BDA0002317202310000151
其中，x表示当前待判断候选短语的短语特征向量，y表示已选择至关键短语集合中的关键短语的短语特征向量，S1(x,D)表示当前待判断候选短语的发散度，S(x,D)表示当前待判断候选短语与原始文档的关联度，Ysim(x,y)表示当前待判断候选短语与已选择至关键短语集合中的关键短语的关联度，λ表示预设发散度，λ大于等于0且小于等于1。
在其他可选的实施例中，接收模块51，包括：
提取子模块，配置为根据基于预设短语粒度确定的候选短语提取规则，从原始文档中提取与预设短语粒度相匹配的多个候选短语；
其中，与预设短语粒度相匹配的候选短语包括：修饰性词语与名词性词语组合的名词性短语。
在其他可选的实施例中，装置50还包括：
构建模块，配置为从原始文档中提取出动词性、名词性或形容词性的词语构成的降噪文档；
生成模块，配置为使用基于无标注语料训练的向量生成模型计算降噪文档的文档特征向量；
第二选择模块，配置为从降噪文档中选择出名词性词语，或者修饰性词语与名词性词语组合的名词性短语构成待聚类词语集合；
确定模块，配置为使用向量生成模型，获取待聚类词语集合中每个待聚类词语的词语特征向量，根据词语特征向量对待聚类词语进行聚类，确定原始文档的多个聚类集合。
在其他可选的实施例中，第一获取模块52，还配置为：
根据降噪文档的文档特征向量、多个聚类集合以及候选集合中每个候选短语的短语特征向量，计算每个候选短语与原始文档的关联度。
在其他可选的实施例中，候选集合中每个候选短语与原始文档的关联度的计算公式为：
Figure BDA0002317202310000161
其中，z表示候选集合中的任一候选短语的短语特征向量，S(z,D)表示候选集合中的任一候选短语与原始文档的关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
图6是根据一示例性实施例示出的一种关键词提取装置500的硬件结构框图一。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件506为装置500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或6G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由关键词提取装置的处理器执行时，使得关键词提取装置能够执行一种关键词提取方法，所述方法包括：
接收原始文档，从所述原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；
获取所述候选集合中每个所述候选短语与所述原始文档的关联度；
获取所述候选集合中每个所述候选短语的发散度；
基于所述关联度和所述发散度，从所述候选集合中选择至少一个候选短语作为关键短语，基于所选择的至少一个关键短语构成所述原始文档的关键短语集合。
图7是根据一示例性实施例示出的一种关键词提取装置1900的硬件结构框图二。例如，装置1900可以被提供为一服务器。参照图7，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如快应用程序。存储器1932中存储的快应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述关键词提取方法，所述方法包括：
接收原始文档，从所述原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；
获取所述候选集合中每个所述候选短语与所述原始文档的关联度；
获取所述候选集合中每个所述候选短语的发散度；
基于所述关联度和所述发散度，从所述候选集合中选择至少一个候选短语作为关键短语，基于所选择的至少一个关键短语构成所述原始文档的关键短语集合。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种关键词提取方法，其特征在于，包括：
接收原始文档，从所述原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；
获取所述候选集合中每个所述候选短语与所述原始文档的关联度；其中，所述关联度用于表征所述候选短语与所述原始文档之间的相似性；
获取所述候选集合中每个所述候选短语的发散度；所述发散度用于表征所述候选短语与已选择至关键短语集合中的关键短语之间的差异程度；
判断所述候选集合中每个所述候选短语与所述原始文档的关联度是否大于预设关联度阈值，并判断所述候选集合中每个所述候选短语的发散度是否大于预设发散度阈值；
从所述候选集合中选择与所述原始文档的关联度大于所述预设关联度阈值且所述发散度大于所述预设发散度阈值的至少一个候选短语；
将所述至少一个候选短语作为所述关键短语，基于所选择的至少一个关键短语构成所述原始文档的关键短语集合。
2.根据权利要求1所述的方法，其特征在于，所述获取所述候选集合中每个所述候选短语的发散度，包括：
从所述候选集合中确定当前待判断候选短语；
获取所述当前待判断候选短语与所述原始文档的关联度，以及所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度；
基于所述当前待判断候选短语与所述原始文档的关联度、所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度、以及预设发散度，确定所述当前待判断候选短语的发散度，直至确定出所述候选集合中每个所述候选短语的发散度。
3.根据权利要求2所述的方法，其特征在于，所述当前待判断候选短语的发散度的计算公式为：
Figure QLYQS_1
其中，x表示所述当前待判断候选短语的短语特征向量，y表示已选择至所述关键短语集合中的关键短语的短语特征向量，D表示所述原始文档，S1(x,D)表示所述当前待判断候选短语的发散度，S(x,D)表示所述当前待判断候选短语与所述原始文档的关联度，Ysim(x,y)表示所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度，λ表示所述预设发散度，λ大于等于0且小于等于1，Ω表示所述候选集合所包含的候选短语，θ表示已选择至所述关键短语集合中的关键短语，x∈Ω\θ表示所述候选集合中除已选择至所述关键短语集合中的候选短语。
4.根据权利要求1所述的方法，其特征在于，所述从所述原始文档中提取多个候选短语，包括：
根据基于预设短语粒度确定的候选短语提取规则，从所述原始文档中提取与所述预设短语粒度相匹配的多个候选短语；
其中，所述与所述预设短语粒度相匹配的候选短语包括：修饰性词语与名词性词语组合的名词性短语。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述原始文档中提取出动词性、名词性或形容词性的词语构成的降噪文档；
使用基于无标注语料训练的向量生成模型计算所述降噪文档的文档特征向量；
从所述降噪文档中选择出名词性词语，或者修饰性词语与名词性词语组合的名词性短语构成待聚类词语集合；
使用所述向量生成模型，获取所述待聚类词语集合中每个待聚类词语的词语特征向量，根据所述词语特征向量对所述待聚类词语进行聚类，确定所述原始文档的多个聚类集合。
6.根据权利要求5所述的方法，其特征在于，所述获取所述候选集合中每个候选短语与所述原始文档的关联度，包括：
根据所述降噪文档的文档特征向量、所述多个聚类集合以及所述候选集合中每个所述候选短语的短语特征向量，计算每个所述候选短语与所述原始文档的关联度。
7.根据权利要求6所述的方法，其特征在于，所述候选集合中每个所述候选短语与所述原始文档的关联度的计算公式为：
Figure QLYQS_2
其中，z表示所述候选集合中的任一候选短语的短语特征向量，D表示所述原始文档，S(z,D)表示所述候选集合中的任一所述候选短语与所述原始文档的关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示所述文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
8.一种关键词提取装置，其特征在于，包括：
接收模块，配置为接收原始文档，从所述原始文档中提取多个候选短语，所提取的多个候选短语构成候选集合；
第一获取模块，配置为获取所述候选集合中每个所述候选短语与所述原始文档的关联度；其中，所述关联度用于表征所述候选短语与所述原始文档之间的相似性；
第二获取模块，配置为获取所述候选集合中每个所述候选短语的发散度；所述发散度用于表征所述候选短语与已选择至关键短语集合中的关键短语之间的差异程度；
判断子模块，配置为判断所述候选集合中每个所述候选短语与所述原始文档的关联度是否大于预设关联度阈值，并判断所述候选集合中每个所述候选短语的发散度是否大于预设发散度阈值；
选择子模块，配置为从所述候选集合中选择与所述原始文档的关联度大于所述预设关联度阈值且所述发散度大于所述预设发散度阈值的至少一个候选短语；
第一确定子模块，配置为将所述至少一个候选短语作为所述关键短语，基于所选择的至少一个关键短语构成所述原始文档的关键短语集合。
9.根据权利要求8所述的装置，其特征在于，所述第二获取模块，包括：
第二确定子模块，配置为从所述候选集合中确定当前待判断候选短语；
获取子模块，配置为获取所述当前待判断候选短语与所述原始文档的关联度，以及所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度；
第三确定子模块，配置为基于所述当前待判断候选短语与所述原始文档的关联度、所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度、以及预设发散度，确定所述当前待判断候选短语的发散度，直至确定出所述候选集合中每个所述候选短语的发散度。
10.根据权利要求9所述的装置，其特征在于，所述当前待判断候选短语的发散度的计算公式为：
Figure QLYQS_3
其中，x表示所述当前待判断候选短语的短语特征向量，y表示已选择至所述关键短语集合中的关键短语的短语特征向量，D表示所述原始文档，S1(x,D)表示所述当前待判断候选短语的发散度，S(x,D)表示所述当前待判断候选短语与所述原始文档的关联度，Ysim(x,y)表示所述当前待判断候选短语与已选择至所述关键短语集合中的关键短语的关联度，λ表示所述预设发散度，λ大于等于0且小于等于1，Ω表示所述候选集合所包含的候选短语，θ表示已选择至所述关键短语集合中的关键短语，x∈Ω\θ表示所述候选集合中除已选择至所述关键短语集合中的候选短语。
11.根据权利要求8所述的装置，其特征在于，所述接收模块，包括：
提取子模块，配置为根据基于预设短语粒度确定的候选短语提取规则，从所述原始文档中提取与所述预设短语粒度相匹配的多个候选短语；
其中，所述与所述预设短语粒度相匹配的候选短语包括：修饰性词语与名词性词语组合的名词性短语。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：
构建模块，配置为从所述原始文档中提取出动词性、名词性或形容词性的词语构成的降噪文档；
生成模块，配置为使用基于无标注语料训练的向量生成模型计算所述降噪文档的文档特征向量；
第二选择模块，配置为从所述降噪文档中选择出名词性词语，或者修饰性词语与名词性词语组合的名词性短语构成待聚类词语集合；
确定模块，配置为使用所述向量生成模型，获取所述待聚类词语集合中每个待聚类词语的词语特征向量，根据所述词语特征向量对所述待聚类词语进行聚类，确定所述原始文档的多个聚类集合。
13.根据权利要求12所述的装置，其特征在于，所述第一获取模块，还配置为：
根据所述降噪文档的文档特征向量、所述多个聚类集合以及所述候选集合中每个所述候选短语的短语特征向量，计算每个所述候选短语与所述原始文档的关联度。
14.根据权利要求13所述的装置，其特征在于，所述候选集合中每个所述候选短语与所述原始文档的关联度的计算公式为：
Figure QLYQS_4
其中，z表示所述候选集合中的任一候选短语的短语特征向量，D表示所述原始文档，S(z,D)表示所述候选集合中的任一所述候选短语与所述原始文档的关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示所述文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
15.一种关键词提取装置，其特征在于，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述权利要求1至7中任一种关键词提取方法中的步骤。
16.一种非临时性计算机可读存储介质，当所述存储介质中的指令由关键词提取装置的处理器执行时，使得所述装置能够执行上述权利要求1至7中任一种关键词提取方法中的步骤。
CN201911282700.3A 2019-12-13 2019-12-13 关键词提取方法、装置及存储介质 Active CN111079422B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911282700.3A CN111079422B (zh) 2019-12-13 2019-12-13 关键词提取方法、装置及存储介质
EP20165499.3A EP3835995A1 (en) 2019-12-13 2020-03-25 Method and device for keyword extraction and storage medium
US16/830,081 US11580303B2 (en) 2019-12-13 2020-03-25 Method and device for keyword extraction and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911282700.3A CN111079422B (zh) 2019-12-13 2019-12-13 关键词提取方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111079422A CN111079422A (zh) 2020-04-28
CN111079422B true CN111079422B (zh) 2023-07-14

Family

ID=70008278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911282700.3A Active CN111079422B (zh) 2019-12-13 2019-12-13 关键词提取方法、装置及存储介质

Country Status (3)

Country Link
US (1) US11580303B2 (zh)
EP (1) EP3835995A1 (zh)
CN (1) CN111079422B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898366B (zh) * 2020-07-29 2022-08-09 平安科技（深圳）有限公司 文献主题词聚合方法、装置、计算机设备及可读存储介质
CN112270178B (zh) * 2020-10-23 2022-02-01 平安科技（深圳）有限公司 医疗文献簇的主题确定方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589399B1 (en) * 2011-03-25 2013-11-19 Google Inc. Assigning terms of interest to an entity
CN108052593A (zh) * 2017-12-12 2018-05-18 山东科技大学 一种基于主题词向量和网络结构的主题关键词提取方法
CN108241613A (zh) * 2018-01-03 2018-07-03 新华智云科技有限公司 一种提取关键词的方法及设备
CN108319627A (zh) * 2017-02-06 2018-07-24 腾讯科技（深圳）有限公司 关键词提取方法以及关键词提取装置
CN110008401A (zh) * 2019-02-21 2019-07-12 北京达佳互联信息技术有限公司 关键词提取方法、关键词提取装置和计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7249012B2 (en) * 2002-11-20 2007-07-24 Microsoft Corporation Statistical method and apparatus for learning translation relationships among phrases
US20060242190A1 (en) * 2005-04-26 2006-10-26 Content Analyst Comapny, Llc Latent semantic taxonomy generation
US7451124B2 (en) * 2005-05-12 2008-11-11 Xerox Corporation Method of analyzing documents
US8166045B1 (en) * 2007-03-30 2012-04-24 Google Inc. Phrase extraction using subphrase scoring
US9916309B2 (en) * 2011-10-14 2018-03-13 Yahoo Holdings, Inc. Method and apparatus for automatically summarizing the contents of electronic documents
US8892422B1 (en) * 2012-07-09 2014-11-18 Google Inc. Phrase identification in a sequence of words
US20160379229A1 (en) * 2015-06-25 2016-12-29 International Business Machines Corporation Predicting project outcome based on comments
US20170139899A1 (en) * 2015-11-18 2017-05-18 Le Holdings (Beijing) Co., Ltd. Keyword extraction method and electronic device
CN106021272B (zh) * 2016-04-04 2019-11-19 上海大学 基于分布式表达词向量计算的关键词自动提取方法
US10572221B2 (en) 2016-10-20 2020-02-25 Cortical.Io Ag Methods and systems for identifying a level of similarity between a plurality of data representations
US11030394B1 (en) * 2017-05-04 2021-06-08 Amazon Technologies, Inc. Neural models for keyphrase extraction
US10445423B2 (en) * 2017-08-17 2019-10-15 International Business Machines Corporation Domain-specific lexically-driven pre-parser
CN110232183B (zh) 2018-12-07 2022-05-27 腾讯科技（深圳）有限公司 关键词提取模型训练方法、关键词提取方法、装置及存储介质
CN110232112B (zh) 2019-05-31 2022-06-21 北京创鑫旅程网络技术有限公司 文章中关键词提取方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589399B1 (en) * 2011-03-25 2013-11-19 Google Inc. Assigning terms of interest to an entity
CN108319627A (zh) * 2017-02-06 2018-07-24 腾讯科技（深圳）有限公司 关键词提取方法以及关键词提取装置
CN108052593A (zh) * 2017-12-12 2018-05-18 山东科技大学 一种基于主题词向量和网络结构的主题关键词提取方法
CN108241613A (zh) * 2018-01-03 2018-07-03 新华智云科技有限公司 一种提取关键词的方法及设备
CN110008401A (zh) * 2019-02-21 2019-07-12 北京达佳互联信息技术有限公司 关键词提取方法、关键词提取装置和计算机可读存储介质

Also Published As

Publication number Publication date
EP3835995A1 (en) 2021-06-16
US11580303B2 (en) 2023-02-14
CN111079422A (zh) 2020-04-28
US20210182490A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111078838B (zh) 关键词提取方法、关键词提取装置及电子设备
CN107766426B (zh) 一种文本分类方法、装置及电子设备
CN110008401B (zh) 关键词提取方法、关键词提取装置和计算机可读存储介质
CN111832316B (zh) 语义识别的方法、装置、电子设备和存储介质
CN111128183B (zh) 语音识别方法、装置和介质
CN108399914B (zh) 一种语音识别的方法和装置
CN111078884B (zh) 一种关键词提取方法、装置及介质
CN108304412B (zh) 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
CN108073292B (zh) 一种智能组词方法和装置、一种用于智能组词的装置
CN107564526B (zh) 处理方法、装置和机器可读介质
CN110069624B (zh) 文本处理方法及装置
WO2018040040A1 (zh) 消息通信方法及装置
CN111079422B (zh) 关键词提取方法、装置及存储介质
CN111222316B (zh) 文本检测方法、装置及存储介质
CN107424612B (zh) 处理方法、装置和机器可读介质
CN112528671A (zh) 语义分析方法、装置以及存储介质
CN111832315A (zh) 语义识别的方法、装置、电子设备和存储介质
CN110633017A (zh) 一种输入方法、装置和用于输入的装置
CN111538998B (zh) 文本定密方法和装置、电子设备及计算机可读存储介质
CN112036195A (zh) 机器翻译方法、装置及存储介质
CN109948155B (zh) 一种多意图的选择方法及装置、终端设备
CN111324214B (zh) 一种语句纠错方法和装置
CN108073294B (zh) 一种智能组词方法和装置、一种用于智能组词的装置
CN111090998A (zh) 一种手语转换方法、装置和用于手语转换的装置
CN113535969B (zh) 语料扩充方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant