CN111078838A - 关键词提取方法、关键词提取装置及电子设备 - Google Patents

关键词提取方法、关键词提取装置及电子设备 Download PDF

Info

Publication number
CN111078838A
CN111078838A CN201911285457.0A CN201911285457A CN111078838A CN 111078838 A CN111078838 A CN 111078838A CN 201911285457 A CN201911285457 A CN 201911285457A CN 111078838 A CN111078838 A CN 111078838A
Authority
CN
China
Prior art keywords
word
keyword
candidate
degree
original document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911285457.0A
Other languages
English (en)
Other versions
CN111078838B (zh
Inventor
过群
鲁骁
孟二利
王斌
史亮
齐保元
纪鸿旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Intelligent Technology Co Ltd
Original Assignee
Beijing Xiaomi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Intelligent Technology Co Ltd filed Critical Beijing Xiaomi Intelligent Technology Co Ltd
Priority to CN201911285457.0A priority Critical patent/CN111078838B/zh
Priority to US16/855,583 priority patent/US20200250376A1/en
Publication of CN111078838A publication Critical patent/CN111078838A/zh
Priority to EP20178727.2A priority patent/EP3835973A1/en
Application granted granted Critical
Publication of CN111078838B publication Critical patent/CN111078838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种关键词提取方法、关键词提取装置及电子设备。其中关键词提取方法，包括：接收原始文档；从原始文档中提取候选词构成第一词语集合；获取第一词语集合中每个候选词与原始文档的第一关联度，根据第一关联度确定第二词语集合；基于原始文档，通过预测模型生成预测词，所得到的预测词构成第三词语集合；确定第二词语集合和第三词语集合的并集，获取并集中每个候选关键词与原始文档的第二关联度，并且获取并集中每个候选关键词的发散度；基于第二关联度和发散度，从并集中选择至少一个候选关键词作为关键词，构成关键词集合。通过关键词之间的发散度，从而解决关键词冗余的问题，关键词不受候选词词频的影响，丰富关键词的表达方式。

Description

关键词提取方法、关键词提取装置及电子设备
技术领域
本公开涉及文本处理技术领域，尤其涉及关键词提取方法、关键词提取装置及电子设备和计算机可读存储介质。
背景技术
随着互联网文本数据的爆炸式增长，相关业务中经常需要提取能概括文章核心观点的关键词，以实现精准推荐、重点标注等功能。
此类业务在执行时具有标准主观性强，而且难以获取可用标注语料，从而导致传统方法的准确度不高，并且十分耗费计算时间。
相关技术中，关键词提取可以通过关键词抽取(针对文内已出现的词)与关键词生成(针对文内未出现的词)两种方法来实现。关键词抽取主要的方法有：基于统计的方法，基于图的方法，和基于序列标注的方法。基于统计的方法高度依赖于专家对统计特征的设计，而基于图的方法时间复杂度一般较高(一般在O(n2)以上)。并且两种方法有一个共同的缺陷，不能保证筛选出来的关键词与文本存在语义的关联关系，并且倾向于将频繁词作为关键词。而基于序列标注的方法是有监督方法，依赖于标注语料，并且只适用于训练语料领域的任务。
目前，关键词提取的方式具有以下缺点：传统的提取关键词方法的准确/覆盖率低，并且基于统计特征和图随机游走的方法，不能保证提取的关键词与文章存在语义关联关系，特别是在文章存在多个话题的情况下；传统的关键词提取方法，难以控制关键词之间的相似关系，容易生成冗余的关键词；传统的关键词提取方法，更倾向于提取高频常见词汇，而高频词汇不一定适合概括文章语义；传统的关键词生成方式，与关键词提取方式不在同一个语义框架中，从而导致两个框架难以结合互补。
发明内容
为克服相关技术中存在的问题，本公开提供一种关键词提取方法、关键词提取装置及电子设备和计算机可读存储介质。
根据本公开实施例的第一方面，提供一种关键词提取方法，方法包括：接收原始文档；从原始文档中提取候选词，所提取的候选词构成第一词语集合；获取第一词语集合中每个候选词与原始文档的第一关联度，根据第一关联度确定第二词语集合，第二词语集合为第一词语集合的子集；基于原始文档，通过预测模型生成预测词，所得到的预测词构成第三词语集合；确定第二词语集合和第三词语集合的并集；获取并集中每个候选关键词与原始文档的第二关联度；获取并集中每个候选关键词的发散度；基于第二关联度和发散度，从并集中选择至少一个候选关键词作为关键词，构成原始文档的关键词集合。
在一实施例中，基于第二关联度和发散度，从并集中选择至少一个候选关键词作为关键词，构成原始文档的关键词集合，包括：判断并集中每个候选关键词的第二关联度是否大于预设关联度阈值，并判断并集中每个候选关键词的发散度是否大于预设发散度阈值；从并集中选择第二关联度大于预设关联度阈值且发散度大于预设发散度阈值的至少一个候选关键词；将至少一个候选关键词作为关键词。
在一实施例中，在判断并集中每个候选关键词的第二关联度是否大于预设关联度阈值之前，还包括：将并集中来自第三词语集合的部分候选关键词的第二关联度乘以一个补偿系数，作为最终确定的第二关联度，补偿系数大于1。
在一实施例中，获取并集中每个候选关键词的发散度，包括：从并集中确定当前待判断候选关键词；获取当前待判断候选关键词与原始文档的关联度，以及当前待判断候选关键词与已选择至关键词集合中的关键词的关联度；基于当前待判断候选关键词与原始文档的关联度、当前待判断候选关键词与已选择至关键词集合中的关键词的关联度、以及预设发散度，确定当前待判断候选关键词的发散度，直至确定出并集中每个候选关键词的发散度。
在一实施例中，当前待判断候选关键词的发散度的计算公式为：
Figure BDA0002317847000000021
其中，x表示当前待判断候选关键词的词特征向量，y表示已选择至关键词集合中的关键词的词特征向量，S1(x,D)表示当前待判断候选关键词的发散度，S(x,D)表示当前待判断候选关键词与原始文档的关联度，Ysim(x,y)表示当前待判断候选关键词与已选择至关键词集合中的关键词的关联度，λ表示预设发散度，λ大于等于0且小于等于1。
在一实施例中，从原始文档中提取候选词，包括：根据基于预设短语粒度确定的候选词提取规则，从原始文档中提取与预设短语粒度相匹配的多个候选词；其中，与预设短语粒度相匹配的候选词包括：名词性词语或者修饰性词语与名词性词语组合的名词性词组。
在一实施例中，方法还包括：从原始文档中提取出动词性、名词性或修饰性的词语构成的降噪文档；使用基于无标注语料训练的向量生成模型计算降噪文档的文档特征向量；从降噪文档中提取出名词性词语或者修饰性词语与名词性词语组合的名词性词组构成待聚类词语集合；使用向量生成模型，获取待聚类词语集合中每个待聚类词语的词语特征向量，根据词语特征向量对待聚类词语进行聚类，确定原始文档的多个聚类集合。
在一实施例中，获取第一词语集合中每个候选词与原始文档的第一关联度，包括：根据文档特征向量、多个聚类集合以及第一词语集合中每个候选词的词特征向量，计算每个候选词与原始文档的第一关联度；获取并集中每个候选关键词与原始文档的第二关联度，包括：根据文档特征向量、多个聚类集合以及并集中每个候选关键词的词特征向量，计算每个候选关键词与原始文档的第二关联度。
在一实施例中，根据以下公式计算第一关联度或第二关联度：
Figure BDA0002317847000000031
其中，z表示第一词语集合中每个候选词的词特征向量或并集中的任一候选关键词的词特征向量，S(z,D)表示第一关联度或第二关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
在一实施例中，预测模型包括双向网络和单向循环神经网络；基于原始文档，通过预测模型生成预测词，包括：使用向量生成模型计算原始文档的原始词特征向量；基于原始词特征向量，通过双向网络，得到记忆表示向量；基于记忆表示向量以及文档特征向量，通过单向循环神经网络，生成预测词。
在一实施例中，预测模型采用以下方式训练得到：获取训练集，训练集包括多个训练语料，以及每个训练语料对应的一个或多个标注关键词；通过向量生成模型得到训练语料中每个词的训练词特征向量以及训练语料的第一语料特征；基于训练词特征向量，通过双向网络，得到原始语料的第二语料特征；基于第一语料特征以及第二语料特征，通过单向循环神经网络得到输出关键词；基于标注关键词和输出关键词，计算损失，并根据损失调整预测模型的参数。
在一实施例中，根据第一关联度确定第二词语集合，包括：选择与第一关联度大于第一预设关联值的候选词构成第二词语集合；或者，选择在与第一关联度从大到小的排序中位于第一预设位置之前的候选词构成第二词语集合；或者，选择在与第一关联度从大到小的排序中位于排序的前第一预设比例部分的候选词构成第二词语集合。
根据本公开实施例的第二方面，提供一种关键词提取装置，装置包括：接收模块，用于接收原始文档；提取模块，用于从原始文档中提取候选词，所提取的候选词构成第一词语集合；第一获取模块，用于获取第一词语集合中每个候选词与原始文档的第一关联度；第一确定模块，用于根据第一关联度确定第二词语集合，第二词语集合为第一词语集合的子集；预测模块，用于基于原始文档，通过预测模型生成预测词，所得到的预测词构成第三词语集合；第二确定模块，用于确定第二词语集合和第三词语集合的并集；第二获取模块，用于获取并集中每个候选关键词与原始文档的第二关联度；发散度获取模块，用于获取并集中每个候选关键词的发散度；第一选择模块，用于基于第二关联度和发散度，从并集中选择至少一个候选关键词作为关键词，构成原始文档的关键词集合。
在一实施例中，第一选择模块，包括：第一判断模块，用于判断并集中每个候选关键词的第二关联度是否大于预设关联度阈值；第二判断模块，用于判断并集中每个候选关键词的发散度是否大于预设发散度阈值；第二选择模块，用于从并集中选择第二关联度大于预设关联度阈值且发散度大于预设发散度阈值的至少一个候选关键词，将至少一个候选关键词作为关键词。
在一实施例中，第一选择模块还包括：加权模块，用于将并集中来自第三词语集合的部分候选关键词的第二关联度乘以一个补偿系数，作为最终确定的第二关联度，补偿系数大于1。
在一实施例中，发散度获取模块，包括：第三确定模块，用于从并集中确定当前待判断候选关键词；第三获取模块，用于获取当前待判断候选关键词与原始文档的关联度，以及当前待判断候选关键词与已选择至关键词集合中的关键词的关联度；发散度确定模块，用于基于当前待判断候选关键词与原始文档的关联度、当前待判断候选关键词与已选择至关键词集合中的关键词的关联度、以及预设发散度，确定当前待判断候选关键词的发散度，直至确定出并集中每个候选关键词的发散度。
在一实施例中，发散度确定模块还用于根据以下公式计算当前待判断候选关键词的发散度：
Figure BDA0002317847000000041
其中，x表示当前待判断候选关键词的词特征向量，y表示已选择至关键词集合中的关键词的词特征向量，S1(x,D)表示当前待判断候选关键词的发散度，S(x,D)表示当前待判断候选关键词与原始文档的关联度，Ysim(x,y)表示当前待判断候选关键词与已选择至关键词集合中的关键词的关联度，λ表示预设发散度，λ大于等于0且小于等于1。
在一实施例中，提取模块还用于：根据基于预设短语粒度确定的候选词提取规则，从原始文档中提取与预设短语粒度相匹配的多个候选词；其中，与预设短语粒度相匹配的候选词包括：名词性词语或者修饰性词语与名词性词语组合的名词性词组。
在一实施例中，装置还包括：第一构成模块，用于从原始文档中提取出动词性、名词性或修饰性的词语构成的降噪文档；计算模块，用于使用基于无标注语料训练的向量生成模型计算降噪文档的文档特征向量；聚类模块，用于从降噪文档中提取出名词性词语或者修饰性词语与名词性词语组合的名词性词组构成待聚类词语集合；使用向量生成模型，获取待聚类词语集合中每个待聚类词语的词语特征向量，根据词语特征向量对待聚类词语进行聚类，确定原始文档的多个聚类集合。
在一实施例中，第一获取模块，包括：第二计算模块，用于根据文档特征向量、多个聚类集合以及第一词语集合中每个候选词的词特征向量，计算每个候选词与原始文档的第一关联度；第二获取模块，包括：第三计算模块，用于根据文档特征向量、多个聚类集合以及并集中每个候选关键词的词特征向量，计算每个候选关键词与原始文档的第二关联度。
在一实施例中，第二计算模块根据以下公式计算第一关联度；以及，第三计算模块根据以下公式计算第二关联度：
Figure BDA0002317847000000051
其中，z表示第一词语集合中每个候选词的词特征向量或并集中的任一候选关键词的词特征向量，S(z,D)表示第一关联度或第二关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
在一实施例中，预测模型包括双向网络和单向循环神经网络；预测模块，包括：词向量生成单元，用于使用向量生成模型计算原始文档的原始词特征向量；编码单元，用于基于原始词特征向量，通过双向网络，得到记忆表示向量；解码单元，用于基于记忆表示向量以及文档特征向量，通过单向循环神经网络，生成预测词。
在一实施例中，预测模型采用以下方式训练得到：获取训练集，训练集包括多个训练语料，以及每个训练语料对应的一个或多个标注关键词；通过向量生成模型得到训练语料中每个词的训练词特征向量以及训练语料的第一语料特征；基于训练词特征向量，通过双向网络，得到原始语料的第二语料特征；基于第一语料特征以及第二语料特征，通过单向循环神经网络得到输出关键词；基于标注关键词和输出关键词，计算损失，并根据损失调整预测模型的参数。
在一实施例中，第一确定模块，包括：第二构成模块，用于选择与第一关联度大于第一预设关联值的候选词构成第二词语集合；或者，第三构成模块，用于选择在与第一关联度从大到小的排序中位于第一预设位置之前的候选词构成第二词语集合；或者，第四构成模块，用于选择在与第一关联度从大到小的排序中位于排序的前第一预设比例部分的候选词构成第二词语集合。
根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的关键词提取方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储有指令，指令被处理器执行时，执行第一方面的关键词提取方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过调整关键词之间的语义发散度，从而解决关键词冗余的问题，不受候选词词频的影响，从而解决了传统方法更倾向于选取高频词的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种关键词提取方法的流程示意图；
图2是根据一示例性实施例示出的另一种关键词提取方法的流程示意图；
图3是根据一示例性实施例示出的一种预测模型的示意框图；
图4是根据一示例性实施例示出的一种关键词提取装置的示意框图；
图5是根据一示例性实施例示出的另一种关键词提取装置的示意框图；
图6是根据一示例性实施例示出的一种装置的示意框图。
图7是根据一示例性实施例示出的一种电子装置的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
相关技术中，关键词提取包括两种方法，方法一为关键词抽取(针对文内已出现的词)，方法二为关键词生成(针对文内未出现的词)。
方法一中的关键词抽取有多种实现方式，具体包括：基于统计的方式，基于图的方式，和基于序列标注的方式。其中，基于统计的方式高度依赖于专家对统计特征的设计，而基于图的方式中时间复杂度一般较高(一般在O(n2)以上)，此两种方式有一个共同的缺陷即：不能保证筛选出来的关键词与文本存在语义的关联关系，并且倾向于将频繁词作为关键词。基于序列标注的方式是有监督的方法，依赖于标注语料并且只适用于训练语料领域的任务。
方式法二中的关键词也包括多种实现方式，具体包括：基于翻译对齐的方式，和基于序列到序列(即seq2seq)的方式。此两种方式均依赖于大量标注语料，计算复杂度高，并且只适用于训练语料的领域。
为解决上述问题，本公开本实施例提供一种关键词提取方法10，本方法可以运行于移动终端，如手机等，也可以运行于网络侧设备，例如服务器、处理中心等。参见图1，关键词提取10包括步骤S11-步骤S16，并且本公开实施例中方法步骤的执行顺序不限于实施例中的描述顺序，以下对各步骤进行详细说明：
步骤S11，接收原始文档。
可以从本地获取待处理的原始文档，也可以从网络侧或其他数据库获取原始文档。
步骤S12，从原始文档中提取候选词，所提取的候选词构成第一词语集合。
通过从原始文档中直接提取候选词，能够高效的获取候选的关键词。
在一实施例中，步骤S12中，可以根据基于预设短语粒度确定的候选词提取规则，从原始文档中提取与预设短语粒度相匹配的多个候选词；其中，与预设短语粒度相匹配的候选词包括：名词性词语或者修饰性词语与名词性词语组合的名词性词组。
本实施例中，可以预设粒度，根据候选词提取规则从原始文档中提取出词性为名词和形容词的候选词；或者，根据候选词提取规则从原始文档中提取出词性为名词的候选词。
其中，从原始文档中提取出预设词性(例如预设词性是名词和形容词，再例如预设词性是名词)的候选词包括以下两种方式中的一种：
方式一，对原始文档进行人工词性标注，从进行词性标注后的文档中提取出预设词性的候选词。进行人工词性标注时对所有的词标注其相应的词性，或者只标注预设词性对应的词。
方式二，使用词性标注软件对原始文档进行词性标注。从进行词性标注后的文档中提取出预设词性的候选词。使用词性标注软件进行标注时，设置需要标注的词性的范围，此范围可以设置为所有词性，也可以设置为预设词性。
候选词提取规则是根据以下至少一者确定出的规则：包含字的个数、出现频率、同义词出现频率。
此方法中在候选词提取规则中设置多个参数，此多个参数除了涉及出现频率(即同一词的出现频率)这一种参数，还涉及包含字的个数和同义词概念相关参数，从而使提取出的候选词不只是在文中出现最频繁或较频繁的词这一单一特点的词，而是更为多元化和多方面且兼顾到同义概念的候选词。通过此方法选择出候选词相比现有技术是更能体现文中主旨的候选词。
步骤S13，获取第一词语集合中每个候选词与原始文档的第一关联度，根据第一关联度确定第二词语集合，第二词语集合为第一词语集合的子集。
在从原始文档获取了候选词之后，针对由候选词构成的第一词语集合中的每个候选词根据候选词与原始文档的关联度进行一次筛选，构成第二词语集合，由于构成第二词语集合的候选词均来自于第一词语集合，因此可以将第二词语集合视为第一词语集合的子集。
在一实施例中，步骤S13可以采用下述任一种方式：
方式一，选择与第一关联度大于第一预设关联值的候选词构成第二词语集合。例如：第一预设关联值为80％，选择第一关联度大于第一预设关联值的候选词。
方式二，选择在与第一关联度从大到小的排序中位于第一预设位置之前的候选词构成第二词语集合。例如：第一预设位置是指在排序中的第6位，与原始文档的第一关联度从大到小的排序中共包括30个位置时，选择与原始文档的第一关联度处于前5位的候选词。
方式三，选择在与第一关联度从大到小的排序中位于排序的前第一预设比例部分的候选词构成第二词语集合。例如：第一预设比例是指在排序中的10％，与原始文档的第一关联度从大到小的排序中共包括30个位置时，选择与原始文档的第一关联度处于前3位的候选词。
通过上述三种方式，能够根据需要在第一词语集合中选取合适精度和/或数量的候选词构成第二词语集合。
步骤S14，基于原始文档，通过预测模型生成预测词，所得到的预测词构成第三词语集合。
预测模型的结构和训练方式后文详述，在本实施例中，通过预测模型能够生成原始文档的关键词，得到的预测词构成第三词语集合，由于预测词是通过预测模型生成的，因此可能是不存在于原始文档直接文字记载当中的词，从而避免了一些相关技术中得到的最终关键词仅是原始文字记载的词语而导致的局限或不准确的问题。
步骤S15，确定第二词语集合和第三词语集合的并集，获取并集中每个候选关键词与原始文档的第二关联度，并且，获取并集中每个候选关键词的发散度。
第二词语集合和第三词语集合进行结合，由于其中可能存在相同的候选关键词，因此取并集。
步骤S16，基于第二关联度和发散度，从并集中选择至少一个候选关键词作为关键词，构成原始文档的关键词集合。
分别获取每个候选关键词与原始文档的第二关联度以及发散度，基于两者对候选关键词进行进一步的选择，得到与原始文档关联、又分散的关键词，从而保证了得到的关键词准确，并且能够覆盖原始文档更加全面的意思。
在一实施例中，步骤S16可以包括：判断并集中每个候选关键词的第二关联度是否大于预设关联度阈值，并判断并集中每个候选关键词的发散度是否大于预设发散度阈值；从并集中选择第二关联度大于预设关联度阈值且发散度大于预设发散度阈值的至少一个候选关键词；将至少一个候选关键词作为关键词。通过该种方法，能够选取与原始文档意思贴近同时又发散的关键词，并可以通过多次迭代的方式，选取多个关键词，迭代次数可以根据所需要的关键词数量、或关键词总字数进行确定。
在另一些实施例中，在判断并集中每个候选关键词的第二关联度是否大于预设关联度阈值之前，将并集中来自第三词语集合的部分候选关键词的第二关联度乘以一个补偿系数，作为最终确定的第二关联度，补偿系数大于1。来自于第三词语集合中的候选词是预测模型生成的，可能不存在与原始文档的文字直接记载中，因此在计算关联度时，可能存在误差，会比一些在原始文档中有直接文字记载的候选关键词的关联度更低，因此，本实施例将来自于第三词语集合的候选关键词在计算第二关联度的时候进行补偿，将计算得到的关联度乘以一补偿系数，如1.2，之后的值在作为该候选关键词最终的第二关联度的值。从而保证了结果更加准确。
本公开上述任一实施例中，根据发散度选取关键侧可以从而解决关键词提取冗余的问题、能够不受候选词词频的影响，从而解决了传统方法更倾向于选取高频词的问题。并且本公开实施例中，同时采用如步骤S12等表述的关键词提取、以及如步骤S14表述的关键词生成两种方式，并将两者统一结合，从而让两者得到的关键词有互补的效果。
例如：原始文档是一篇介绍长短期记忆网络(Long Short-Term Memory，简称LSTM)的文档，全篇专注于LSTM的具体探讨技术，并没有出现“神经网络”、“人工智能”等词汇，但是使用本方法最终选择出的关键词包括“神经网络”、“人工智能”等存在于词语关联拓扑中的词汇，这些词汇虽然没有出现在原始文档中，但可以在从不同层面上体现原始文档的主旨。
在一实施例中，如图2所示，关键词提取方法10除上述步骤外，还可以包括：步骤S21，从原始文档中提取出动词性、名词性或修饰性的词语构成的降噪文档；步骤S22，使用基于无标注语料训练的向量生成模型计算降噪文档的文档特征向量；步骤S23，从降噪文档中提取出名词性词语或者修饰性词语与名词性词语组合的名词性词组构成待聚类词语集合；步骤S24，使用向量生成模型，获取待聚类词语集合中每个待聚类词语的词语特征向量，根据词语特征向量对待聚类词语进行聚类，确定原始文档的多个聚类集合。
其中，聚类方法包括多种：例如：K均值(K-Means)聚类方法、均值漂移聚类方法、基于密度的聚类方法、用高斯混合模型(GMM)的最大期望(EM)聚类、凝聚层次聚类、图团体检测聚类方法。在聚类前，可预先设置目标聚类中心的个数(例如设置为3)，设置目标聚类中心的个数时，根据待聚类处理的文档的字数进行设置，字数越多，设置的目标聚类中心的个数的越大。上述各种可以提供聚类中心的聚类方法均可达到相似的效果，K均值聚类方法的优点包括：效果稳定，实现的时间复杂度较低，并且可以指定聚类的簇数目。
步骤S22中，使用基于无标注语料训练的向量生成模型计算所述降噪文档的文档特征向量可以包括以下方式中的一种：
方式一，使用句子转向量的模型计算降噪文档的文档特征向量，例如句子转向量的模型是sent2vec模型。
方式二，使用词语转向量的模型计算降噪文档中每个词的词语特征向量，计算降噪文档中所有词的词语特征向量的平均值作为降噪文档的文档特征向量，例如句子转向量的模型是word2vec模型。
在一种实施方式中，方式一中使用句子转向量的模型计算降噪文档的文档特征向量的步骤包括准备阶段和训练阶段。具体的：
准备阶段中，准备与原始文档的所属领域相关的大于预设字数的语料(例如：100万句以上的无标注语料)，此语料的语言种类与原始文档相同，例如原始文档为中文时，准备的语料均为中文内容。即原始文档为英文时，准备的语料均为英文内容。此语料一般是无批注的语料。需要此语料中包含词语关联拓扑中的所有词语，并且词语关联拓扑中的每个词语在语料中出现的次数不低于预设次数(例如50次)。句子转向量的模型是现有软件时，安装相关系统以及模型软件，例如安装python3.5与sent2vec工具软件。
训练阶段中，使用模型软件对语料进行训练。下面举例说明一种使用sent2vec工具软件训练阶段的具体过程：
步骤1，对准备好的语料进行清洗，保证清洗后的语料中的每句话都是语法正确、语义清晰的自然语言语句。具体清洗方法为：去除特殊字符、编程语言(如html语句)等无法有效表达语料主旨的部分。
步骤2，将清洗后的语料进行分句，每句之间以第一预设符号(例如换行符)分隔。
步骤3，将分句后的语料中每句进行分词，每个词以第二预设符号(例如空格)分隔。分词时可以使用开源软件进行分词，还可以加强词语关联拓扑中的各个词汇的权重。
步骤4，将分词操作后的语料内容以utf-8编码格式编码，存储在.txt格式文件中。
步骤5，确保计算机内存超过16G，运行sent2vec工具软件。设置软件运行必须的相关参数，例如进行以下设置：要求词汇在语料中出现的最低次数(minCount)为10，词语或文档向量维度(dim)为500，最大连词数(wordNgrams)为2，其中连词是指把两个连在一起的常见词作为一个词，训练过程中的负采样数(neg)为10，训练过程中随机失活的词数目(dropoutK)为4，训练过程中缓存的词数目(bucket)为1000000，sent2vec模型保留的最大词数(maxVocabSize)为500000。
步骤5，加载.txt格式文件，使用分词操作后的语料训练sent2vec模型。在训练成功后以.bin格式保存训练成功的sent2vec模型。
在一实施例中，步骤S13中获取第一词语集合中每个候选词与原始文档的第一关联度，可以包括：根据文档特征向量、多个聚类集合以及第一词语集合中每个候选词的词特征向量，计算每个候选词与原始文档的第一关联度。步骤S15中获取并集中每个候选关键词与原始文档的第二关联度，可以包括：根据文档特征向量、多个聚类集合以及并集中每个候选关键词的词特征向量，计算每个候选关键词与原始文档的第二关联度。
计算一词语与一文档的关联度的方法有多种，例如：词频-逆文档频率(TermFrequency–Inverse Document Frequency，TF-IDF)算法，潜在语义索引(Latent SemanticIndexing，简称LSI)算法、词移距离(Word Mover's Distance，WMD)等方法。
本公开实施例中提供了一种计算词语与文档的关联度的方法，具体如下：
步骤S13中，计算候选词与原始文档的第一关联度，可以通过以下公式(1)进行计算：
Figure BDA0002317847000000121
公式(1)中，其中，z表示第一词语集合中每个候选词的词特征向量，S(z,D)表示第一关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
相似度函数可以是任意能够表征两个向量相似度的函数，例如此相似度函数是余弦相似度函数、欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、汉明距离、杰卡德距离等。
上述公式(1)可以用于计算本公开中任一词语集合中的词语与文档的关联度。
步骤S15中，计算候选关键词与原始文档的第二关联度，也可以通过上述公式(1)进行计算，其中，公式(1)中，z表示并集中的任一候选关键词的词特征向量，S(z,D)表示第二关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
上述使用公式(1)的计算词语与文档的关联度的方法，是在使用sent2vec模型和聚类处理的基础上实现的，基于sent2vec模型对文档或句子级别的向量表征进行了优化的基础，聚类处理实现有效的分类，从而可以将词语更好地映射在同一个语义空间，使用公式(1)中结合词语与文档特征向量的关联度以及词语与聚类特征向量的关联度可以更准确有效的表达出词语与文档的关联度。
在一实施例中，预测模型包括双向网络和单向循环神经网络，步骤S14通过预测模型生成预测词可以包括：使用向量生成模型计算原始文档的原始词特征向量；基于原始词特征向量，通过双向网络，得到记忆表示向量；基于记忆表示向量以及文档特征向量，通过单向循环神经网络，生成预测词。
其中预测模型可以采用Encoder-Decoder关键词生成模型，其架构原理可参见图3，其训练过程可以如下：获取训练集，训练集包括多个训练语料，以及每个训练语料对应的一个或多个标注关键词；通过向量生成模型得到训练语料中每个词的训练词特征向量以及训练语料的第一语料特征；基于训练词特征向量，通过双向网络，得到原始语料的第二语料特征；基于第一语料特征以及第二语料特征，通过单向循环神经网络得到输出关键词；基于标注关键词和输出关键词，计算损失，并根据损失调整预测模型的参数。
以下述一具体示例对训练过程进行示例性说明，训练过程可以包括：
步骤a，准备有关键词标注的语料(2万条以上)，并且保证语料的类型一致，如学术文章、媒体新闻等，每条样本有3-5个关键词不等。
步骤b，对标注语料进行数据预处理：使用训练阶段1相同的分词器，对所有的标注语料进行分词。以样本A＝{正文；关键词1,…,关键词n}为例，将一条样本拆成多条一对一的样本A1＝{正文；关键词1}，…，An＝{正文；关键词n}，并合并成为新的语料库。
步骤c，采用完成训练的sent2vec生成词向量，输入Encoder。其中Encoder可以采用双向门控循环单元(Bi-GRU)，也可以采用双向长短期记忆网络(Bi-LSTM)。以Bi-GRU为例，其中一个方向的输出可以表示为
Figure BDA0002317847000000131
其中，xi为输入的当前第i关键词，
Figure BDA0002317847000000132
分别为前一词的正向输出和后一词的反向输出，ui为当前第i关键词的正向输出；双向输出
Figure BDA0002317847000000133
即该词的正向输出和反向输出进行拼接得到该第i关键词的双向输出。再将首尾两关键词的输出进行拼接，得到该正文的记忆表示，c1＝[u1；uL]，由于首尾两关键词的输出中包括了正文的序列信息，因此通过将首尾两关键词的输出进行拼接能够得到正文的简易向量表达。
步骤d，采用完成训练的sent2vec以降噪文本生成文档特征向量c2。
步骤e，将c1、c2作为输入送进Decoder，其中Decoder采用单向循环神经网络(RNN)，输出生成的关键词，具体形式可以表示为以下两式：st＝f(yt-1,st-1,c1,c2)，其中，输入为前一关键词yt-1、前一词的输出st-1、以及前序步骤中得到的文本的特征向量表达c1,c2，如在计算第1个关键词时，可以仅输入前序步骤中得到的文本的特征向量表达c1,c2，通过该式生成预测的关键词的向量表达st；p(yt|y1,…,t-1,x)＝g(yt-1,st,c1,c2)，其中，输入分别为前一关键词yt-1、该关键词的向量表达st、以及文本的特征向量表达c1,c2，得到输出为基于上述特征，生成的当前关键词的文本表达yt。
步骤f，根据标注的关键词与生成的关键词进行比对，调整模型参数，可以通过多次迭代训练模型。
训练完毕后的预测模型可以基于原始文档生成关键词，从而能够不受候选词词频的影响，生成可靠的关键词，从而解决了传统方法更倾向于选取高频词的问题
在一实施例中，步骤S15，获取并集中每个候选关键词的发散度可以包括：从并集中确定当前待判断候选关键词；获取当前待判断候选关键词与原始文档的关联度，以及当前待判断候选关键词与已选择至关键词集合中的关键词的关联度；基于当前待判断候选关键词与原始文档的关联度、当前待判断候选关键词与已选择至关键词集合中的关键词的关联度、以及预设发散度，确定当前待判断候选关键词的发散度，直至确定出并集中每个候选关键词的发散度。
通过上述方式，对每个候选关键词依次计算得到发散度，作为原始文档关键词选取的依据从而避免选取过多冗余关键词。
在一些实施例中，可以通过下述公式(2)计算发散度：
Figure BDA0002317847000000141
其中，x表示当前待判断候选关键词的词特征向量，y表示已选择至关键词集合中的关键词的词特征向量，S1(x,D)表示当前待判断候选关键词的发散度，S(x,D)表示当前待判断候选关键词与原始文档的关联度，Ysim(x,y)表示当前待判断候选关键词与已选择至关键词集合中的关键词的关联度，λ表示预设发散度，λ大于等于0且小于等于1，并且λ越大关键词的分散程度越高。
基于同一个发明构思，图4示出了一种关键词提取装置100，如图4所示，关键词提取装置100包括：接收模块，用于接收原始文档；提取模块110，用于从原始文档中提取候选词，所提取的候选词构成第一词语集合；第一获取模块120，用于获取第一词语集合中每个候选词与原始文档的第一关联度；第一确定模块130，用于根据第一关联度确定第二词语集合，第二词语集合为第一词语集合的子集；预测模块140，用于基于原始文档，通过预测模型预测得到预测词，所得到的预测词构成第三词语集合；第二确定模块150，用于确定第二词语集合和第三词语集合的并集；第二获取模块160，用于获取并集中每个候选关键词与原始文档的第二关联度；发散度获取模块170，用于获取并集中每个候选关键词的发散度；第一选择模块180，用于基于第二关联度和发散度，从并集中选择至少一个候选关键词作为关键词，构成原始文档的关键词集合。
在一实施例中，第一选择模块180，包括：第一判断模块，用于判断并集中每个候选关键词的第二关联度是否大于预设关联度阈值；第二判断模块，用于判断并集中每个候选关键词的发散度是否大于预设发散度阈值；第二选择模块，用于从并集中选择第二关联度大于预设关联度阈值且发散度大于预设发散度阈值的至少一个候选关键词，将至少一个候选关键词作为关键词。
在一实施例中，第一选择模块180还包括：加权模块，用于将并集中来自第三词语集合的部分候选关键词的第二关联度乘以一个补偿系数，作为最终确定的第二关联度，补偿系数大于1。
在一实施例中，发散度获取模块170，包括：第三确定模块，用于从并集中确定当前待判断候选关键词；第三获取模块，用于获取当前待判断候选关键词与原始文档的关联度，以及当前待判断候选关键词与已选择至关键词集合中的关键词的关联度；发散度确定模块，用于基于当前待判断候选关键词与原始文档的关联度、当前待判断候选关键词与已选择至关键词集合中的关键词的关联度、以及预设发散度，确定当前待判断候选关键词的发散度，直至确定出并集中每个候选关键词的发散度。
在一实施例中，发散度确定模块170还用于根据以下公式计算当前待判断候选关键词的发散度：
Figure BDA0002317847000000151
其中，x表示当前待判断候选关键词的词特征向量，y表示已选择至关键词集合中的关键词的词特征向量，S1(x,D)表示当前待判断候选关键词的发散度，S(x,D)表示当前待判断候选关键词与原始文档的关联度，Ysim(x,y)表示当前待判断候选关键词与已选择至关键词集合中的关键词的关联度，λ表示预设发散度，λ大于等于0且小于等于1。
在一实施例中，提取模块110还用于：根据基于预设短语粒度确定的候选词提取规则，从原始文档中提取与预设短语粒度相匹配的多个候选词；其中，与预设短语粒度相匹配的候选词包括：名词性词语或者修饰性词语与名词性词语组合的名词性词组。
在一实施例中，如图5所示，关键词提取装置100还包括：第一构成模块210，用于从原始文档中提取出动词性、名词性或修饰性的词语构成的降噪文档；计算模块220，用于使用基于无标注语料训练的向量生成模型计算降噪文档的文档特征向量；聚类模块230，用于从降噪文档中提取出名词性词语或者修饰性词语与名词性词语组合的名词性词组构成待聚类词语集合；使用向量生成模型，获取待聚类词语集合中每个待聚类词语的词语特征向量，根据词语特征向量对待聚类词语进行聚类，确定原始文档的多个聚类集合。
在一实施例中，第一获取模块120，包括：第二计算模块，用于根据文档特征向量、多个聚类集合以及第一词语集合中每个候选词的词特征向量，计算每个候选词与原始文档的第一关联度；第二获取模块160，包括：第三计算模块，用于根据文档特征向量、多个聚类集合以及并集中每个候选关键词的词特征向量，计算每个候选关键词与原始文档的第二关联度。
在一实施例中，第二计算模块根据以下公式计算第一关联度；以及，第三计算模块根据以下公式计算第二关联度：
Figure BDA0002317847000000161
其中，z表示第一词语集合中每个候选词的词特征向量或并集中的任一候选关键词的词特征向量，S(z,D)表示第一关联度或第二关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
在一实施例中，预测模型包括双向网络和单向循环神经网络；预测模块140，包括：词向量生成单元，用于使用向量生成模型计算原始文档的原始词特征向量；编码单元，用于基于原始词特征向量，通过双向网络，得到记忆表示向量；解码单元，用于基于记忆表示向量以及文档特征向量，通过单向循环神经网络，预测得到预测词。
在一实施例中，预测模型采用以下方式训练得到：获取训练集，训练集包括多个训练语料，以及每个训练语料对应的一个或多个标注关键词；通过向量生成模型得到训练语料中每个词的训练词特征向量以及训练语料的第一语料特征；基于训练词特征向量，通过双向网络，得到原始语料的第二语料特征；基于第一语料特征以及第二语料特征，通过单向循环神经网络得到输出关键词；基于标注关键词和输出关键词，计算损失，并根据损失调整预测模型的参数。
在一实施例中，第一确定模块130，包括：第二构成模块，用于选择与第一关联度大于第一预设关联值的候选词构成第二词语集合；或者，第三构成模块，用于选择在与第一关联度从大到小的排序中位于第一预设位置之前的候选词构成第二词语集合；或者，第四构成模块，用于选择在与第一关联度从大到小的排序中位于排序的前第一预设比例部分的候选词构成第二词语集合。
关于上述实施例中的关键词提取装置100，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的前述任一实施例装置的示意框图。例如，装置300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置300可以包括以下一个或多个组件：处理组件302，存储器304，电力组件306，多媒体组件308，音频组件310，输入/输出(I/O)的接口312，传感器组件314，以及通信组件316。
处理组件302通常控制装置300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。
存储器304被配置为存储各种类型的数据以支持在装置300的操作。这些数据的示例包括用于在装置300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件306为装置300的各种组件提供电力。电力组件306可以包括电源管理系统，一个或多个电源，及其他与为装置300生成、管理和分配电力相关联的组件。
多媒体组件308包括在所述装置300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件310被配置为输出和/或输入音频信号。例如，音频组件310包括一个麦克风(MIC)，当装置300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。
I/O接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件314包括一个或多个传感器，用于为装置300提供各个方面的状态评估。例如，传感器组件314可以检测到装置300的打开/关闭状态，组件的相对定位，例如所述组件为装置300的显示器和小键盘，传感器组件314还可以检测装置300或装置300一个组件的位置改变，用户与装置300接触的存在或不存在，装置300方位或加速/减速和装置300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件316被配置为便于装置300和其他设备之间有线或无线方式的通信。装置300可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器304，上述指令可由装置300的处理器320执行以完成上述方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是根据一示例性实施例示出的一种电子装置400的框图。例如，装置400可以被提供为一服务器。参照图7，装置400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述方法。
装置400还可以包括一个电源组件426被配置为执行装置300的电源管理，一个有线或无线网络接口450被配置为将装置400连接到网络，和一个输入输出(I/O)接口458。装置400可以操作基于存储在存储器432的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (26)

1.一种关键词提取方法，其特征在于，所述方法包括：
接收原始文档；
从所述原始文档中提取候选词，所提取的所述候选词构成第一词语集合；
获取所述第一词语集合中每个所述候选词与所述原始文档的第一关联度，根据所述第一关联度确定第二词语集合，所述第二词语集合为所述第一词语集合的子集；
基于所述原始文档，通过预测模型生成预测词，所得到的所述预测词构成第三词语集合；
确定所述第二词语集合和所述第三词语集合的并集，获取所述并集中每个候选关键词与所述原始文档的第二关联度，并且获取所述并集中每个候选关键词的发散度；
基于所述第二关联度和所述发散度，从所述并集中选择至少一个候选关键词作为关键词，构成所述原始文档的关键词集合。
2.根据权利要求1所述的关键词提取方法，其特征在于，所述基于所述第二关联度和所述发散度，从所述并集中选择至少一个候选关键词作为关键词，构成所述原始文档的关键词集合，包括：
判断所述并集中每个所述候选关键词的所述第二关联度是否大于预设关联度阈值，并判断所述并集中每个所述候选关键词的所述发散度是否大于预设发散度阈值；
从所述并集中选择所述第二关联度大于所述预设关联度阈值且所述发散度大于所述预设发散度阈值的至少一个候选关键词；
将所述至少一个候选关键词作为所述关键词。
3.根据权利要求2所述的关键词提取方法，其特征在于，在判断所述并集中每个所述候选关键词的所述第二关联度是否大于预设关联度阈值之前，还包括：
将所述并集中来自所述第三词语集合的部分候选关键词的第二关联度乘以一个补偿系数，作为最终确定的第二关联度，所述补偿系数大于1。
4.根据权利要求1至3任一项所述的关键词提取方法，其特征在于，所述获取所述并集中每个候选关键词的发散度，包括：
从所述并集中确定当前待判断候选关键词；
获取所述当前待判断候选关键词与所述原始文档的关联度，以及所述当前待判断候选关键词与已选择至所述关键词集合中的关键词的关联度；
基于所述当前待判断候选关键词与所述原始文档的关联度、所述当前待判断候选关键词与已选择至所述关键词集合中的关键词的关联度、以及预设发散度，确定所述当前待判断候选关键词的发散度，直至确定出所述并集中每个所述候选关键词的发散度。
5.根据权利要求4所述的关键词提取方法，其特征在于，所述当前待判断候选关键词的发散度的计算公式为：
Figure FDA0002317846990000021
其中，x表示所述当前待判断候选关键词的词特征向量，y表示已选择至所述关键词集合中的关键词的词特征向量，S1(x,D)表示所述当前待判断候选关键词的发散度，S(x,D)表示所述当前待判断候选关键词与所述原始文档的关联度，Ysim(x,y)表示所述当前待判断候选关键词与已选择至所述关键词集合中的关键词的关联度，λ表示所述预设发散度，λ大于等于0且小于等于1。
6.根据权利要求1所述的关键词提取方法，其特征在于，所述从所述原始文档中提取候选词，包括：
根据基于预设短语粒度确定的候选词提取规则，从所述原始文档中提取与所述预设短语粒度相匹配的多个候选词；
其中，所述与所述预设短语粒度相匹配的候选词包括：名词性词语，或者修饰性词语与名词性词语组合的名词性词组。
7.根据权利要求1所述的关键词提取方法，其特征在于，所述方法还包括：
从所述原始文档中提取出动词性、名词性或修饰性的词语构成的降噪文档；
使用基于无标注语料训练的向量生成模型计算所述降噪文档的文档特征向量；
从所述降噪文档中提取出名词性词语或者修饰性词语与名词性词语组合的名词性词组构成待聚类词语集合；
使用所述向量生成模型，获取所述待聚类词语集合中每个待聚类词语的词语特征向量，根据所述词语特征向量对所述待聚类词语进行聚类，确定所述原始文档的多个聚类集合。
8.根据权利要求7所述的关键词提取方法，其特征在于，
所述获取所述第一词语集合中每个所述候选词与所述原始文档的第一关联度，包括：
根据所述文档特征向量、所述多个聚类集合以及所述第一词语集合中每个所述候选词的词特征向量，计算每个所述候选词与所述原始文档的第一关联度；
所述获取所述并集中每个候选关键词与所述原始文档的第二关联度，包括：
根据所述文档特征向量、所述多个聚类集合以及所述并集中每个所述候选关键词的词特征向量，计算每个所述候选关键词与所述原始文档的第二关联度。
9.根据权利要求8所述的关键词提取方法，其特征在于，根据以下公式计算所述第一关联度或所述第二关联度：
Figure FDA0002317846990000031
其中，z表示所述第一词语集合中每个所述候选词的词特征向量或所述并集中的任一候选关键词的词特征向量，S(z,D)表示所述第一关联度或所述第二关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示所述文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
10.根据权利要求7所述的关键词提取方法，其特征在于，所述预测模型包括双向网络和单向循环神经网络；所述基于所述原始文档，通过预测模型生成预测词，包括：
使用所述向量生成模型计算所述原始文档的原始词特征向量；
基于所述原始词特征向量，通过所述双向网络，得到记忆表示向量；
基于所述记忆表示向量以及所述文档特征向量，通过所述单向循环神经网络，生成所述预测词。
11.根据权利要求10所述的关键词提取方法，其特征在于，所述预测模型采用以下方式训练得到：
获取训练集，所述训练集包括多个训练语料，以及每个训练语料对应的一个或多个标注关键词；
通过所述向量生成模型得到所述训练语料中每个词的训练词特征向量以及所述训练语料的第一语料特征；
基于所述训练词特征向量，通过所述双向网络，得到原始语料的第二语料特征；
基于所述第一语料特征以及所述第二语料特征，通过所述单向循环神经网络得到输出关键词；
基于所述标注关键词和所述输出关键词，计算损失，并根据所述损失调整所述预测模型的参数。
12.根据权利要求1所述的关键词提取方法，其特征在于，所述根据所述第一关联度确定第二词语集合，包括：
选择与所述第一关联度大于第一预设关联值的候选词构成所述第二词语集合；或者，
选择在与所述第一关联度从大到小的排序中位于第一预设位置之前的候选词构成所述第二词语集合；或者，
选择在与所述第一关联度从大到小的排序中位于所述排序的前第一预设比例部分的候选词构成所述第二词语集合。
13.一种关键词提取装置，其特征在于，所述装置包括：
接收模块，用于接收原始文档；
提取模块，用于从所述原始文档中提取候选词，所提取的所述候选词构成第一词语集合；
第一获取模块，用于获取所述第一词语集合中每个所述候选词与所述原始文档的第一关联度；
第一确定模块，用于根据所述第一关联度确定第二词语集合，所述第二词语集合为所述第一词语集合的子集；
预测模块，用于基于所述原始文档，通过预测模型生成预测词，所得到的所述预测词构成第三词语集合；
第二确定模块，用于确定所述第二词语集合和所述第三词语集合的并集；
第二获取模块，用于获取所述并集中每个候选关键词与所述原始文档的第二关联度；
发散度获取模块，用于获取所述并集中每个候选关键词的发散度；
第一选择模块，用于基于所述第二关联度和所述发散度，从所述并集中选择至少一个候选关键词作为关键词，构成所述原始文档的关键词集合。
14.根据权利要求13所述的关键词提取装置，其特征在于，所述第一选择模块，包括：
第一判断模块，用于判断所述并集中每个所述候选关键词的所述第二关联度是否大于预设关联度阈值；
第二判断模块，用于判断所述并集中每个所述候选关键词的所述发散度是否大于预设发散度阈值；
第二选择模块，用于从所述并集中选择所述第二关联度大于所述预设关联度阈值且所述发散度大于所述预设发散度阈值的至少一个候选关键词，将所述至少一个候选关键词作为所述关键词。
15.根据权利要求14所述的关键词提取装置，其特征在于，所述第一选择模块还包括：
加权模块，用于将所述并集中来自所述第三词语集合的部分候选关键词的第二关联度乘以一个补偿系数，作为最终确定的第二关联度，所述补偿系数大于1。
16.根据权利要求13至15任一项所述的关键词提取装置，其特征在于，所述发散度获取模块，包括：
第三确定模块，用于从所述并集中确定当前待判断候选关键词；
第三获取模块，用于获取所述当前待判断候选关键词与所述原始文档的关联度，以及所述当前待判断候选关键词与已选择至所述关键词集合中的关键词的关联度；
发散度确定模块，用于基于所述当前待判断候选关键词与所述原始文档的关联度、所述当前待判断候选关键词与已选择至所述关键词集合中的关键词的关联度、以及预设发散度，确定所述当前待判断候选关键词的发散度，直至确定出所述并集中每个所述候选关键词的发散度。
17.根据权利要求16所述的关键词提取装置，其特征在于，所述发散度确定模块还用于根据以下公式计算所述当前待判断候选关键词的发散度：
Figure FDA0002317846990000051
其中，x表示所述当前待判断候选关键词的词特征向量，y表示已选择至所述关键词集合中的关键词的词特征向量，S1(x,D)表示所述当前待判断候选关键词的发散度，S(x,D)表示所述当前待判断候选关键词与所述原始文档的关联度，Ysim(x,y)表示所述当前待判断候选关键词与已选择至所述关键词集合中的关键词的关联度，λ表示所述预设发散度，λ大于等于0且小于等于1。
18.根据权利要求13所述的关键词提取装置，其特征在于，所述提取模块还用于：
根据基于预设短语粒度确定的候选词提取规则，从所述原始文档中提取与所述预设短语粒度相匹配的多个候选词；
其中，所述与所述预设短语粒度相匹配的候选词包括：名词性词语或者修饰性词语与名词性词语组合的名词性词组。
19.根据权利要求13所述的关键词提取装置，其特征在于，所述装置还包括：
第一构成模块，用于从所述原始文档中提取出动词性、名词性或修饰性的词语构成的降噪文档；
计算模块，用于使用基于无标注语料训练的向量生成模型计算所述降噪文档的文档特征向量；
聚类模块，用于从所述降噪文档中提取出名词性词语或者修饰性词语与名词性词语组合的名词性词组构成待聚类词语集合；使用所述向量生成模型，获取所述待聚类词语集合中每个待聚类词语的词语特征向量，根据所述词语特征向量对所述待聚类词语进行聚类，确定所述原始文档的多个聚类集合。
20.根据权利要求19所述的关键词提取装置，其特征在于，
所述第一获取模块，包括：
第二计算模块，用于根据所述文档特征向量、所述多个聚类集合以及所述第一词语集合中每个所述候选词的词特征向量，计算每个所述候选词与所述原始文档的第一关联度；
所述第二获取模块，包括：
第三计算模块，用于根据所述文档特征向量、所述多个聚类集合以及所述并集中每个所述候选关键词的词特征向量，计算每个所述候选关键词与所述原始文档的第二关联度。
21.根据权利要求20所述的关键词提取装置，其特征在于，所述第二计算模块根据以下公式计算所述第一关联度；以及，所述第三计算模块根据以下公式计算所述第二关联度：
Figure FDA0002317846990000061
其中，z表示所述第一词语集合中每个所述候选词的词特征向量或所述并集中的任一候选关键词的词特征向量，S(z,D)表示所述第一关联度或所述第二关联度，α表示第一权重系数，β表示第二权重系数，Ysim()是相似度函数，V0表示所述文档特征向量，Ci是第i个聚类集合的聚类特征向量，M是聚类集合的个数，i和M为正整数。
22.根据权利要求19所述的关键词提取装置，其特征在于，所述预测模型包括双向网络和单向循环神经网络；所述预测模块，包括：
词向量生成单元，用于使用所述向量生成模型计算所述原始文档的原始词特征向量；
编码单元，用于基于所述原始词特征向量，通过双向网络，得到记忆表示向量；
解码单元，用于基于所述记忆表示向量以及所述文档特征向量，通过单向循环神经网络，生成所述预测词。
23.根据权利要求22所述的关键词提取装置，其特征在于，所述预测模型采用以下方式训练得到：
获取训练集，所述训练集包括多个训练语料，以及每个训练语料对应的一个或多个标注关键词；
通过所述向量生成模型得到所述训练语料中每个词的训练词特征向量以及所述训练语料的第一语料特征；
基于所述训练词特征向量，通过所述双向网络，得到原始语料的第二语料特征；
基于所述第一语料特征以及所述第二语料特征，通过所述单向循环神经网络得到输出关键词；
基于所述标注关键词和所述输出关键词，计算损失，并根据所述损失调整所述预测模型的参数。
24.根据权利要求13所述的关键词提取装置，其特征在于，所述第一确定模块，包括：
第二构成模块，用于选择与所述第一关联度大于第一预设关联值的候选词构成所述第二词语集合；或者，
第三构成模块，用于选择在与所述第一关联度从大到小的排序中位于第一预设位置之前的候选词构成所述第二词语集合；或者，
第四构成模块，用于选择在与所述第一关联度从大到小的排序中位于所述排序的前第一预设比例部分的候选词构成所述第二词语集合。
25.一种电子设备，其特征在于，包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行如权利要求1至12中任一项所述的关键词提取方法。
26.一种计算机可读存储介质，其特征在于，存储有指令，所述指令被处理器执行时，执行如权利要求1至12中任一项所述的关键词提取方法。
CN201911285457.0A 2019-12-13 2019-12-13 关键词提取方法、关键词提取装置及电子设备 Active CN111078838B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911285457.0A CN111078838B (zh) 2019-12-13 2019-12-13 关键词提取方法、关键词提取装置及电子设备
US16/855,583 US20200250376A1 (en) 2019-12-13 2020-04-22 Keyword extraction method, keyword extraction device and computer-readable storage medium
EP20178727.2A EP3835973A1 (en) 2019-12-13 2020-06-08 Keyword extraction method, keyword extraction device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911285457.0A CN111078838B (zh) 2019-12-13 2019-12-13 关键词提取方法、关键词提取装置及电子设备

Publications (2)

Publication Number Publication Date
CN111078838A true CN111078838A (zh) 2020-04-28
CN111078838B CN111078838B (zh) 2023-08-18

Family

ID=70314498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911285457.0A Active CN111078838B (zh) 2019-12-13 2019-12-13 关键词提取方法、关键词提取装置及电子设备

Country Status (3)

Country Link
US (1) US20200250376A1 (zh)
EP (1) EP3835973A1 (zh)
CN (1) CN111078838B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191145A (zh) * 2021-05-21 2021-07-30 百度在线网络技术（北京）有限公司 关键词的处理方法、装置、电子设备和介质
CN113792125A (zh) * 2021-08-25 2021-12-14 北京库睿科技有限公司 基于文本相关性和用户意图的智能检索排序方法和装置
CN117075756A (zh) * 2023-10-12 2023-11-17 深圳市麦沃宝科技有限公司 用于智能触摸键盘的实时感应数据处理方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304365A (zh) * 2017-02-23 2018-07-20 腾讯科技（深圳）有限公司 关键词提取方法及装置
CN112118225B (zh) * 2020-08-13 2021-09-03 紫光云(南京)数字技术有限公司 一种基于RNN的Webshell检测方法及装置
CN111985217B (zh) * 2020-09-09 2022-08-02 吉林大学 一种关键词提取方法、计算设备及可读存储介质
CN112214511A (zh) * 2020-10-10 2021-01-12 南通大学 一种基于wtp-wcd算法的api推荐方法
CN112148881B (zh) * 2020-10-22 2023-09-22 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN112328555B (zh) * 2020-11-25 2022-11-04 国家电网有限公司 一种招标文件的快速生成方法
CN112528655B (zh) * 2020-12-18 2023-12-29 北京百度网讯科技有限公司 关键词生成方法、装置、设备及存储介质
CN112667800A (zh) * 2020-12-21 2021-04-16 深圳壹账通智能科技有限公司 关键词生成方法、装置、电子设备及计算机存储介质
CN112883171B (zh) * 2021-02-02 2023-02-03 中国科学院计算技术研究所 基于bert模型的文档关键词抽取方法及装置
CN113254778B (zh) * 2021-06-07 2023-05-09 汇智数字科技控股(深圳)有限公司 一种基于亚马逊平台的asin组的关键词推荐方法
CN113128234B (zh) * 2021-06-17 2021-11-02 明品云(北京)数据科技有限公司 一种实体识别模型的建立方法、系统、电子设备及介质
CN113609248A (zh) * 2021-08-20 2021-11-05 北京金山数字娱乐科技有限公司 词权重生成模型训练方法及装置、词权重生成方法及装置
CN114328826A (zh) * 2021-12-20 2022-04-12 青岛檬豆网络科技有限公司 一种提取技术成果、技术需求的关键词和文摘的方法
CN114912449B (zh) * 2022-07-18 2022-09-30 山东大学 基于代码描述文本的技术特征关键词抽取方法与系统
CN115964658B (zh) * 2022-10-11 2023-10-20 北京睿企信息科技有限公司 一种基于聚类的分类标签更新方法及系统
CN116306616A (zh) * 2023-02-14 2023-06-23 贝壳找房(北京)科技有限公司 用于确定文本的关键词的方法和装置
CN116842945A (zh) * 2023-07-07 2023-10-03 中国标准化研究院 一种数字图书馆数据挖掘方法
CN116992875B (zh) * 2023-09-27 2024-01-09 之江实验室 文本生成方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390004A (zh) * 2012-05-11 2013-11-13 北京百度网讯科技有限公司 一种语义冗余的确定方法和装置、对应的搜索方法和装置
CN106156204A (zh) * 2015-04-23 2016-11-23 深圳市腾讯计算机系统有限公司 文本标签的提取方法和装置
CN106599269A (zh) * 2016-12-22 2017-04-26 东软集团股份有限公司 关键词提取方法及装置
CN107562717A (zh) * 2017-07-24 2018-01-09 南京邮电大学 一种基于Word2Vec与词共现相结合的文本关键词抽取方法
CN108052593A (zh) * 2017-12-12 2018-05-18 山东科技大学 一种基于主题词向量和网络结构的主题关键词提取方法
CN108334533A (zh) * 2017-10-20 2018-07-27 腾讯科技（深圳）有限公司 关键词提取方法和装置、存储介质及电子装置
CN109271514A (zh) * 2018-09-14 2019-01-25 华南师范大学 短文本分类模型的生成方法、分类方法、装置及存储介质
CN109299228A (zh) * 2018-11-27 2019-02-01 阿里巴巴集团控股有限公司 计算机执行的文本风险预测方法及装置
CN109918657A (zh) * 2019-02-28 2019-06-21 云孚科技(北京)有限公司 一种从文本中提取目标关键词的方法
CN110008401A (zh) * 2019-02-21 2019-07-12 北京达佳互联信息技术有限公司 关键词提取方法、关键词提取装置和计算机可读存储介质
CN110188344A (zh) * 2019-04-23 2019-08-30 浙江工业大学 一种多特征融合的关键词提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073568B (zh) * 2016-11-10 2020-09-11 腾讯科技（深圳）有限公司 关键词提取方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390004A (zh) * 2012-05-11 2013-11-13 北京百度网讯科技有限公司 一种语义冗余的确定方法和装置、对应的搜索方法和装置
CN106156204A (zh) * 2015-04-23 2016-11-23 深圳市腾讯计算机系统有限公司 文本标签的提取方法和装置
CN106599269A (zh) * 2016-12-22 2017-04-26 东软集团股份有限公司 关键词提取方法及装置
CN107562717A (zh) * 2017-07-24 2018-01-09 南京邮电大学 一种基于Word2Vec与词共现相结合的文本关键词抽取方法
CN108334533A (zh) * 2017-10-20 2018-07-27 腾讯科技（深圳）有限公司 关键词提取方法和装置、存储介质及电子装置
CN108052593A (zh) * 2017-12-12 2018-05-18 山东科技大学 一种基于主题词向量和网络结构的主题关键词提取方法
CN109271514A (zh) * 2018-09-14 2019-01-25 华南师范大学 短文本分类模型的生成方法、分类方法、装置及存储介质
CN109299228A (zh) * 2018-11-27 2019-02-01 阿里巴巴集团控股有限公司 计算机执行的文本风险预测方法及装置
CN110008401A (zh) * 2019-02-21 2019-07-12 北京达佳互联信息技术有限公司 关键词提取方法、关键词提取装置和计算机可读存储介质
CN109918657A (zh) * 2019-02-28 2019-06-21 云孚科技(北京)有限公司 一种从文本中提取目标关键词的方法
CN110188344A (zh) * 2019-04-23 2019-08-30 浙江工业大学 一种多特征融合的关键词提取方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191145A (zh) * 2021-05-21 2021-07-30 百度在线网络技术（北京）有限公司 关键词的处理方法、装置、电子设备和介质
CN113191145B (zh) * 2021-05-21 2023-08-11 百度在线网络技术（北京）有限公司 关键词的处理方法、装置、电子设备和介质
CN113792125A (zh) * 2021-08-25 2021-12-14 北京库睿科技有限公司 基于文本相关性和用户意图的智能检索排序方法和装置
CN113792125B (zh) * 2021-08-25 2024-04-02 北京库睿科技有限公司 基于文本相关性和用户意图的智能检索排序方法和装置
CN117075756A (zh) * 2023-10-12 2023-11-17 深圳市麦沃宝科技有限公司 用于智能触摸键盘的实时感应数据处理方法
CN117075756B (zh) * 2023-10-12 2024-03-19 深圳市麦沃宝科技有限公司 用于智能触摸键盘的实时感应数据处理方法

Also Published As

Publication number Publication date
CN111078838B (zh) 2023-08-18
EP3835973A1 (en) 2021-06-16
US20200250376A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
CN111078838B (zh) 关键词提取方法、关键词提取装置及电子设备
CN107766426B (zh) 一种文本分类方法、装置及电子设备
CN110008401B (zh) 关键词提取方法、关键词提取装置和计算机可读存储介质
US20200320116A1 (en) Providing a summary of a multimedia document in a session
WO2020082560A1 (zh) 文本关键词提取方法、装置、设备及计算机可读存储介质
US20210158789A1 (en) Providing personalized songs in automated chatting
CN108345612B (zh) 一种问题处理方法和装置、一种用于问题处理的装置
CN108399914B (zh) 一种语音识别的方法和装置
CN111241237A (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN111832316B (zh) 语义识别的方法、装置、电子设备和存储介质
WO2018195783A1 (en) Input method editor
CN107564526B (zh) 处理方法、装置和机器可读介质
CN111078884B (zh) 一种关键词提取方法、装置及介质
CN110069624B (zh) 文本处理方法及装置
CN111222316B (zh) 文本检测方法、装置及存储介质
CN111832315A (zh) 语义识别的方法、装置、电子设备和存储介质
CN111079422B (zh) 关键词提取方法、装置及存储介质
CN111274389B (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN112036195A (zh) 机器翻译方法、装置及存储介质
CN111832297A (zh) 词性标注方法、装置及计算机可读存储介质
CN108073294B (zh) 一种智能组词方法和装置、一种用于智能组词的装置
CN111400443B (zh) 信息处理方法、装置及存储介质
CN114417827A (zh) 文本上下文处理方法、装置、电子设备和存储介质
CN113326706A (zh) 一种跨语言检索方法、装置和电子设备
CN112579767B (zh) 搜索处理方法、装置和用于搜索处理的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant