CN108304365A - 关键词提取方法及装置 - Google Patents

关键词提取方法及装置 Download PDF

Info

Publication number
CN108304365A
CN108304365A CN201710101013.1A CN201710101013A CN108304365A CN 108304365 A CN108304365 A CN 108304365A CN 201710101013 A CN201710101013 A CN 201710101013A CN 108304365 A CN108304365 A CN 108304365A
Authority
CN
China
Prior art keywords
character
term
word
grammatical
grammatical term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710101013.1A
Other languages
English (en)
Inventor
王煦祥
尹庆宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710101013.1A priority Critical patent/CN108304365A/zh
Priority to PCT/CN2018/075711 priority patent/WO2018153265A1/zh
Priority to JP2019521096A priority patent/JP6956177B2/ja
Priority to EP18758452.9A priority patent/EP3518122A4/en
Priority to KR1020197017920A priority patent/KR102304673B1/ko
Publication of CN108304365A publication Critical patent/CN108304365A/zh
Priority to US16/363,646 priority patent/US10963637B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Discrimination (AREA)

Abstract

本发明实施例提供一种关键词提取方法及装置，一个实施例的方法包括：获取待处理文本的各待判断词；确定各待判断词分别对应的前文词，前文词为待处理文本中出现在待判断词的上文中的词；根据各待判断词、各待判断词分别对应的前文词在待处理文本中出现的顺序，确定各待判断词的词序列；分别将各待判断词的词序列输入到经过训练的循环神经网络模型中，得到各待判断词是待处理文本的关键词的概率；根据各待判断词是待处理文本的关键词的概率及预设阈值，确定待处理文本的关键词。该关键词提取方法及装置，能够充分考虑上文信息，得到更为准确的待判断词是待处理文本的关键词的概率，从而提高了提取的关键词的准确性。

Description

关键词提取方法及装置
技术领域
本发明涉及信息技术领域，特别是涉及一种关键词提取方法及装置。
背景技术
信息的表达方式随着信息时代的发展而日益多样，其中利用文本来表达信息的方式又是不可替代的。随着网络的发展，线上文本信息的数量呈爆炸式增长，手工获取所需文本信息的难度日益增大，因此，如何高效地获取信息成为一个十分重要的课题。
为了能够有效地处理海量的文本数据，研究人员在文本分类、文本聚类、自动文摘和信息检索等方向进行了大量的研究，而这些研究都涉及到一个关键而又基础的问题，即如何获取文本中的关键词。
传统的关键词提取方法采用基于特征选择的机器学习算法，需要人工根据数据的特点来抽取有效的特征。由于人工参与的方式包含较大的主观思想，难以保证关键词的准确性。
发明内容
基于此，有必要针对关键词准确率难以保证的问题，提供一种提高关键词准确率的关键词提取方法及装置。
一种关键词提取方法，包括：
获取待处理文本的各待判断词；
确定各所述待判断词分别对应的前文词，所述前文词为所述待处理文本中出现在所述待判断词的上文中的词；
根据各所述待判断词、各所述待判断词分别对应的前文词在所述待处理文本中出现的顺序，确定各所述待判断词的词序列；
分别将各所述待判断词的所述词序列输入到经过训练的循环神经网络模型中，得到各所述待判断词是所述待处理文本的关键词的概率；
根据各所述待判断词是所述待处理文本的关键词的概率及预设阈值，确定所述待处理文本的关键词。
一种关键词提取装置，包括：
待判词获取模块，用于获取待处理文本的各待判断词；
前文词确定模块，用于确定各所述待判断词分别对应的前文词，所述前文词为所述待处理文本中出现在所述待判断词的上文中的词；
词序列确定模块，用于根据各所述待判断词、各所述待判断词分别对应的前文词在所述待处理文本中出现的顺序确定词序列；
概率确定模块，用于分别将各所述待判断词的所述词序列输入到经过训练的循环神经网络模型中，得到各所述待判断词是所述待处理文本的关键词的概率；
关键词确定模块，用于根据各所述待判断词是所述待处理文本的关键词的概率及预设阈值，确定所述待处理文本的关键词。
上述关键词提取方法及装置，无需人工根据数据的特点抽取有效的特征，是通过将词序列输入到经过训练的循环神经网络模型中以获得对应的待判断词是关键词的概率，且输入到经过训练的循环神经网络模型中的词序列是由待判断词及待判断词的前文词确定的，因此，能够充分考虑上文信息，得到更为准确的待判断词是待处理文本的关键词的概率，从而提高了提取的关键词的准确性。
附图说明
图1为一个实施例的关键词提取方法和装置的应用环境示意图；
图2为一个实施例的服务器的内部结构示意图；
图3为一个实施例的关键词提取方法的流程图；
图4为另一个实施例的关键词提取方法的流程图；
图5为一个实施例的LSTM单元的结构图；
图6为一个实施例的关键词提取方法对应的模型的结构示意图；
图7为一个实施例的关键词提取装置的结构图；
图8为另一个实施例的关键词提取装置的结构图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1为一个实施例提供的关键词提取方法和装置的应用环境示意图。如图1所示，该应用环境包括用户终端110和服务器120，用户终端110与服务器120通信连接。用户终端110安装有搜索引擎或问答系统，用户通过用户终端110输入文本，输入文本通过通信网络被发送至服务器120，服务器120对输入文本进行处理，提取输入文本中的关键词，为用户提供搜索结果或问答结果。或者，用户通过用户终端110输入文本，用户终端110对输入文本进行处理，提取输入文本的关键词，通过通信网络将关键词发送至服务器120，服务器120为用户提供搜索结果或问答结果。
图2为一个实施例中的服务器的内部结构示意图。如图2所示，服务器包括通过系统总线连接的处理器、存储介质、内存和网络接口。其中，服务器的存储介质存储有操作系统以及一种关键词提取装置，该关键词提取装置用于实现一种关键词提取方法。该处理器用于提供计算和控制能力，支撑整个服务器的运行。服务器中的内存为存储介质中的数据的处理装置运行提供环境，网络接口用于与用户终端进行网络通信，接收用户终端发送输入文本，将根据输入文本中的关键词查询到的搜索结果或问答结果发送至用户终端。本领域技术人员可以理解，图2中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
请参照图3，在一个实施例中，提供一种关键词提取方法，该方法运行在如图1所示的服务器120中，该方法包括以下步骤：
S310：获取待处理文本的各待判断词。
待处理文本通常由单字组成。相比单字而言，词更能表达语义，更具有实际意义。
可通过对待处理文本进行预处理，从而获取到待处理文本的各待判断词。待判断词为待处理文本中需要判断其是否为待处理文本的关键词的词。待判断词可以为进行分词处理后得到的待处理文本的词，即预处理可以包括分词处理。为了提高处理效率，待判断词还可以为待处理文本的词中提取的具有实际意义的词，即预处理还可以包括识别停用词和排除停用词的处理。
在其中一个实施方式中，步骤S310之前，还可以包括步骤：获取待处理文本。
用户通过用户终端输入文本，服务器通过通信网络获取用户输入的文本得到待处理文本。
S320：确定各待判断词分别对应的前文词，前文词为待处理文本中出现在待判断词的上文中的词。
由前文词的定义，前文词为待处理文本中出现在待判断词的上文中的词，可以根据待处理文本确定各待判断词分别对应的前文词。具体地，可以根据对待处理文本进行预处理(如，分词处理)之后，得到的词在待处理文本中出现的顺序确定出现在待判断词的上文中的前文词。
S330：根据各待判断词、各待判断词分别对应的前文词在待处理文本中出现的顺序，确定各待判断词的词序列。
需要说明的是，待处理文本中的第一个待判断词可能没有对应的前文词，第一个待判断词的词序列，可以由第一个待判断词本身构成。
除了第一个待判断词之外的其它待判断词，必定存在前文词，其对应的词序列为该待判断词对应的各前文词再加上其本身，按照这些词(各前文词加上待判断词)在待处理文本中出现的顺序而确定的词的序列。
S350：分别将各待判断词的词序列输入到经过训练的循环神经网络模型中，得到各待判断词是待处理文本的关键词的概率。
本实施中的循环神经网络模型可采用RNN(Recurrent Neural Net)模型、长短时记忆(Long Short-Term Memory，LSTM)模型或GRU(Gated Recurrent Unit)模型。循环神经网络模型包括输入层、隐含层和输出层，其中隐含层中的隐含单元完成了最主要的工作，根据输入的待判断词的词序列，得到待判断词是待处理文本的关键词的概率。由于输入到经过训练的循环神经网络模型中的词序列是由待判断词及待判断词的前文词确定的，因此，能够充分考虑上文信息，得到更为准确的待判断词是待处理文本的关键词的概率。
S360：根据各待判断词是待处理文本的关键词的概率及预设阈值，确定待处理文本的关键词。
分别将待处理文本中各待判断词是关键词的概率与预设阈值进行比较，将概率大于或不小于预设阈值的待判断词确定为待处理文本中的关键词。
阈值的设定与具体需求有关，阈值设定得高，准确率就高，召回率相应降低。如果阈值设置得低，准确率就低，召回率就高，用户可根据需要设置阈值，如可以将阈值设置为0.5。
上述关键词提取方法，无需人工根据数据的特点抽取有效的特征，是通过将词序列输入到经过训练的循环神经网络模型中以获得对应的待判断词是关键词的概率，且输入到经过训练的循环神经网络模型中的词序列是由待判断词及待判断词的前文词确定的，因此，能够充分考虑上文信息，得到更为准确的待判断词是待处理文本的关键词的概率，从而提高了提取的关键词的准确性。
在其中一个实施例中，获取待处理文本的待判断词的步骤，即步骤S310，包括以下步骤：
步骤a：对待处理文本进行分词处理，获得待处理文本中的词。
步骤b：识别待处理文本中的停用词，将待处理文本中除停用词之外的词确定为待判断词。
可将停用词库中的停用词与待处理文本中的词进行比较，确定待处理文本中的停用词。例如，常用的停用词有“的”、“了”、“什么”等等，这些词一定不可能作为关键词。本实施例中，将待处理文本中除停用词之外的词确定为待判断词，而除停用词之外的词通常为实义词，将实义词作为待判断词，而不将停用词作为待判断词，一方面能够避免因停用词的输出结果影响关键词提取的准确率，另一方面，能够提高关键词提取的速度。
在其中一个实施例中，前文词包括待处理文本中出现在待判断词的上文中、除停用词之外的词。可以理解地，待处理文本中出现在待判断词的上文中、除停用词之外的词，即为待处理文本中出现在待判断词的上文中的实义词。
在另一个实施例中，前文词可以包括待处理文本中出现在待判断词的上文中的所有词，即，包括待处理文本中出现在待判断词的上文中的停用词和实义词。
在其中一个实施例中，步骤S330可以包括：
步骤a：获取各待判断词分别对应的前文词的词向量和各待判断词的词向量。
步骤b：根据各待判断词分别对应的前文词及各待判断词在待处理文本中出现的顺序、采用各待判断词分别对应的前文词的词向量和各待判断词的词向量确定各待判断词的词序列，词序列为词向量序列。
词向量是一个词对应的向量表示，是将自然语言中的词进行数字化的一种方式，词向量可利用语言模型训练得到。常用的语言模型为Word2vec，其利用深度学习的思想，可以通过训练，把对文本内容的处理简化为K维向量空间中的向量运算。在具体的实施方式中，可以通过大规模文本数据，利用Word2vec训练得到每个词的词向量，通过查找，可以获取到待处理文本中每个词的词向量，从而可以获取到各待判断词分别对应的前文词的词向量和各待判断词的词向量。
如此，采用词向量来对各个词进行表示，因而可以更好地获取词级别的语义信息，从而进一步提高提取的关键词的准确性。
需要说明的是，当输入到经过训练的循环神经网络模型中的词序列为词向量序列时，经过训练的循环神经网络模型的隐含层输出的结果也为一个向量，为了把该向量映射到0-1范围内以表示各待判断词的概率，可使用Softmax函数或Sigmoid函数。Softmax函数是一种常用的多分类回归模型。判断待判断词是否为关键词可以构造为一个二维问题，对应的Softmax函数具有二维，一维表示是关键词的概率，第二维表示不是关键词的概率。
更进一步地，获取前文词和待判断词分别对应的词向量的获取方式为通过大规模语料库训练得到。使用通过大规模语料库训练得到的词向量，可以充分利用词的语义信息从语义层面帮助判别关键词，从而可以更进一步地提高提取的关键词的准确性。
请参阅图4，在其中一个实施例中，为进一步提高提取的关键词的准确性，在分别将各待判断词的词序列输入到经过训练的循环神经网络模型中之前，还包括步骤：
S340：获取训练样本，对循环神经网络模型进行训练获得经过训练的循环神经网络模型；所述训练样本包括元素对，所述元素对包括训练文本对应的训练词及所述训练词为所述训练文本的关键词的概率。
元素对中的训练词为训练文本的关键词的概率的值包括0和1；当该值为0时，表示该训练词不是该训练文本的关键词；当该值为1时，表示该训练词是该训练文本的关键词。
在训练过程中可使用高斯分布初始化循环神经网络模型的网络参数，训练时将训练文本的第i个待判断词及该待判断词的各前文词按照各个词在待处理文本中出现的顺序形成词序列，依次将词序列中的各个词向量输入到循环神经网络模型中，得到第i个待判断词的损失，从而得到各个待判断词的损失。还需要说明的是，在训练过程中，可采用梯度下降法来更新循环神经网络模型的参数。
在其中一个实施例中，循环神经网络模型为LSTM模型。
LSTM模型在RNN模型的基础上，循环神经网络模型中的隐含单元为LSTM单元。一种LSTM单元结构图如图5所示。其中，记忆单元用于存储历史信息，历史信息的更新和使用分别受三个门的控制——输入门(Input Gate)、遗忘门(Forget Gate)和输出门(OutputGate)。由于LSTM模型能够克服对不定长序列输入的不足，可以更好地存储历史信息，因此，可以进一步地，提高提取的关键词的准确性。
请结合参阅图5和图6，以循环神经网络模型为LSTM模型对一个待判断词的词序列进行处理的过程为例，将待判断词对应的词序列中的各前文词的词向量(Word Embedding)及该待判断词的词向量，按在待处理文本中出现的顺序输入到经过训练的LSTM模型，因而，根据待判断词的数量多次利用LSTM模型，得到每个待判断词是待处理文本的关键词的概率。并且每一个待判断词都是作为LSTM模型的最后一个LSTM单元的输入，每一个待判断词的输出结果都考虑了每一个待判断词的上文历史信息，即每个待判断词对应的各个前文词的语义信息。LSTM模型输出的各待判断词的结果为LSTM模型的最后一个隐含层(LSTM单元)的输出。
下面结合具体的实施例对本发明的关键词提取方法进行说明。
请继续参阅图6，一种与关键词提取方法对应模型包括LSTM单元和Sotfmax函数。通过该模型可以构建一个分类器，对待处理文本的每个待判断词，确定其成为关键词的概率。对于一个待判断词，抽取从其句首开始的所有的词组成词序列。模型的输入为词向量，每一个LSTM单元均可以输出一个针对该LSTM单元输入的词向量对应的词的结果，将该结果结合词序列中的下一个词向量，作为下一个LSTM单元的输入。最后一个LSTM单元，将上一个LSTM单元的输出结果结合待判断词的词向量作为该最后一个LSTM单元的输入，其输出结果为以向量形式表示的待判断词对应的结果，该向量形式的结果通过Sotfmax函数，从而确定该待判断词是关键词的概率。将待判断词是关键词的概率与预设阈值进行比较可确定待判断词是否为关键词。
以待处理文本为“宁波有什么特产能在上海世博会占有一席之地呢”为例，在分词处理后，确定的待判断词包括“宁波”、“特产”、“上海”、“世博会”、“占有”和“一席之地”。分别将每个待判断词的词向量及该待判断词上文的各前文词的词向量按照其在待处理文本中出现的顺序输入到经训练得到的循环神经网络模型中，得各待判断词是待处理文本的关键词的概率。例如，当待判断词为“世博会”时，可以如图6所示，以“宁波”、“有”“特产”“上海”、“世博会”的顺序，将对应的词向量输入到循环神经网络模型中，其中，“宁波”的词向量输入至LSTM模型的第一个LSTM单元，“有”的词向量输入至第二个LSTM单元，依此类推，待判断词“世博会”的词向量输入最后一个LSTM单元，每一个LSTM单元都受上一个LSTM单元的输出影响。LSTM模型的输出为最后一个LSTM单元的输出向量经过Softmax函数映射所对应的概率值，从而得到各待判断词是待处理文本的关键词的概率。由于输入的词向量序列本身包括了待判断词对应的各前文词的向量和待判断词的词向量，从而考虑了上文信息，而且在LSTM模型内部，能够更好地存储历史信息，因此可以进一步得到更为准确的待判断词是待处理文本的关键词的概率。
在一个实施例中，提供一种关键词提取装置，如图7所示，包括：
待判词获取模块710，用于获取待处理文本的各待判断词。
前文词确定模块720，用于确定各待判断词分别对应的前文词，前文词为待处理文本中出现在待判断词的上文中的词。
词序列确定模块730，用于根据各待判断词、各待判断词分别对应的前文词在待处理文本中出现的顺序确定词序列。
概率确定模块750，用于分别将各待判断词的词序列输入到经过训练的循环神经网络模型中，得到各待判断词是待处理文本的关键词的概率。
关键词确定模块760，用于根据各待判断词是待处理文本的关键词的概率及预设阈值，确定待处理文本的关键词。
上述关键词提取装置，无需人工根据数据的特点抽取有效的特征，是通过将词序列输入到经过训练的循环神经网络模型中以获得对应的待判断词是关键词的概率，且输入到经过训练的循环神经网络模型中的词序列是由待判断词及待判断词的前文词确定的，因此，能够充分考虑上文信息，得到更为准确的待判断词是待处理文本的关键词的概率，从而提高了提取的关键词的准确性。
请参阅图8，在其中一个实施例中，待判词获取模块710，包括：
分词处理单元711，用于对待处理文本进行分词处理，获得待处理文本中的词。
识别确定单元713，用于识别待处理文本中的停用词，将待处理文本中除停用词之外的词确定为待判断词。
在其中一个实施例中，前文词包括待处理文本中出现在待判断词的上文中、除停用词之外的词。
在其中一个实施例中，还包括：词向量获取模块731；
词向量获取模块731，用于获取各待判断词分别对应的前文词的词向量和各待判断词的词向量；
词序列确定模块730，根据各待判断词分别对应的前文词及各待判断词在待处理文本中出现的顺序、采用各待判断词分别对应的前文词的词向量和各待判断词的词向量确定各待判断词的词序列，词序列为词向量序列。
请继续参阅图8，在其中一个实施例中，还包括：
模型训练模块740，用于获取训练样本，对循环神经网络模型进行训练获得经过训练的循环神经网络模型；所述训练样本包括元素对，所述元素对包括训练文本对应的训练词及所述训练词为所述训练文本的关键词的概率。
在其中一个实施例中，循环神经网络模型为LSTM模型。
由于上述关键词提取装置与上述关键词提取方法相互对应，对于装置中与上述方法对应的具体技术特征，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种关键词提取方法，其特征在于，包括：
获取待处理文本的各待判断词；
确定各所述待判断词分别对应的前文词，所述前文词为所述待处理文本中出现在所述待判断词的上文中的词；
根据各所述待判断词、各所述待判断词分别对应的前文词在所述待处理文本中出现的顺序，确定各所述待判断词的词序列；
分别将各所述待判断词的所述词序列输入到经过训练的循环神经网络模型中，得到各所述待判断词是所述待处理文本的关键词的概率；
根据各所述待判断词是所述待处理文本的关键词的概率及预设阈值，确定所述待处理文本的关键词。
2.根据权利要求1所述的关键词提取方法，其特征在于，所述获取待处理文本的待判断词的步骤，包括：
对所述待处理文本进行分词处理，获得所述待处理文本中的词；
识别所述待处理文本中的停用词，将所述待处理文本中除所述停用词之外的词确定为待判断词。
3.根据权利要求1所述的关键词提取方法，其特征在于，所述根据各所述待判断词、各所述待判断词分别对应的前文词在所述待处理文本中出现的顺序，确定各所述待判断词的词序列的步骤，包括：
获取各所述待判断词分别对应的前文词的词向量和各所述待判断词的词向量；
根据各所述待判断词分别对应的前文词及各所述待判断词在所述待处理文本中出现的顺序，采用各所述待判断词分别对应的前文词的词向量和所述各待判断词的词向量确定各所述待判断词的词序列，所述词序列为词向量序列。
4.根据权利要求1所述的关键词提取方法，其特征在于，在分别将各所述待判断词的所述词序列输入到经过训练的循环神经网络模型中之前，还包括步骤：
获取训练样本，对循环神经网络模型进行训练获得所述经过训练的循环神经网络模型；所述训练样本包括元素对，所述元素对包括训练文本对应的训练词及所述训练词为所述训练文本的关键词的概率。
5.根据权利要求1所述的关键词提取方法，其特征在于，所述循环神经网络模型为LSTM模型。
6.一种关键词提取装置，其特征在于，包括：
待判词获取模块，用于获取待处理文本的各待判断词；
前文词确定模块，用于确定各所述待判断词分别对应的前文词，所述前文词为所述待处理文本中出现在所述待判断词的上文中的词；
词序列确定模块，用于根据各所述待判断词、各所述待判断词分别对应的前文词在所述待处理文本中出现的顺序确定词序列；
概率确定模块，用于分别将各所述待判断词的所述词序列输入到经过训练的循环神经网络模型中，得到各所述待判断词是所述待处理文本的关键词的概率；
关键词确定模块，用于根据各所述待判断词是所述待处理文本的关键词的概率及预设阈值，确定所述待处理文本的关键词。
7.根据权利要求6所述的关键词提取装置，其特征在于，所述待判词获取模块，包括：
分词处理单元，用于对所述待处理文本进行分词处理，获得所述待处理文本中的词；
识别确定单元，用于识别所述待处理文本中的停用词，将所述待处理文本中除所述停用词之外的词确定为待判断词。
8.根据权利要求6所述的关键词提取装置，其特征在于，还包括：词向量获取模块；
所述词向量获取模块，用于获取各所述待判断词分别对应的前文词的词向量和各所述待判断词的词向量；
所述词序列确定模块，用于根据各所述待判断词分别对应的前文词及各所述待判断词在所述待处理文本中出现的顺序、采用各所述待判断词分别对应的前文词的词向量和所述各待判断词的词向量确定各所述待判断词的词序列，所述词序列为词向量序列。
9.根据权利要求6所述的关键词提取装置，其特征在于，还包括：
模型训练模块，用于获取训练样本，对循环神经网络模型进行训练获得所述经过训练的循环神经网络模型；所述训练样本包括元素对，所述元素对包括训练文本对应的训练词及所述训练词为所述训练文本的关键词的概率。
10.根据权利要求6所述的关键词提取装置，其特征在于，所述循环神经网络模型为LSTM模型。
CN201710101013.1A 2017-02-23 2017-02-23 关键词提取方法及装置 Pending CN108304365A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710101013.1A CN108304365A (zh) 2017-02-23 2017-02-23 关键词提取方法及装置
PCT/CN2018/075711 WO2018153265A1 (zh) 2017-02-23 2018-02-08 关键词提取方法、计算机设备和存储介质
JP2019521096A JP6956177B2 (ja) 2017-02-23 2018-02-08 キーワード抽出方法、コンピュータ装置及び記憶媒体
EP18758452.9A EP3518122A4 (en) 2017-02-23 2018-02-08 METHOD OF EXTRACTING KEYWORDS, COMPUTER DEVICE AND INFORMATION CARRIER
KR1020197017920A KR102304673B1 (ko) 2017-02-23 2018-02-08 키워드 추출 방법, 컴퓨터 장치, 및 저장 매체
US16/363,646 US10963637B2 (en) 2017-02-23 2019-03-25 Keyword extraction method, computer equipment and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710101013.1A CN108304365A (zh) 2017-02-23 2017-02-23 关键词提取方法及装置

Publications (1)

Publication Number Publication Date
CN108304365A true CN108304365A (zh) 2018-07-20

Family

ID=62872540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710101013.1A Pending CN108304365A (zh) 2017-02-23 2017-02-23 关键词提取方法及装置

Country Status (6)

Country Link
US (1) US10963637B2 (zh)
EP (1) EP3518122A4 (zh)
JP (1) JP6956177B2 (zh)
KR (1) KR102304673B1 (zh)
CN (1) CN108304365A (zh)
WO (1) WO2018153265A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598095A (zh) * 2019-08-27 2019-12-20 腾讯科技（深圳）有限公司 一种识别包含指定信息文章的方法、装置及存储介质
CN111027313A (zh) * 2018-10-08 2020-04-17 中国科学院沈阳计算技术研究所有限公司 基于注意力机制的BiGRU判决结果倾向性分析方法
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111652378A (zh) * 2019-05-23 2020-09-11 谷歌有限责任公司 学习来选择类别特征的词汇
CN111859940A (zh) * 2019-04-23 2020-10-30 北京嘀嘀无限科技发展有限公司 一种关键词提取方法、装置、电子设备及存储介质
CN112884440A (zh) * 2021-03-02 2021-06-01 岭东核电有限公司 核电试验中的试验工序执行方法、装置和计算机设备

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220215292A1 (en) * 2018-08-01 2022-07-07 Intuit Inc. Method to identify incorrect account numbers
CN109635288B (zh) * 2018-11-29 2023-05-23 东莞理工学院 一种基于深度神经网络的简历抽取方法
CN109615241A (zh) * 2018-12-13 2019-04-12 大连海事大学 一种基于卷积和循环神经网络的软件Bug分派方法
CN109740152B (zh) * 2018-12-25 2023-02-17 腾讯科技（深圳）有限公司 文本类目的确定方法、装置、存储介质和计算机设备
CN109902273B (zh) * 2019-01-30 2024-05-07 平安科技（深圳）有限公司 关键词生成模型的建模方法和装置
CN110110330B (zh) * 2019-04-30 2023-08-11 腾讯科技（深圳）有限公司 基于文本的关键词提取方法和计算机设备
US11316810B2 (en) * 2019-06-07 2022-04-26 International Business Machines Corporation Messaging system for automatically generating semantic contextual messages
CN113076756A (zh) * 2020-01-06 2021-07-06 北京沃东天骏信息技术有限公司 一种文本生成方法和装置
CN111738791B (zh) * 2020-01-20 2024-05-24 北京沃东天骏信息技术有限公司 一种文本处理方法、装置、设备和存储介质
CN113221553A (zh) * 2020-01-21 2021-08-06 腾讯科技（深圳）有限公司 一种文本处理方法、装置、设备以及可读存储介质
CN111460096B (zh) * 2020-03-26 2023-12-22 北京金山安全软件有限公司 一种碎片文本的处理方法、装置及电子设备
CN111709230B (zh) * 2020-04-30 2023-04-07 昆明理工大学 基于词性软模板注意力机制的短文本自动摘要方法
KR102216066B1 (ko) * 2020-05-04 2021-02-18 호서대학교 산학협력단 문장형 쿼리에 대해 검색결과를 제공하는 방법
KR102418260B1 (ko) * 2020-05-27 2022-07-06 삼성생명보험주식회사 고객 상담 기록 분석 방법
CN111737996B (zh) * 2020-05-29 2024-03-26 北京百度网讯科技有限公司 基于语言模型获取词向量的方法、装置、设备及存储介质
CN111831821B (zh) * 2020-06-03 2024-01-09 北京百度网讯科技有限公司 文本分类模型的训练样本生成方法、装置和电子设备
CN111967268B (zh) * 2020-06-30 2024-03-19 北京百度网讯科技有限公司 文本中的事件抽取方法、装置、电子设备和存储介质
CN112015884A (zh) * 2020-08-28 2020-12-01 欧冶云商股份有限公司 一种用户走访数据关键词提取方法、装置及存储介质
CN112131877B (zh) * 2020-09-21 2024-04-09 民生科技有限责任公司 一种海量数据下的实时中文文本分词方法
CN112052375B (zh) * 2020-09-30 2024-06-11 北京百度网讯科技有限公司 舆情获取和词粘度模型训练方法及设备、服务器和介质
KR102620697B1 (ko) * 2021-07-12 2024-01-02 주식회사 카카오뱅크 딥러닝 기반의 자연어 처리를 통한 메시지 내 이체 정보 판단 방법 및 장치
CN113761161A (zh) * 2021-08-10 2021-12-07 紫金诚征信有限公司 文本关键词提取方法、装置、计算机设备和存储介质
CN113808758B (zh) * 2021-08-31 2024-06-07 联仁健康医疗大数据科技股份有限公司 一种检验数据标准化的方法、装置、电子设备和存储介质
CN113609843B (zh) * 2021-10-12 2022-02-01 京华信息科技股份有限公司 一种基于梯度提升决策树的句词概率计算方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260359A (zh) * 2015-10-16 2016-01-20 晶赞广告（上海）有限公司 语义关键词提取方法及装置
US20160314506A1 (en) * 2015-04-23 2016-10-27 Korea University Research And Business Foundation Method, device, computer program and computer readable recording medium for determining opinion spam based on frame
CN106095749A (zh) * 2016-06-03 2016-11-09 杭州量知数据科技有限公司 一种基于深度学习的文本关键词提取方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4360122B2 (ja) * 2003-05-26 2009-11-11 富士ゼロックス株式会社 キーワード抽出装置
US7493322B2 (en) * 2003-10-15 2009-02-17 Xerox Corporation System and method for computing a measure of similarity between documents
US7519588B2 (en) * 2005-06-20 2009-04-14 Efficient Frontier Keyword characterization and application
CN101122909B (zh) * 2006-08-10 2010-06-16 株式会社日立制作所 文本信息检索装置以及文本信息检索方法
US8346534B2 (en) * 2008-11-06 2013-01-01 University of North Texas System Method, system and apparatus for automatic keyword extraction
US9177333B2 (en) * 2010-06-17 2015-11-03 Microsoft Technology Licensing, Llc Ad copy quality detection and scoring
CN101944099B (zh) * 2010-06-24 2012-05-30 西北工业大学 一种使用本体进行文本文档自动分类的方法
US9715660B2 (en) * 2013-11-04 2017-07-25 Google Inc. Transfer learning for deep neural network based hotword detection
JP6230190B2 (ja) * 2014-01-09 2017-11-15 日本放送協会 重要語抽出装置、及びプログラム
KR102305584B1 (ko) * 2015-01-19 2021-09-27 삼성전자주식회사 언어 모델 학습 방법 및 장치, 언어 인식 방법 및 장치
US9916376B2 (en) * 2015-08-11 2018-03-13 Fujitsu Limited Digital document keyword generation
CN105139237A (zh) * 2015-09-25 2015-12-09 百度在线网络技术（北京）有限公司 信息推送的方法和装置
CN105955952A (zh) * 2016-05-03 2016-09-21 成都数联铭品科技有限公司 一种基于双向递归神经网络的信息提取方法
US10056083B2 (en) * 2016-10-18 2018-08-21 Yen4Ken, Inc. Method and system for processing multimedia content to dynamically generate text transcript
US10255269B2 (en) * 2016-12-30 2019-04-09 Microsoft Technology Licensing, Llc Graph long short term memory for syntactic relationship discovery
CN111078838B (zh) * 2019-12-13 2023-08-18 北京小米智能科技有限公司 关键词提取方法、关键词提取装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314506A1 (en) * 2015-04-23 2016-10-27 Korea University Research And Business Foundation Method, device, computer program and computer readable recording medium for determining opinion spam based on frame
CN105260359A (zh) * 2015-10-16 2016-01-20 晶赞广告（上海）有限公司 语义关键词提取方法及装置
CN106095749A (zh) * 2016-06-03 2016-11-09 杭州量知数据科技有限公司 一种基于深度学习的文本关键词提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王煦祥: "面向问答的问句关键词提取技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027313A (zh) * 2018-10-08 2020-04-17 中国科学院沈阳计算技术研究所有限公司 基于注意力机制的BiGRU判决结果倾向性分析方法
CN111859940A (zh) * 2019-04-23 2020-10-30 北京嘀嘀无限科技发展有限公司 一种关键词提取方法、装置、电子设备及存储介质
CN111859940B (zh) * 2019-04-23 2024-05-14 北京嘀嘀无限科技发展有限公司 一种关键词提取方法、装置、电子设备及存储介质
CN111652378A (zh) * 2019-05-23 2020-09-11 谷歌有限责任公司 学习来选择类别特征的词汇
US11714857B2 (en) 2019-05-23 2023-08-01 Google Llc Learning to select vocabularies for categorical features
CN111652378B (zh) * 2019-05-23 2023-11-03 谷歌有限责任公司 学习来选择类别特征的词汇
CN110598095A (zh) * 2019-08-27 2019-12-20 腾讯科技（深圳）有限公司 一种识别包含指定信息文章的方法、装置及存储介质
CN110598095B (zh) * 2019-08-27 2024-02-13 深圳市雅阅科技有限公司 一种识别包含指定信息文章的方法、装置及存储介质
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN112884440A (zh) * 2021-03-02 2021-06-01 岭东核电有限公司 核电试验中的试验工序执行方法、装置和计算机设备
CN112884440B (zh) * 2021-03-02 2024-05-24 岭东核电有限公司 核电试验中的试验工序执行方法、装置和计算机设备

Also Published As

Publication number Publication date
KR20190085098A (ko) 2019-07-17
US20190220514A1 (en) 2019-07-18
JP6956177B2 (ja) 2021-11-02
WO2018153265A1 (zh) 2018-08-30
EP3518122A1 (en) 2019-07-31
EP3518122A4 (en) 2019-11-20
US10963637B2 (en) 2021-03-30
JP2019531562A (ja) 2019-10-31
KR102304673B1 (ko) 2021-09-23

Similar Documents

Publication Publication Date Title
CN108304365A (zh) 关键词提取方法及装置
CN108763445B (zh) 专利知识库的构建方法、装置、计算机设备和存储介质
CN111444726B (zh) 基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置
CN108874782B (zh) 一种层次注意力lstm和知识图谱的多轮对话管理方法
AU2018214675B2 (en) Systems and methods for automatic semantic token tagging
CN107977361B (zh) 基于深度语义信息表示的中文临床医疗实体识别方法
US10776707B2 (en) Language translation based on search results and user interaction data
CN108304364A (zh) 关键词提取方法和装置
CN109471944A (zh) 文本分类模型的训练方法、装置及可读存储介质
CN110427461A (zh) 智能问答信息处理方法、电子设备及计算机可读存储介质
CN111950596A (zh) 一种用于神经网络的训练方法以及相关设备
CN112163429B (zh) 结合循环网络及bert的句子相关度获取方法、系统及介质
CN111542841A (zh) 一种内容识别的系统和方法
CN107563407A (zh) 一种面向网络空间多模态大数据的特征表示学习系统
CN113360675A (zh) 一种基于互联网开放世界的知识图谱特定关系补全方法
CN111985207B (zh) 一种访问控制策略的获取方法、装置及电子设备
CN112132269B (zh) 模型处理方法、装置、设备及存储介质
CN110472063A (zh) 社交媒体数据处理方法、模型训练方法及相关装置
CN115374927A (zh) 一种神经网络模型训练的方法、异常检测的方法及设备
CN116955616A (zh) 一种文本分类方法及电子设备
CN117011577A (zh) 图像分类方法、装置、计算机设备和存储介质
CN115033700A (zh) 基于相互学习网络的跨领域情感分析方法、装置以及设备
CN109376602A (zh) 一种指静脉识别方法、装置及终端设备
CN112559680B (zh) 基于多层次特征提取的文本分类方法、模型及存储介质
CN115129890A (zh) 回馈数据图谱生成方法、生成设备、问答设备及冰箱

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720