CN111950261B - 提取文本关键词的方法、设备和计算机可读存储介质 - Google Patents

提取文本关键词的方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111950261B
CN111950261B CN202011106218.7A CN202011106218A CN111950261B CN 111950261 B CN111950261 B CN 111950261B CN 202011106218 A CN202011106218 A CN 202011106218A CN 111950261 B CN111950261 B CN 111950261B
Authority
CN
China
Prior art keywords
target text
keywords
text
words
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011106218.7A
Other languages
English (en)
Other versions
CN111950261A (zh
Inventor
刘志煌
胡林红
李冠灿
罗朝亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011106218.7A priority Critical patent/CN111950261B/zh
Publication of CN111950261A publication Critical patent/CN111950261A/zh
Application granted granted Critical
Publication of CN111950261B publication Critical patent/CN111950261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及自然语言处理领域，提供了一种提取文本关键词的方法、装置、设备和计算机可读存储介质。所述方法包括：通过统计模型，获取目标文本的全局主题词，以得到目标文本的全局主题特征q 1；挖掘目标文本的频繁序列模式，以得到目标文本的关键词局部特征q 2；提取目标文本的候选关键词，构成候选关键词集；以特征集Q作为贝叶斯模型的输入，根据贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值时贝叶斯模型从候选关键词集确定的关键词a，将关键词a作为目标文本的关键词。相比于现有技术，本申请提供的技术方案使得在自然语言处理领域得到的目标文本的关键词的精度较高，而应用贝叶斯模型这一经典模型提取关键词，在计算效率上有了提高的可能。

Description

提取文本关键词的方法、设备和计算机可读存储介质
技术领域
本申请涉及自然语言处理领域，特别涉及一种提取文本关键词的方法、设备和计算机可读存储介质。
背景技术
自然语言处理（Nature Language Processing，NLP）是人工智能（ArtificialIntelligence，AI）领域的一个重要方向，而文本中关键词的提取又是NLP的典型应用。提取文本关键词的实际应用场景非常广泛，例如，对于海量文本数据的处理和分析，关键一步是将文本中的最重要的信息提取出来，而重要信息往往通过几个关键词就可以表征；又如，在百度文库等检索系统中，通过提取文章关键词与检索词进行匹配或相似度计算等，可以提高所召回结果的准确性，等等。
现有的提取文本关键词的方法是将待提取文本进行分词后选取候选关键词，根据语料学习得到主题模型，再由主题模型计算文本的主题分布和候选关键词分布，最后计算主题和候选关键词的相似度，选取相似度较高的前n个词作为关键词。
然而，上述现有的提取文本关键词方法获取的是全局主题信息，最后得到的关键词不一定就是文本真实的关键词，因而还是存在精度不高的问题。
发明内容
本申请实施例提供了一种提取文本关键词的方法、设备和计算机可读存储介质，以解决现有提取文本关键词时精度不高的问题。该技术方案如下：
一方面，提供了一种提取文本关键词的方法，该方法包括：
通过统计模型，获取目标文本的全局主题词，以得到所述目标文本的全局主题特征q 1；
挖掘所述目标文本的频繁序列模式，以得到所述目标文本的关键词局部特征q 2；
提取所述目标文本的候选关键词，构成候选关键词集；
以特征集Q作为贝叶斯模型的输入，根据所述贝叶斯模型在满足第一条件时从所述候选关键词集确定的关键词a，将所述关键词a作为所述目标文本的关键词，所述特征集Q包括所述目标文本的全局主题特征q 1和关键词局部特征q 2，所述第一条件为所述贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值，所述A为所述候选关键词集。
一方面，提供了一种提取文本关键词的装置，该装置包括：
第一特征获取模块，用于通过统计模型，获取目标文本的全局主题词，以得到所述目标文本的全局主题特征q 1；
第二特征获取模块，用于挖掘所述目标文本的频繁序列模式，以得到所述目标文本的关键词局部特征q 2；
提取模块，用于提取所述目标文本的候选关键词，构成候选关键词集；
关键词确定模块，用于以特征集Q作为贝叶斯模型的输入，根据所述贝叶斯模型在满足第一条件时从所述候选关键词集确定的关键词a，将所述关键词a作为所述目标文本的关键词，所述特征集Q包括所述目标文本的全局主题特征q 1和关键词局部特征q 2，所述第一条件为所述贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值，所述A为所述候选关键词集。
一方面，提供了一种计算机设备，该计算设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，该计算机程序代码由该一个或多个处理器加载并执行以实现该提取文本关键词的方法所执行的操作。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序由处理器加载并执行以实现该提取文本关键词的方法所执行的操作。
从上述本申请提供的技术方案可知，一方面，由于一个文本的关键词不仅与全局信息相关，还与局部信息相关，因此，本申请实施例基于目标文本的全局主题特征q 1和关键词局部特征q 2等更多维度的提取而得到目标文本的关键词，其精度要高于现有技术仅仅基于全局信息获取的文本关键词的精度；另一方面，由于目标文本的全局主题特征q 1与目标文本的关键词局部特征q 2的相关度很小即满足贝叶斯模型的特征独立性的假设，因此，能够应用贝叶斯模型这一经典模型提取关键词，在计算效率上有了提高的可能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的提取文本关键词的方法的流程图；
图2是本申请实施例提供的某个前缀对应的后缀以及<a>、<b>、<c>、<d>、<e>和<f>的支持度等信息的示意图；
图3是本申请实施例提供的分别从长度为1的频繁序列开始，挖掘频繁序列的示意图；
图4是本申请实施例提供的一种提取文本关键词的装置的结构示意图；
图5是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例基于计算机设备作为执行主体来进行介绍。此处的计算机设备可以是服务器，也可以是终端，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，而终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。上述终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例实施的载体即云服务器，其具体是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术的服务器，其中，云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云技术需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，每个物品都存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾，通过云计算来实现。
如前所述，云技术需要大量的数据资源以及基于大量数据资源的计算能力，这必然涉及大数据和人工智能云服务等作为支撑基础，其中的大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，而随着云技术时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据，适用于大数据的技术包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
另一方面，人工智能（Artificial Intelligence，AI）与上述的大数据和/或云技术相结合，产生了人工智能云服务即AIaaS（AI as a Service）。AIaaS是目前主流的一种人工智能平台的服务方式，具体而言，AIaaS平台将几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换言之，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器；另外，AI也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能，涉及领域广泛，既有硬件层面的技术也有软件层面的技术，其中，软件层面的技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。AIaaS类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
本申请实施例涉及的自然语言处理（Nature Language Processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
本申请实施例提供的方法涉及人工智能的机器学习及自然语言处理等技术，具体通过如下实施例进行说明。参见图1，是本申请实施例提供的一种提取文本关键词的方法，该方法主要包括以下步骤S101至S104，详细说明如下：
步骤S101：通过统计模型，获取目标文本的全局主题词，以得到目标文本的全局主题特征q 1。
在本申请实施例中，目标文本的全局主题词反映了一个目标文本的主题，该主题的特征即目标文本的全局主题特征q 1。作为本申请一个实施例，步骤S101可通过如下步骤S1011至步骤S1013实现：
步骤S1011：采用狄利克雷分布LDA模型，提取目标文本的主题分布向量。
狄利克雷分布LDA模型是一种统计模型，其可以确定一个文本中词语的分布特征，而词语的分布特征能够从某种程度上反映文本的主题分布，LDA模型使用如下公式表示：
Figure 906319DEST_PATH_IMAGE001
其中，
Figure 675692DEST_PATH_IMAGE002
表示文本
Figure 977360DEST_PATH_IMAGE003
的主题分布，p（）表示概率，
Figure 806776DEST_PATH_IMAGE004
表示文本
Figure 600420DEST_PATH_IMAGE003
中 的词语，
Figure 970221DEST_PATH_IMAGE005
表示文本
Figure 532921DEST_PATH_IMAGE003
中隐含的主题。
本申请实施例中，采用期望最大化算法对LDA模型进行训练，经过较少的迭代即可使模型收敛，从而得到文本-主题的分布矩阵。文章的主题分布表示词语所在文本属于每个主题词的概率，语义相近的词语具有相似的主题分布，主题分布即为文本主题分布向量，也就获取了每个目标文本的主题分布向量。
步骤S1012：对目标文本进行分词以得到目标文本的词语，并通过词嵌入获取词语的词向量。
在语言学领域，词是语言中有意义的能够单说或用于造句的最小单位，分词是对 语言信息进行处理的基础和关键。具体到本申请的技术方案，对目标文本中的句子进行分 词是获取词语的词向量的前提。作为本申请一个实施例，对目标文本进行分词以得到目标 文本的词语可以是：若词典中最长词条的长度为N，则以N作为减字开始的长度标准，将目标 文本的任意一个句串S从左向右截取长度为N的字符串
Figure 861134DEST_PATH_IMAGE006
，在词典中查找是否存在该字符 串
Figure 422301DEST_PATH_IMAGE006
的词条，若存在，则将
Figure 799056DEST_PATH_IMAGE006
标记为切分出的词，再从句串S的N+1位置开始扫描；反之， 若词典中不存在该字符串
Figure 950683DEST_PATH_IMAGE006
的词条，则将截取长度减1后，再从句串S中截取此长度的字符 串
Figure 121901DEST_PATH_IMAGE007
，重复上述匹配过程，直至截取长度减小到1为止，最终，句串S被切分成
Figure 749192DEST_PATH_IMAGE006
、
Figure 601741DEST_PATH_IMAGE008
、…、
Figure 998087DEST_PATH_IMAGE009
、…、
Figure 74628DEST_PATH_IMAGE010
的词序列，每一个
Figure 64581DEST_PATH_IMAGE009
均为词典中的词条或者是原子。作为本申请另一实施例， 对目标文本进行分词以得到目标文本的词语还可以是计算任意两个字符串x和字符串y的 互信息P(x,y)，若P(x,y)>0且大于预设阈值，则将字符串x和字符串y判定为一个词，若P(x, y)<0，则字符串x和字符串y不会组成一个词即字符串x和字符串y为两个不同的词。需要说 明的是，当P(x,y)=0，则表明字符串x和字符串y之间的关系不明，需要采用其他方式来判断 是否为一个词。
在通过分词的处理得到目标文本的词语后，后续是通过词嵌入获取词语的词向 量。所谓词向量，是指对词典D中的任意一个词w，确定一个固定长度的实值向量
Figure 517559DEST_PATH_IMAGE011
，该实值向量
Figure 768411DEST_PATH_IMAGE012
即词w的词向量，m为词向量的长度。词向量具有良好的 语义特性，是表示词语特征的常用方式。词向量每一维的值代表一个具有一定的语义和语 法上解释的特征，因此，可以将词向量的每一维称为一个词语特征。在本申请实施例中，是 通过word2vec模型这种词嵌入方式获取目标文本的词语的词向量，word2vec模型获取词语 的词向量的过程，本质上是一种降维操作，即，将词语从 one-hot encoder（hot表示降维之 前的向量中唯一的一个使用“1”表示的分量）形式的向量降维到word2vec 形式表示的向 量。
步骤S1013：计算词语的词向量与目标文本的主题分布向量的相似度，将词语中词向量与主题分布向量的相似度大于预设阈值的词语确定为目标文本的全局主题词。
在本申请实施例中，若使用A表示任意一个词向量，B表示目标文本的主题分布向 量，则计算词语的词向量与目标文本的主题分布向量的相似度时，可以采用计算A和B的余 弦相似度来计算词语的词向量与目标文本的主题分布向量的相似度，具体地，若采用
Figure 278503DEST_PATH_IMAGE013
表示A和B的余弦相似度，则：
Figure 755751DEST_PATH_IMAGE014
其中，
Figure 74737DEST_PATH_IMAGE015
表示词向量A的第i个分量，
Figure 117780DEST_PATH_IMAGE016
表示主题分布向量B的第i个分量，n表示 词向量A或主题分布向量B的维度。
在计算出词语的词向量与目标文本的主题分布向量的相似度后，将计算出来的任 意一个相似度与预设阈值比较，只要该相似度大于预设阈值，则将此时对应的词语确定为 目标文本的全局主题词。例如，假设“芯片”对应的词向量
Figure 4964DEST_PATH_IMAGE017
与目标文本的主题分布向量的 相似度
Figure 562985DEST_PATH_IMAGE018
大于预设阈值，则将“芯片”确定为目标文本的一个全局主题词。
为了进一步使得目标文本的全局主题特征q 1与后续得到的目标文本的关键词局部特征q 2相关度更小，从而能够更好地满足贝叶斯模型的特征独立这一强假设条件，在本申请实施例中，可以将目标文本的全局主题词进行聚类，聚类后得到的主题标签作为目标文本的全局主题特征q 1。例如，将目标文本的全局主题词“芯片”、“5G”等聚类为“科技”这一主题标签，将“科技”这一主题标签作为目标文本的全局主题特征q 1。
步骤S102：挖掘目标文本的频繁序列模式，以得到目标文本的关键词局部特征q 2。
在阐述步骤S102的技术方案之前，首先对项集和序列等相关概念做一个说明。所谓项集，是由若干项组成，这些项没有时间上的先后关系。与项集不同，序列是由若干项集组成的序列，序列中的项具有时间上的先后关系，例如序列<a(abc)(ac)d(cf)>是由a、abc、ac、d和cf共5个项集组成，并且，项集a在项集abc、ac、d和cf之前，项集abc在项集ac、d和cf之前，项集ac在项集d和cf之前，项集d在项集cf之前。
作为本申请一个实施例，步骤S102由以下步骤S1至步骤S4实现，说明如下：
步骤S1：将目标文本的字词序列化为序列，得到序列数据集S，记i为一个序列的长度。
所谓将目标文本的字词序列化为序列，是指将目标文本的字词序列化为如前述实施例<a(abc)(ac)d(cf)>这样的序列。
步骤S2：从字词序列中寻找长度为1的序列前缀和对应投影数据集。
所谓序列前缀，是指一个序列前面部分的子序列。例如，对于序列B=<a(abc)(ac)d(cf)>，而序列A=<a(abc)a>，则A是B的前缀。当然B的前缀不止一个，例如，<a>、<aa>和<a(ab)>都是B的前缀。而前缀投影是指序列的后缀，前缀加上后缀就可以构成一个序列。对于某一个前缀，序列里前缀后面剩下的子序列即为后缀。若前缀最后的项是项集的一部分，则用一个占位符“_”来占位表示，下表是序列<a(abc)(ac)d(cf)>的前缀及其投影的举例说明：
Figure 623344DEST_PATH_IMAGE019
在本申请实施例中，相同前缀对应的所有后缀的结合被称为前缀对应的投影数据集。
本申请挖掘目标文本的频繁序列模式的方案是从长度为1的前缀开始挖掘序列模式，搜索对应的投影数据库，得到长度为1的前缀对应的频繁序列，然后递归的挖掘长度为2的前缀所对应的频繁序列，……，以此类推，一直递归到不能挖掘到更长的前缀挖掘为止。因此，要从字词序列中寻找长度为1的序列前缀和对应投影数据集。
步骤S3：将支持度小于1/α的前缀对应的项从序列数据集S删除，得到所有频繁1项序列，其中，α为最小支持度阈值。
在本实施例中，最小支持度阈值α用于衡量一个序列是否为频繁序列，具体而言，在一个序列数据集中，若其支持度大于1/α，即若该序列在序列数据集中至少出现1/α次，则该序列可以称为频繁序列。例如，若最小支持度阈值α=50%，则对于如下表中的序列数据集：
Figure 255314DEST_PATH_IMAGE020
<(ab)c>是频繁序列，而长度为1的前缀包括<a>、<b>、<c>、<d>、<e>、<f>和<g>，以下说明如何对这6个前缀分别递归搜索寻找各个前缀对应的频繁序列。如附图2所示，示出了每个前缀对应的后缀以及<a>、<b>、<c>、<d>、<e>和<f>的支持度等信息。由于g只出现在编号为40的序列中，支持度为1，因此无法继续挖掘。长度为1的频繁序列为<a>、<b>、<c>、<d>、<e>和<f>。去除所有序列中的g，则编号为40的序列变成<e(af)cbc>。
步骤S4：对于每个长度为i且满足支持度要求的序列的前缀进行如下递归挖掘：步骤S41、确定序列的前缀对应的投影数据集，若投影数据集为空，则递归返回；步骤S42、统计投影数据集中各项的支持度，若所有项的支持度都小于1/α，则递归返回；步骤S43、将支持度大于1/α的单项和当前的前缀进行合并，得到新的前缀；步骤S44、令i增加1，前缀为合并单项后的各个前缀，分别递归执行步骤S41至步骤S44，直至得到目标文本所有频繁序列模式。
附图3给出了分别从长度为1的频繁序列开始，挖掘频繁序列的示意图。以前缀d为例，其他前缀的递归挖掘方法和前缀d一样。如附图3所示，首先对前缀d的后缀进行支持度计数，得到{a:1， b:2， c:3， d:0， e:1， f:1，_f:1}，注意：f和_f是不一样的，因为前者是在和前缀d不同的项集，而后者是和前缀d同项集。由于此时a、d、e、f和_f的支持度均小于1/α，因此，递归得到的前缀为d的2项频繁序列为<db>和<dc>，接着分别递归db和dc为前缀所对应的投影序列。首先是db前缀，此时对应的投影后缀只有<_c(ae)>、_c、a和e支持度均小于1/α，因此，无法找到以db为前缀的频繁序列。递归另外一个前缀dc，以dc为前缀的投影序列为<_f>、<(bc)(ae)>和<b>，进行支持度计数，结果为{b:2， a:1， c:1，e:1， _f:1}，只有b的支持度不小于1/α，因此得到前缀为dc的三项频繁序列为<dcb>。继续递归以<dcb>为前缀的频繁序列。由于前缀<dcb>对应的投影序列<(_c)ae>支持度小于1/α，因此不能产生4项频繁序列。至此以d为前缀的频繁序列挖掘结束，产生的频繁序列为<d>、<db>、<dc>和<dcb>。同样的方法可以得到其他以<a>、<b>、<c>、<e>和<f>为前缀的频繁序列。
为了更好地说明步骤S102的技术方案，以下以目标文本包含的句子是以下三个句子为例：
Figure 313400DEST_PATH_IMAGE021
首先假定的最小支持度阈值α=0.5，统计所有词语出现样本数即支持度，同时过滤不符合最小支持度阈值α的词，即，在以上3个句话中词语至少出现2个才能符合该最小支持度阈值α，符合最小支持度阈值α的词语及其支持度如下：
Figure 624296DEST_PATH_IMAGE022
对满足最小支持度阈值α的词语进行停用词过滤，即去除“的”、“了”……等没有实际意义的词。剩余词语在文本中的出现形式如下：
Figure 222767DEST_PATH_IMAGE023
将符合最小支持度阈值α的词序列元素构造一项前缀与其对应后缀，结果为：
Figure 915435DEST_PATH_IMAGE024
以二项前缀是“Kelee”为例，继续挖掘满足最小支持度阈值α的二项前缀和对应后缀为：
Figure 206739DEST_PATH_IMAGE025
继续挖掘满足最小支持度阈值α的三项前缀和对应后缀为：
Figure 4931DEST_PATH_IMAGE026
至此，迭代结束。然后，对目标文本所有频繁序列模式之间的包含关系进行判断； 若所有频繁序列模式中任一频繁序列模式FS 1是所有频繁序列模式中另一频繁序列模式FS 2 的子序列模式，则删除频繁序列模式FS 1，保留频繁序列模式FS 2。此处对子序列定义为：若某 个序列A所有的项集在序列B中的项集都可以找到，则A是B的子序列。根据该定义，对于序列
Figure 79197DEST_PATH_IMAGE027
和序列
Figure 279235DEST_PATH_IMAGE028
,
Figure 741440DEST_PATH_IMAGE029
，如果存在数字序列
Figure 371136DEST_PATH_IMAGE030
, 满足
Figure 576989DEST_PATH_IMAGE031
,
Figure 365953DEST_PATH_IMAGE032
...
Figure 733481DEST_PATH_IMAGE033
，则称A 是B的子序列，而B是A的超序列。对于挖掘得到的各个频繁序列模式，若超序列模式本身含 有更多的参考信息，即超序列模式包含子序列模式未包含的上下文辅助词，则保留超序列 模式，删除子序列模式。以超序列模式“Kelee坠机事故”与子序列模式“Kelee坠机”为例，超 序列模式在子序列模式的基础上还包括了上下文辅助信息“事故”，因此，保留超序列模式 “Kelee坠机事故”，删除子序列模式“Kelee坠机”。
步骤S103：提取目标文本的候选关键词，构成候选关键词集。
具体而言，提取目标文本的候选关键词，构成候选关键词集可以是：对目标文本进行分词，得到目标文本包含的词语，将目标文本包含的词语进行去重，去重后的词语作为目标文本的候选关键词，构成候选关键词集。至于对目标文本进行分词的方法，可以是前述实施例提及的方法，此处不做赘述，而将目标文本包含的词语进行去重，是指去除重复的词语，即，将分词后得到的相同的词语，只记录其中的一个。
需要说明的是，由于经上述步骤S102获取的目标文本的全局主题特征q 1，其实现方式或算法本质与经上述步骤S103得到的目标文本的关键词局部特征q 2的实现方式或算法本质完全不同，因此，目标文本的全局主题特征q 1和目标文本的关键词局部特征q 2的相关度极小，甚至没有什么相关性，这符合了利用贝叶斯模型解决问题的强假设条件。
步骤S104：以特征集Q作为贝叶斯模型的输入，根据贝叶斯模型在满足第一条件时从候选关键词集确定的关键词a，将所述关键词a作为目标文本的关键词，其中，特征集Q包括目标文本的全局主题特征q 1和关键词局部特征q 2，第一条件为贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值，A为候选关键词集。
作为公知技术，贝叶斯模型为
Figure 116052DEST_PATH_IMAGE034
。在特征集Q作为贝叶斯 模型的输入、A为候选关键词集时，当条件概率P(A|Q) 不小于第一预设阈值，此时对应的候 选关键词集中的候选关键词就是目标文本的关键词。进一步地，由于对目标文本而言，在A 为候选关键词集时，P(A)的值是确定的，因此，要使得条件概率P(A|Q) 不小于第一预设阈 值，实际是要使得
Figure 857087DEST_PATH_IMAGE035
不小于一个预设阈值。
作为本申请一个实施例，步骤S104的实现可通过如下步骤S1041和步骤S1042实现：
步骤S1041：将贝叶斯模型中的
Figure 500558DEST_PATH_IMAGE035
部分转换为每个候选关键词与全局主题 特征q 1的互信息以及每个候选关键词与关键词局部特征q 2的互信息之和
Figure 507828DEST_PATH_IMAGE036
， 其中，
Figure 502329DEST_PATH_IMAGE037
为A中的元素。
由于
Figure 49985DEST_PATH_IMAGE038
，而
Figure 688908DEST_PATH_IMAGE039
，因此，
Figure 726134DEST_PATH_IMAGE040
，对取对数，得到
Figure 169065DEST_PATH_IMAGE042
，从而，将
Figure 52707DEST_PATH_IMAGE043
部分转换为 每个候选关键词与全局主题特征q 1的互信息以及每个候选关键词与关键词局部特征q 2的互 信息之和
Figure 932939DEST_PATH_IMAGE044
，即
Figure 777398DEST_PATH_IMAGE045
=
Figure 729173DEST_PATH_IMAGE046
。
从上述步骤S1041可知，将贝叶斯模型中的
Figure 130637DEST_PATH_IMAGE047
部分转化为每个候选关键词 与全局主题特征q 1以及每个候选关键词与关键词局部特征q 2的互信息的计算，因此，提高了 贝叶斯模型计算的效率，同时减少了目标文本的关键词提取过程的噪声影响。
步骤S1042：比较
Figure 650611DEST_PATH_IMAGE048
与第二预设阈值，将
Figure 841421DEST_PATH_IMAGE049
不小于第二预 设阈值时的
Figure 268991DEST_PATH_IMAGE037
确定为关键词a。
设定第二预设阈值，将
Figure 737013DEST_PATH_IMAGE050
与第二预设阈值比较，当
Figure 552522DEST_PATH_IMAGE051
不 小于第二预设阈值时，此时得到的
Figure 902732DEST_PATH_IMAGE037
确定为目标文本的关键词a。
从上述附图1示例的技术方案可知，一方面，由于一个文本的关键词不仅与全局信息相关，还与局部信息相关，因此，本申请实施例基于目标文本的全局主题特征q 1和关键词局部特征q 2等更多维度的提取而得到目标文本的关键词，其精度要高于现有技术仅仅基于全局信息获取的文本关键词的精度；另一方面，由于目标文本的全局主题特征q 1与目标文本的关键词局部特征q 2的相关度很小即满足贝叶斯模型的特征独立性的假设，因此，能够应用贝叶斯模型这一经典模型提取关键词，在计算效率上有了提高的可能。
请参阅附图4，是本申请实施例提供的一种提取文本关键词的装置的结构示意图，该装置可以集成在终端等计算机设备中，该装置包括第一特征获取模块401、第二特征获取模块402、提取模块403和关键词确定模块404，其中：
第一特征获取模块401，用于通过统计模型，获取目标文本的全局主题词，以得到目标文本的全局主题特征q 1；
第二特征获取模块402，用于挖掘目标文本的频繁序列模式，以得到目标文本的关键词局部特征q 2；
提取模块403，用于提取目标文本的候选关键词，构成候选关键词集；
关键词确定模块404，用于以特征集Q作为贝叶斯模型的输入，根据贝叶斯模型在满足第一条件时从候选关键词集确定的关键词a，将关键词a作为目标文本的关键词，其中，特征集Q包括目标文本的全局主题特征q 1和关键词局部特征q 2，第一条件为贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值，A为候选关键词集。
在一种可能实现方式中，第一特征获取模块401还可以包括主题分布向量提取单元、词向量提取单元和相似度计算单元，其中：
分布向量提取单元，用于采用狄利克雷分布LDA模型，提取目标文本的主题分布向量；
词向量提取单元，用于对目标文本进行分词以得到目标文本的词语，并通过词嵌入获取词语的词向量；
相似度计算单元，用于计算词语的词向量与目标文本的主题分布向量的相似度，将词语中词向量与主题分布向量的相似度大于预设阈值的词语确定为目标文本的全局主题词。
在一种可能实现方式中，附图4示例的装置还可以包括聚类模块，用于将目标文本的全局主题词进行聚类，聚类后得到的主题标签作为目标文本的全局主题特征q 1。
在一种可能实现方式中，第二特征获取模块402还可以包括序列化单元单元、前缀投影确定单元、删除单元和递归挖掘单元，其中：
序列化单元，用于将目标文本的字词序列化为序列，得到序列数据集S，记i为一个序列的长度；
前缀投影确定单元，用于从字词序列中寻找长度为1的序列前缀和对应投影数据集；
删除单元，用于将支持度小于1/α的前缀对应的项从序列数据集S删除，得到所有频繁1项序列，其中，α为最小支持度阈值；
递归挖掘单元，用于对于每个长度为i且满足支持度要求的序列的前缀进行如下递归挖掘：步骤S41、确定序列的前缀对应的投影数据集，若投影数据集为空，则递归返回；步骤S42、统计投影数据集中各项的支持度，若所有项的支持度都小于1/α，则递归返回；步骤S43、将支持度大于1/α的单项和当前的前缀进行合并，得到新的前缀；步骤S44、令i增加1，前缀为合并单项后的各个前缀，分别递归执行步骤S41至步骤S44，直至得到所述目标文本所有频繁序列模式。
在一种可能实现方式中，附图4示例的装置还可以包括判断模块和保留模块，其中：
判断模块，用于对目标文本所有频繁序列模式之间的包含关系进行判断；
保留模块，用于若所有频繁序列模式中任一频繁序列模式FS 1是所有频繁序列模式中另一频繁序列模式FS 2的子序列模式，则删除频繁序列模式FS 1，保留频繁序列模式FS 2。
在一种可能实现方式中，提取模块403还可以包括分词单元和去重单元，其中：
分词单元，用于对目标文本进行分词，得到目标文本包含的词语；
去重单元，用于将目标文本包含的词语进行去重，去重后的词语作为目标文本的候选关键词。
在一种可能实现方式中，关键词确定模块404还可以包括转换单元和过滤单元，其中：
转换单元，用于将贝叶斯模型中的
Figure 337256DEST_PATH_IMAGE035
部分转换为每个候选关键词与目标文 本的全局主题特征q 1的互信息以及每个候选关键词与目标文本的关键词局部特征q 2的互信 息之和
Figure 784418DEST_PATH_IMAGE052
，其中，
Figure 442932DEST_PATH_IMAGE037
为A中的元素；
过滤单元，用于比较
Figure 749280DEST_PATH_IMAGE052
与第二预设阈值，将
Figure 580969DEST_PATH_IMAGE052
不小于第二 预设阈值时的
Figure 817391DEST_PATH_IMAGE037
确定为目标文本的关键词a。
需要说明的是，上述实施例提供的提取文本关键词的装置在提取文本关键词时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的提取文本关键词的装置与提取文本关键词的方法实施例属于同一构思，其具体实现过程以及技术效果详见方法实施例，此处不再赘述。
本申请实施例还提供一种计算机设备，该计算机设备可以为终端或者服务器等设备，如图5所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图5中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
计算机设备还包括给各个部件供电的电源503，可选地，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：通过统计模型，获取目标文本的全局主题词，以得到目标文本的全局主题特征q 1；挖掘目标文本的频繁序列模式，以得到目标文本的关键词局部特征q 2；提取目标文本的候选关键词，构成候选关键词集；以特征集Q作为贝叶斯模型的输入，根据贝叶斯模型在满足第一条件时从候选关键词集确定的关键词a，将关键词a作为目标文本的关键词，其中，特征集Q包括目标文本的全局主题特征q 1和关键词局部特征q 2，第一条件为贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值，A为候选关键词集征集Q包括目标文本的全局主题特征q 1和关键词局部特征q 2，A为候选关键词集。
以上个操作的具体实施例可参见前面的实施例，在此不再赘述。
由以上可知，一方面，由于一个文本的关键词不仅与全局信息相关，还与局部信息相关，因此，本申请实施例基于目标文本的全局主题特征q 1和关键词局部特征q 2等更多维度的提取而得到目标文本的关键词，其精度要高于现有技术仅仅基于全局信息获取的文本关键词的精度；另一方面，由于目标文本的全局主题特征q 1与目标文本的关键词局部特征q 2的相关度很小即满足贝叶斯模型的特征独立性的假设，因此，能够应用贝叶斯模型这一经典模型提取关键词，在计算效率上有了提高的可能。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种提取文本关键词的方法中的步骤。例如，该指令可以执行如下步骤：通过统计模型，获取目标文本的全局主题词，以得到目标文本的全局主题特征q 1；挖掘目标文本的频繁序列模式，以得到目标文本的关键词局部特征q 2；提取目标文本的候选关键词，构成候选关键词集；以特征集Q作为贝叶斯模型的输入，根据贝叶斯模型在满足第一条件时从候选关键词集确定的关键词a，将关键词a作为目标文本的关键词，其中，特征集Q包括目标文本的全局主题特征q 1和关键词局部特征q 2，第一条件为贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值，A为候选关键词集征集Q包括目标文本的全局主题特征q 1和关键词局部特征q 2，A为候选关键词集。
以上各个操作的具体实施方式可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种提取文本关键词的方法中的步骤，因此，可以实现本申请实施例所提供的任一种提取文本关键词的方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种提取文本关键词的方法、设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种提取文本关键词的方法，其特征在于，所述方法包括：
通过统计模型，获取目标文本的全局主题词，以得到所述目标文本的全局主题特征q 1；
挖掘所述目标文本的频繁序列模式，以得到所述目标文本的关键词局部特征q 2；
提取所述目标文本的候选关键词，构成候选关键词集；
以特征集Q作为贝叶斯模型的输入，根据所述贝叶斯模型在满足第一条件时从所述候选关键词集确定的关键词a，将所述关键词a作为所述目标文本的关键词，所述特征集Q包括所述目标文本的全局主题特征q 1和关键词局部特征q 2，所述第一条件为所述贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值，所述A为所述候选关键词集。
2.如权利要求1所述提取文本关键词的方法，其特征在于，所述通过统计模型，获取目标文本的全局主题词，以得到所述目标文本的全局主题特征q 1，包括：
采用狄利克雷分布LDA模型，提取所述目标文本的主题分布向量；
对所述目标文本进行分词以得到所述目标文本的词语，并通过词嵌入获取所述词语的词向量；
计算所述词语的词向量与所述目标文本的主题分布向量的相似度，将所述词语中词向量与所述主题分布向量的相似度大于预设阈值的词语确定为所述目标文本的全局主题词。
3.如权利要求2所述提取文本关键词的方法，其特征在于，所述方法还包括：
将所述目标文本的全局主题词进行聚类，聚类后得到的主题标签作为所述目标文本的全局主题特征q 1。
4.如权利要求1所述提取文本关键词的方法，其特征在于，所述挖掘所述目标文本的频繁序列模式，以得到所述目标文本的关键词局部特征q 2，包括：
步骤S1：将所述目标文本的字词序列化为序列，得到序列数据集S，记i为一个序列的长度；
步骤S2：从所述字词序列中寻找长度为1的序列前缀和对应投影数据集；
步骤S3：将支持度小于1/α的前缀对应的项从所述序列数据集S 中删除，得到所有频繁1项序列，所述α为最小支持度阈值；
步骤S4：对于每个长度为i且满足支持度要求的序列的前缀进行如下递归挖掘：步骤S41、确定序列的前缀对应的投影数据集，若投影数据集为空，则递归返回；步骤S42、统计投影数据集中各项的支持度，若所有项的支持度都小于1/α，则递归返回；步骤S43、将支持度大于1/α的单项和当前的前缀进行合并，得到新的前缀；步骤S44、令i增加1，前缀为合并单项后的各个前缀，分别递归执行步骤S41至步骤S44，直至得到所述目标文本所有频繁序列模式。
5.如权利要求4所述提取文本关键词的方法，其特征在于，所述方法还包括：
对所述目标文本所有频繁序列模式之间的包含关系进行判断；
若所述所有频繁序列模式中任一频繁序列模式FS 1是所述所有频繁序列模式中另一频繁序列模式FS 2的子序列模式，则删除所述频繁序列模式FS 1，保留所述频繁序列模式FS 2。
6.如权利要求1所述提取文本关键词的方法，其特征在于，所述提取所述目标文本的候选关键词，构成候选关键词集，包括：
对所述目标文本进行分词，得到所述目标文本包含的词语；
将所述目标文本包含的词语进行去重，去重后的词语作为所述目标文本的候选关键词。
7.如权利要求1所述提取文本关键词的方法，其特征在于，所述以特征集Q作为贝叶斯模型的输入，根据所述贝叶斯模型在满足第一条件时从所述候选关键词集确定的关键词a，包括：
将所述贝叶斯模型中的
Figure 905726DEST_PATH_IMAGE001
部分转换为每个所述候选关键词与所述全局主题特 征q 1的互信息以及每个所述候选关键词与所述关键词局部特征q 2的互信息之和
Figure 124830DEST_PATH_IMAGE002
，所述
Figure 740619DEST_PATH_IMAGE003
为所述A中的元素；
比较所述
Figure 34197DEST_PATH_IMAGE004
与第二预设阈值，将所述
Figure 356725DEST_PATH_IMAGE004
不小于所述第二预设阈 值时的
Figure 15240DEST_PATH_IMAGE003
确定为所述关键词a。
8.一种提取文本关键词的装置，其特征在于，所述装置包括：
第一特征获取模块，用于通过统计模型，获取目标文本的全局主题词，以得到所述目标文本的全局主题特征q 1；
第二特征获取模块，用于挖掘所述目标文本的频繁序列模式，以得到所述目标文本的关键词局部特征q 2；
提取模块，用于提取所述目标文本的候选关键词，构成候选关键词集；
关键词确定模块，用于以特征集Q作为贝叶斯模型的输入，根据所述贝叶斯模型在满足第一条件时从所述候选关键词集确定的关键词a，将所述关键词a作为所述目标文本的关键词，所述特征集Q包括所述目标文本的全局主题特征q 1和关键词局部特征q 2，所述第一条件为所述贝叶斯模型求取条件概率P(A|Q)不小于第一预设阈值，所述A为所述候选关键词集。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN202011106218.7A 2020-10-16 2020-10-16 提取文本关键词的方法、设备和计算机可读存储介质 Active CN111950261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011106218.7A CN111950261B (zh) 2020-10-16 2020-10-16 提取文本关键词的方法、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011106218.7A CN111950261B (zh) 2020-10-16 2020-10-16 提取文本关键词的方法、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111950261A CN111950261A (zh) 2020-11-17
CN111950261B true CN111950261B (zh) 2021-01-26

Family

ID=73356899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011106218.7A Active CN111950261B (zh) 2020-10-16 2020-10-16 提取文本关键词的方法、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111950261B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239273B (zh) * 2021-05-14 2023-07-28 北京百度网讯科技有限公司 用于生成文本的方法、装置、设备以及存储介质
CN113377965B (zh) * 2021-06-30 2024-02-23 中国农业银行股份有限公司 感知文本关键词的方法及相关装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180341686A1 (en) * 2017-05-26 2018-11-29 Nanfang Hu System and method for data search based on top-to-bottom similarity analysis
CN108763213A (zh) * 2018-05-25 2018-11-06 西南电子技术研究所（中国电子科技集团公司第十研究所） 主题特征文本关键词提取方法
CN109190017B (zh) * 2018-08-02 2020-11-10 腾讯科技（北京）有限公司 热点信息的确定方法、装置、服务器及存储介质
CN109885674B (zh) * 2019-02-14 2022-10-25 腾讯科技（深圳）有限公司 一种主题标签的确定、信息推荐方法及装置
CN110362685A (zh) * 2019-07-22 2019-10-22 腾讯科技（武汉）有限公司 聚类方法和聚类设备
CN111353303B (zh) * 2020-05-25 2020-08-25 腾讯科技（深圳）有限公司 词向量构建方法、装置、电子设备及存储介质
CN111400432B (zh) * 2020-06-04 2020-09-25 腾讯科技（深圳）有限公司 事件类型信息处理方法、事件类型识别方法及装置

Also Published As

Publication number Publication date
CN111950261A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN112131449B (zh) 一种基于ElasticSearch的文化资源级联查询接口的实现方法
JP2021111415A (ja) テキストテーマ生成方法、テキストテーマ生成装置、電子機器、記憶媒体およびコンピュータプログラム
CN111353303B (zh) 词向量构建方法、装置、电子设备及存储介质
CN111950261B (zh) 提取文本关键词的方法、设备和计算机可读存储介质
Mahata et al. Theme-weighted ranking of keywords from text documents using phrase embeddings
CN112115232A (zh) 一种数据纠错方法、装置及服务器
CN111966792B (zh) 一种文本处理方法、装置、电子设备及可读存储介质
CN113095080A (zh) 基于主题的语义识别方法、装置、电子设备和存储介质
CN115757743A (zh) 文档的检索词匹配方法及电子设备
CN115309915A (zh) 知识图谱构建方法、装置、设备和存储介质
CN114328800A (zh) 文本处理方法、装置、电子设备和计算机可读存储介质
CN117057349A (zh) 新闻文本关键词抽取方法、装置、计算机设备和存储介质
CN111488450A (zh) 一种用于生成关键词库的方法、装置和电子设备
CN111680146A (zh) 确定新词的方法、装置、电子设备及可读存储介质
CN114792092B (zh) 一种基于语义增强的文本主题抽取方法及装置
Gupta et al. Songs recommendation using context-based semantic similarity between lyrics
Celikyilmaz et al. An empirical investigation of word class-based features for natural language understanding
CN115329754A (zh) 一种文本主题提取方法、装置、设备及存储介质
CN111046662B (zh) 分词模型的训练方法、装置、系统和存储介质
CN112182235A (zh) 一种构建知识图谱的方法、装置、计算机设备及存储介质
CN112597305A (zh) 基于深度学习的科技文献作者名消歧方法及web端消歧装置
CN113807429B (zh) 企业的分类方法、装置、计算机设备和存储介质
Farokhnejad et al. Classifying Micro-text Document Datasets: Application to Query Expansion of Crisis-Related Tweets
CN112835852B (zh) 提升逐篇归档的效率的人物重名消歧方法、系统、设备
Ganesh et al. An Overview of Semantic Based Document Summarization in Different Languages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant