CN111209372A - 一种关键词的确定方法、装置、电子设备和存储介质 - Google Patents
一种关键词的确定方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111209372A CN111209372A CN202010003217.3A CN202010003217A CN111209372A CN 111209372 A CN111209372 A CN 111209372A CN 202010003217 A CN202010003217 A CN 202010003217A CN 111209372 A CN111209372 A CN 111209372A
- Authority
- CN
- China
- Prior art keywords
- word
- recalled
- words
- target text
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种关键词的确定方法、装置、电子设备和存储介质，其中，该方法包括：利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语；对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果；根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度；根据所述相似度，确定所述目标文本的关键词，通过上述方法确定出来的关键词为与目标文本关联程度相对较高的关键词，因此通过上述方法有利于提高确定出的关键词的准确度，进而可以为目标文本的准确推荐和准确搜索提供支持。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种关键词的确定方法、装置、电子设备和存储介质。
背景技术
对于一些资讯平台，平台内部充斥着海量的文本内容，用户想要准确的将内容搜索出来，或者平台将文本内容准确的推送给对应用户都需要依赖关键词，因此，如何准确确定文本内容中的关键词成为了搜索和推荐的关键技术。
在相关技术中，在确定文本内容的关键词时，通常基于文本内容中的词频来进行确定，即：对文本内容中出现频率最高的词语进行召回，然后将召回的词语确定为该文本内容的关键词，但是，文本内容中出现频率最高的词语有时并一定与该文本内容不相关，从而使得确定出来的关键词的准确度相对较低。
发明内容
有鉴于此，本公开实施例的目的在于提供一种关键词的确定方法、装置、电子设备和存储介质，以提高确定出来的关键词的准确度。
第一方面，本公开实施例提供了一种关键词的确定方法，包括：
利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语；
对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果；
根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度；
根据所述相似度，确定所述目标文本的关键词。
可选地，所述特征维度包括以下至少两种：
实体词语、名词词语，以及各所述待召回词语和目标文本关联程度的统计结果。
可选地，当所述特征维度为所述实体词语时，对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果，包括：
对每个所述待召回词语进行实体识别，确定该待召回词语是否为所述实体词语，以识别出的各所述待召回词语中的所述实体词语作为所述召回结果。
可选地，当所述特征维度为所述名词词语时，对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果，包括：
对每个所述待召回词语进行词性识别，确定该待召回词语是否为所述名词词语，以将识别出的各所述待召回词语中的所述名词词语作为所述召回结果。
可选地，当所述特征维度为所述统计结果时，对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果，包括：
确定各所述待召回词语在所述目标文本中出现的频率，以及各所述待召回词语在目标语料库中的逆文档频率；
计算所述频率和所述逆文档频率的乘积；
对所述待召回词语分别对应的所述乘积进行第一排序，以将第一排序结果中排名位于前K个的所述乘积对应的所述待召回词语作为所述召回结果；
其中，K为正整数。
可选地，根据所述相似度，确定所述目标文本的关键词，包括：
对所述相似度进行第二排序，以将第二排序结果中排名位于前T个的所述相似度对应的所述召回结果确定为所述关键词；
其中，T为正整数。
可选地，所述方法还包括：
获取预设时间段内在目标应用程序中进行搜索时使用的搜索语句；
确定所述搜索语句中包括的最细粒度单元能够构成的新词；
将所述新词添加到指定分词词典中，以得到所述目标分词词典。
可选地，确定所述搜索语句中包括的最细粒度单元能够构成的新词，包括：
计算每两个所述最细粒度单元之间的关联性特征值；
将所述关联性特征值作为输入参数输入到指定的树模型中，以得到所述两个最细粒度单元能够构成词语的概率；
对所述概率和预设阈值进行比较，以将超过所述预设阈值的所述概率对应的两个所述最细粒度单元构成的词语确定为所述新词。
可选地，所述关联性特征值包括以下至少一种：
每两个所述最细粒度单元之间共现频率、每两个所述最细粒度单元之间点互信息PMI、每两个所述最细粒度单元之间右熵、每两个所述最细粒度单元之间左熵，以及每两个所述最细粒度单元构成词语时在所述搜索语句中出现的频率。
第二方面，本公开实施例提供了一种关键词的确定装置，包括：
第一切词单元，用于利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语；
召回单元，用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果；
计算单元，用于根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度；
确定单元，用于根据所述相似度，确定所述目标文本的关键词。
可选地，所述特征维度包括以下至少一种：
实体词语、名词词语，以及各所述待召回词语和目标文本关联程度的统计结果。
可选地，当所述特征维度为所述实体词语时，所述召回单元的配置在用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果时，包括：
对每个所述待召回词语进行实体识别，确定该待召回词语是否为所述实体词语，以识别出的各所述待召回词语中的所述实体词语作为所述召回结果。
可选地，当所述特征维度为所述名词词语时，所述召回单元的配置在用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果时，包括：
对每个所述待召回词语进行词性识别，确定该待召回词语是否为所述名词词语，以将识别出的各所述待召回词语中的所述名词词语作为所述召回结果。
可选地，当所述特征维度为所述统计结果时，所述召回单元的配置在用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果时，包括：
确定各所述待召回词语在所述目标文本中出现的频率，以及各所述待召回词语在目标语料库中的逆文档频率；
计算所述频率和所述逆文档频率的乘积；
对所述待召回词语分别对应的所述乘积进行第一排序，以将第一排序结果中排名位于前K个的所述乘积对应的所述待召回词语作为所述召回结果；
其中，K为正整数。
可选地，所述确定单元的配置在用于根据所述相似度，确定所述目标文本的关键词时，包括：
对所述相似度进行第二排序，以将第二排序结果中排名位于前T个的所述相似度对应的所述召回结果确定为所述关键词；
其中，T为正整数。
可选地，所述确定装置还包括：
获取单元，用于获取预设时间段内在目标应用程序中进行搜索时使用的搜索语句；
第二切词单元，用于确定所述搜索语句中包括的最细粒度单元能够构成的新词；
添加单元，用于将所述新词添加到指定分词词典中，以得到所述目标分词词典。
可选地，所述第二切词单元的配置在用于确定所述搜索语句中包括的最细粒度单元能够构成的新词时，包括：
计算每两个所述最细粒度单元之间的关联性特征值；
将所述关联性特征值作为输入参数输入到指定的树模型中，以得到所述两个最细粒度单元能够构成词语的概率；
对所述概率和预设阈值进行比较，以将超过所述预设阈值的所述概率对应的两个所述最细粒度单元构成的词语确定为所述新词。
可选地，所述关联性特征值包括以下至少一种：
每两个所述最细粒度单元之间共现频率、每两个所述最细粒度单元之间点互信息PMI、每两个所述最细粒度单元之间右熵、每两个所述最细粒度单元之间左熵，以及每两个所述最细粒度单元构成词语时在所述搜索语句中出现的频率。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的确定方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面中任一项所述的确定方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开中，在使用目标词典对目标文本进行切词处理后，可以得到该目标文本包括的各个词语，即：待召回词语，由于该目标文本包括的各个词语在不同的召回方式下，可以召回不同的词语，并且在不同的召回方式下可以召回从不同角度下诠释目标文本的词语，从而使得召回的词语中包括与目标文本关联程度较高的词语，所以对待召回词语按照不同特征维度进行召回后，可以得到不同特征维度下的召回结果，并且召回结果中包括与目标文本关联程度较高的词语，由于词向量可以对一个词语进行表示，文本向量可以对一个文本进行表示，当一个词语的词向量与一个文本的文本向量相似度较高时，表示该词语和该文本向量的关联性较高，因此在得到召回结果后，可以确定召回结果中的每个词语的词向量和目标文本的文本向量之间的相似度，然后通过各词语的相似度确定出该目标文本的关键词，通过上述方法确定出来的关键词为与目标文本关联程度相对较高的关键词，因此通过上述方法有利于提高确定出的关键词的准确度，进而可以为目标文本的准确推荐和准确搜索提供支持。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开实施例一提供的一种关键词的确定方法的流程示意图；
图2为本公开实施例一提供的另一种关键词的确定方法的流程示意图；
图3为本公开实施例一提供的另一种关键词的确定方法的流程示意图；
图4为本公开实施例一提供的另一种关键词的确定方法的流程示意图；
图5为本公开实施例二提供的一种关键词的确定装置的结构示意图；
图6为本公开实施例二提供的另一种关键词的确定装置的结构示意图；
图7为本公开实施例三提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
实施例一
图1为本公开实施例一提供的一种关键词的确定方法的流程示意图，如图1所示，该确定方法包括以下步骤：
步骤101、利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语。
具体的，分词词典是文本内容挖掘的基础，通过分词词典可以将文本内容切割成最小单位的词语，由于文本内容的关键词为该文本内容的最小单元的词语，因此需要先利用分词词典对文本内容进行切词处理得到文本内容包括的词语后，在确定文本内容的关键词，由于使用不同的分词词典得到的词语是不同的，因此本公开需要利用目标分词词典对目标文本进行切词处理，以得到目标文本包括的待召回词语，其中，目标分词词典是与目标文本的文本内容相关的分词词典。
需要说明的是，具体使用何种分词词典作为目标分词词典可以根据目标文本的文本内容和实际需要进行设置，在此不做具体限定。
步骤102、对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果。
具体的，由于该目标文本包括的各个词语在不同的召回方式下，可以召回不同的词语，并且在不同的召回方式下可以召回从不同角度下诠释目标文本的词语，从而使得召回的词语中包括与目标文本关联程度较高的词语，所以对待召回词语按照不同特征维度进行召回后，可以得到不同特征维度下的召回结果，并且召回结果中包括与目标文本关联程度较高的词语。
需要说明的是，具体使用何种特征维度进行召回，以及使用多少种特征维度进行召回可以根据实际需要进行设置，在此不做具体限定。
步骤103、根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度。
具体的，由于词向量可以对一个词语进行表示，文本向量可以对一个文本进行表示，当一个词语的词向量与一个文本的文本向量相似度较高时，表示该词语和该文本向量的关联性较高，即：一个词语的词向量与一个文本的文本向量相似度能够表示该词语与和文本内容的相关程度，因此在得到召回结果后，可以确定召回结果中的每个词语的词向量和目标文本的文本向量之间的相似度，从而确定出召回结果中的各个词语和该目标文本的相关程度。
需要说明的是，在本公开中，在每个词向量和目标文本的文本向量之间的相似度时可以利用Bert模型来进行计算，并且可以预先使用特定的训练语料对该Bert模型进行训练，当然也可以通过其他模型或算法来确定相关性，具体使用何种模型或算法来确定相关性可以根据实际需要进行选择，在此不做具体限定。
举例说明，可以通过以下方式对Bert模型进行训练，获取预设时间段内在目标应用程序中进行搜索时使用的搜索语句，以及，确定使用该搜索语句时用户点击查看的所有文章，并确定该所有文章中共同出现的词语，然后将该共同出现的词语作为关键词和文章相关性的训练正例对Bert模型进行训练，并抽取所有文章中的其他词语作为关键词和文章相关性的训练负例对Bert模型进行训练，从而得到基于Bert模型的关键词抽取的相关性模型。
步骤104、根据所述相似度，确定所述目标文本的关键词。
具体的，由于相似度能够表示召回结果中的词语和目标文本的相关程度，因此可以根据相似度确定出与目标文本相关程度较高的关键词。
通过图1所示的方法确定出来的关键词为与目标文本关联程度相对较高的关键词，因此通过上述方法有利于提高确定出的关键词的准确度，进而可以为目标文本的准确推荐和准确搜索提供支持。
在一个可行的实施方案中，所述特征维度包括以下至少两种：
实体词语、名词词语，以及各所述待召回词语和目标文本关联程度的统计结果。
具体的，在特征维度是实体词语时，可以确定出目标文本中的实体词语，在特征维度是名词词语时，可以确定出目标文本中的名词词语，在特征维度是待召回词语和目标文本关联程度的统计结果，可以确定出各待召回词语和目标文本的相关程度，由于关键词一般为目标文本中的实体词语，且关键词一般为目标文本中的名词，同时关键词一般还是与目标文本相关程度较高的词语，因此通过上述至少两种特征维度确定出来的召回结果中包括与目标文本关联程度较高的词语，从而有利于提高确定出来的关键词的准确度。
需要说明的是，实体词语可以包括人名、地名、机构名、品牌名等，名词词语也可以是人名、地名、机构名、品牌名等，关于具体的实体词语和名词词语可以根据实际需要进行设置，在此不做具体限定，并且，待召回词语和目标文本关联程度的统计结果的表示方式有很多种，关于具体使用哪种统计结果可以根据实际需要进行设置，在此也不做具体限定。
在一个可行的实施方案中，当所述特征维度为所述实体词语时，在执行步骤102时，可以对每个所述待召回词语进行实体识别，确定该待召回词语是否为所述实体词语，以识别出的各所述待召回词语中的所述实体词语作为所述召回结果。
具体的，通过上述方式可以将目标文本中包括的所有实体词语确定出来，从而使得确定出来的召回结果中包括与目标文本关联程度相对较高的实体词语。
需要说明的是，在对待召回词语进行实体识别时，可以使用命名实体识别模型可以对待召回词语进行实体识别，并且，该命名实体识别模型可以采用序列标注算法进行训练，以使识别的出来的实体词语准确度相对较高，关于具体使用何种体识别模型对待召回词语进行实体识别，以及使用何种方式对体识别模型进行训练可以根据实际需要进行设置，在此不做具体限定。
在一个可行的实施方案中，当所述特征维度为所述名词词语时，在执行步骤102时，可以对每个所述待召回词语进行词性识别，确定该待召回词语是否为所述名词词语，以将识别出的各所述待召回词语中的所述名词词语作为所述召回结果。
具体的，通过上述方式可以将目标文本中包括的所有名词词语确定出来，从而使得确定出来的召回结果中包括与目标文本关联程度相对较高的名词词语。
需要说明的是，在对待召回词语进行词性识别时，可以采用指定的数据集来对待召回词语进行标注来确定出哪些待召回词语是名词词语，关于具体使用何种数据集，以及使用何种标注方式可以根据实际需要进行设置，在此不做具体限定。
需要说明的是，进行实体识别得到的实体词语和进行词性识别得到的名词词语可以是相同的，或者可以是部分相同的，再或者是完全不同的，具体可以根据实际选择的实体识别模型和数据集进行确定，在此不再详细说明。
在一个可行的实施方案中，图2为本公开实施例一提供的另一种关键词的确定方法的流程示意图，如图2所示，当所述特征维度为所述统计结果时，在执行步骤102时可以通过以下方法实现：
步骤201、确定各所述待召回词语在所述目标文本中出现的频率，以及各所述待召回词语在目标语料库中的逆文档频率。
步骤202、计算所述频率和所述逆文档频率的乘积。
步骤203、对所述待召回词语分别对应的所述乘积进行第一排序，以将第一排序结果中排名位于前K个的所述乘积对应的所述待召回词语作为所述召回结果，其中，K为正整数。
具体的，词语对于文本内容的重要程度会与它在文本内容中的出现频率成正比增加，但同时会随着它在语料库中出现的频率成反比下降，进一步的，词语在文本内容中的出现频率相当于该词语对于该文本内容的重要程度，该词语在语料库中的逆文档频率相当于该词语在该文本内容中的权重，因此在计算出各待召回词语在目标文本中出现的频率和各待召回词语在目标语料库中的逆文档频率的乘积后，可以得到各待召回词语和目标文本关联程度的统计结果，通过该统计结果可以反映出各待召回词语和目标文本相关程度。
为了降低计算量，需要将与目标文本关联程度相对较低的待召回词语挑选出来，从而得到与目标文本关联程度相对较高的待召回词语，因此需要对各召回词语分别对应的乘积进行第一排序，将排序结果中位于前K个的乘积对应的待召回词语作为待召回结果。
需要说明的是，具体使用何种语料库中的逆文档频率可以根据实际需要进行设置，在此不做具体限定，并且，K的具体取值也可以根据实际需要进行设置，在此也不做具体限定。
在一个可行的实施方案中，在执行步骤104时，可以对所述相似度进行第二排序，以将第二排序结果中排名位于前T个的所述相似度对应的所述召回结果确定为所述关键词，其中，T为正整数。
具体的，对各待召回词语按照不同特征维度进行召回后，可以得到多个特征维度下的召回结果，其中，每个特征维度下都会召回与目标文本相关性较高的召回结果，为了确定出每个召回结果与目标文本相关性程度的高低，需要对各召回结果对应的相似度进行排序，根据排序结果可以确定出每个召回结果与目标文本相关性程度的排序，并将排序结果选择排名位于前T个的相似度对应的召回结果确定为关键词，此时确定出来的关键词是目标文本包括的词语中与该目标文本相关性最高的一批词语，因此通过上述方式可以确定与目标文本相关性较高的关键词。
在一个可行的实施方案中，图3为本公开实施例一提供的另一种关键词的确定方法的流程示意图，如图3所示，该确定方法还包括以下步骤：
步骤301、获取预设时间段内在目标应用程序中进行搜索时使用的搜索语句。
步骤302、确定所述搜索语句中包括的最细粒度单元能够构成的新词。
步骤303、将所述新词添加到指定分词词典中，以得到所述目标分词词典。
具体的，目前网络热词、网络新词和日常生活中出现的新词都会被用户作为搜索词或者放在搜索语句中进行搜索，如果分词词典中不包括这些网络热词、网络新词和日常生活中出现的新词时，在利用分词词典对文本内容进行切词时，会把文本内容中的网络热词、网络新词和日常生活中出现的新词切碎，从而无法将网络热词、网络新词和日常生活中出现的新词确定为文本内容的关键词，但是有时网络热词、网络新词和日常生活中出现的新词会成为文本内容的关键词，为了避免删除情况的出现，可以获取在目标应用程序中进行搜索时使用的搜索语并且，网络热词、网络新词和日常生活中出现的新词也会经常出现在文本内容中，其中，网络热词、网络新词和日常生活中出现的新词一般会有一定的时间特性，即：某段时间内会流行某些网络热词、网络新词和日常生活中出现的新词，其他时间段则不会出现这些词语，因此需要获取预设时间段内在目标应用程序中进行搜索时使用的搜索语句，然后对搜索语句进行切词处理，以得到搜索语句中包括的所有最细粒度单元，然后再确定出最细粒度单元能够构成的新词，此时就可以得到当前的网络热词、网络新词和日常生活中出现的新词，然后再把这些新词添加到指定分词词典中得到目标分词词典，由于目标分词词典中包括了网络热词、网络新词和日常生活中出现的新词，因此在对目标文本进行切词后可以得到这些新词，从而有利于提高确定出来的关键词的准确性。
在一个可行的实施方案中，图4为本公开实施例一提供的另一种关键词的确定方法的流程示意图，如图4所示，在执行步骤302时，可以通过以下步骤实现：
步骤401、计算每两个所述最细粒度单元之间的关联性特征值。
步骤402、将所述关联性特征值作为输入参数输入到指定的树模型中，以得到所述两个最细粒度单元能够构成词语的概率。
步骤403、对所述概率和预设阈值进行比较，以将超过所述预设阈值的所述概率对应的两个所述最细粒度单元构成的词语确定为所述新词。
具体的，关联性特征值能够表示两个最细粒度单元之间的关联程度，例如：可以表示这两个最细粒度单元是否可以组成词语，以及，组成词语时这两个最细粒度单元的排列顺序，这两个最细粒度单元组成的词语出现的频率等，然后将这两个最细粒度单元之间的关联性特征值作为输入参数输入到指定的树模型中，得到这两个最细粒度单元能够构成词语的概率，进而可以确定出所有的两个最细粒度单元构成词语的概率，概率越高表示这两个最细粒度单元越有可能构成词语，因此可以对得到的所有概率进行比较，并将超过预设阈值的概率对应的两个最细粒度单元构成的词语确定为新词，从而使得确定出来的新词的准确度相对较高。
并且，为了确定得到的词语是否真的是新词，可以使用指定分词词典和得到的词语进行比较，当指定分词词典中不包括该词语时，表示该词语对于指定分词词典而言是新词，此时可以将该词语加入到指定分词词典中，如果指定分词词典中包括该词语时，表示该词语对于指定分词词典而言不是新词，此时可以丢弃该词语。
需要说明的是，具体的树模型可以根据实际需要进行设置，在此不做具体限定。
在一个可行的实施方案中，所述关联性特征值包括以下至少一种：
每两个所述最细粒度单元之间共现频率、每两个所述最细粒度单元之间PMI(Pointwise Mutual Information，点互信息)、每两个所述最细粒度单元之间右熵、每两个所述最细粒度单元之间左熵，以及每两个所述最细粒度单元构成词语时在所述搜索语句中出现的频率。
具体的，共现频率是指一定频率共现于同一语篇中的词，PMI用于衡量这两个最细粒度单元之间相关性，这两个最细粒度单元之间右熵和左熵表示这两个最细粒度单元自由程度，右熵越大表示这个词右边的可换词越多，左熵越大表示这个词左边的可换词越多，那么右熵和左熵都特别大的情况下它有可能是一个单独的词，这两个最细粒度单元构成词语时在搜索语句中出现的频率表示用户是否经常将这两个最细粒度单元组合在一起使用，通过上述几种关联性特征值可以准确确定出这两个最细粒度单元之间的相关性，从而有利于确定出准确的新词。
实施例二
图5为本公开实施例二提供的一种关键词的确定装置的结构示意图，如图5所示，该确定装置包括：
第一切词单元51，用于利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语；
召回单元52，用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果；
计算单元53，用于根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度；
确定单元54，用于根据所述相似度，确定所述目标文本的关键词。
在一个可行的实施方案中，所述特征维度包括以下至少一种：
实体词语、名词词语，以及各所述待召回词语和目标文本关联程度的统计结果。
在一个可行的实施方案中，当所述特征维度为所述实体词语时，所述召回单元52的配置在用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果时，包括：
对每个所述待召回词语进行实体识别，确定该待召回词语是否为所述实体词语，以识别出的各所述待召回词语中的所述实体词语作为所述召回结果。
在一个可行的实施方案中，当所述特征维度为所述名词词语时，所述召回单元52的配置在用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果时，包括：
对每个所述待召回词语进行词性识别，确定该待召回词语是否为所述名词词语，以将识别出的各所述待召回词语中的所述名词词语作为所述召回结果。
在一个可行的实施方案中，当所述特征维度为所述统计结果时，所述召回单元52的配置在用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果时，包括：
确定各所述待召回词语在所述目标文本中出现的频率，以及各所述待召回词语在目标语料库中的逆文档频率；
计算所述频率和所述逆文档频率的乘积；
对所述待召回词语分别对应的所述乘积进行第一排序，以将第一排序结果中排名位于前K个的所述乘积对应的所述待召回词语作为所述召回结果；
其中，K为正整数。
在一个可行的实施方案中，所述确定单元54的配置在用于根据所述相似度，确定所述目标文本的关键词时，包括：
对所述相似度进行第二排序，以将第二排序结果中排名位于前T个的所述相似度对应的所述召回结果确定为所述关键词；
其中，T为正整数。
在一个可行的实施方案中，图6为本公开实施例二提供的另一种关键词的确定装置的结构示意图，如图6所示，所述确定装置还包括：
获取单元55，用于获取预设时间段内在目标应用程序中进行搜索时使用的搜索语句；
第二切词单元56，用于确定所述搜索语句中包括的最细粒度单元能够构成的新词；
添加单元57，用于将所述新词添加到指定分词词典中，以得到所述目标分词词典。
在一个可行的实施方案中，所述第二切词单元56的配置在用于确定所述搜索语句中包括的最细粒度单元能够构成的新词时，包括：
计算每两个所述最细粒度单元之间的关联性特征值；
将所述关联性特征值作为输入参数输入到指定的树模型中，以得到所述两个最细粒度单元能够构成词语的概率；
对所述概率和预设阈值进行比较，以将超过所述预设阈值的所述概率对应的两个所述最细粒度单元构成的词语确定为所述新词。
在一个可行的实施方案中，所述关联性特征值包括以下至少一种：
每两个所述最细粒度单元之间共现频率、每两个所述最细粒度单元之间点互信息PMI、每两个所述最细粒度单元之间右熵、每两个所述最细粒度单元之间左熵，以及每两个所述最细粒度单元构成词语时在所述搜索语句中出现的频率。
关于实施例二的相关原理可参考实施例一的相关解释，在此不再详细说明。
在本公开中，在使用目标词典对目标文本进行切词处理后，可以得到该目标文本包括的各个词语，即：待召回词语，由于该目标文本包括的各个词语在不同的召回方式下，可以召回不同的词语，并且在不同的召回方式下可以召回从不同角度下诠释目标文本的词语，从而使得召回的词语中包括与目标文本关联程度较高的词语，所以对待召回词语按照不同特征维度进行召回后，可以得到不同特征维度下的召回结果，并且召回结果中包括与目标文本关联程度较高的词语，由于词向量可以对一个词语进行表示，文本向量可以对一个文本进行表示，当一个词语的词向量与一个文本的文本向量相似度较高时，表示该词语和该文本向量的关联性较高，因此在得到召回结果后，可以确定召回结果中的每个词语的词向量和目标文本的文本向量之间的相似度，然后通过各词语的相似度确定出该目标文本的关键词，通过上述方法确定出来的关键词为与目标文本关联程度相对较高的关键词，因此通过上述方法有利于提高确定出的关键词的准确度，进而可以为目标文本的准确推荐和准确搜索提供支持。
实施例三
图7为本公开实施例三提供的一种电子设备的结构示意图，包括：处理器701、存储介质702和总线703，所述存储介质702存储有所述处理器701可执行的机器可读指令，当电子设备运行上述的确定方法时，所述处理器701与所述存储介质702之间通过总线703通信，所述处理器701执行所述机器可读指令，以执行以下步骤：
利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语；
对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果；
根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度；
根据所述相似度，确定所述目标文本的关键词。
在本公开实施例中，所述存储介质702还可以执行其它机器可读指令，以执行如实施例一中其它所述的方法，关于具体执行的方法步骤和原理参见实施例一的说明，在此不再详细赘述。
实施例四
本公开实施例四还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行以下步骤：
利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语；
对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果；
根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度；
根据所述相似度，确定所述目标文本的关键词。
在本公开实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例一中其它所述的方法，关于具体执行的方法步骤和原理参见实施例一的说明，在此不再详细赘述。
在本公开所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围。都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种关键词的确定方法，其特征在于，包括：
利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语；
对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果；
根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度；
根据所述相似度，确定所述目标文本的关键词。
2.如权利要求1所述的确定方法，其特征在于，所述特征维度包括以下至少两种：
实体词语、名词词语，以及各所述待召回词语和目标文本关联程度的统计结果。
3.如权利要求2所述的确定方法，其特征在于，当所述特征维度为所述实体词语时，对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果，包括：
对每个所述待召回词语进行实体识别，确定该待召回词语是否为所述实体词语，以识别出的各所述待召回词语中的所述实体词语作为所述召回结果。
4.如权利要求2所述的确定方法，其特征在于，当所述特征维度为所述名词词语时，对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果，包括：
对每个所述待召回词语进行词性识别，确定该待召回词语是否为所述名词词语，以将识别出的各所述待召回词语中的所述名词词语作为所述召回结果。
5.如权利要求2所述的确定方法，其特征在于，当所述特征维度为所述统计结果时，对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果，包括：
确定各所述待召回词语在所述目标文本中出现的频率，以及各所述待召回词语在目标语料库中的逆文档频率；
计算所述频率和所述逆文档频率的乘积；
对所述待召回词语分别对应的所述乘积进行第一排序，以将第一排序结果中排名位于前K个的所述乘积对应的所述待召回词语作为所述召回结果；
其中，K为正整数。
6.如权利要求1所述的确定方法，其特征在于，根据所述相似度，确定所述目标文本的关键词，包括：
对所述相似度进行第二排序，以将第二排序结果中排名位于前T个的所述相似度对应的所述召回结果确定为所述关键词；
其中，T为正整数。
7.如权利要求1所述的确定方法，其特征在于，所述方法还包括：
获取预设时间段内在目标应用程序中进行搜索时使用的搜索语句；
确定所述搜索语句中包括的最细粒度单元能够构成的新词；
将所述新词添加到指定分词词典中，以得到所述目标分词词典。
8.如权利要求7所述的确定方法，其特征在于，确定所述搜索语句中包括的最细粒度单元能够构成的新词，包括：
计算每两个所述最细粒度单元之间的关联性特征值；
将所述关联性特征值作为输入参数输入到指定的树模型中，以得到所述两个最细粒度单元能够构成词语的概率；
对所述概率和预设阈值进行比较，以将超过所述预设阈值的所述概率对应的两个所述最细粒度单元构成的词语确定为所述新词。
9.如权利要求8所述的确定方法，其特征在于，所述关联性特征值包括以下至少一种：
每两个所述最细粒度单元之间共现频率、每两个所述最细粒度单元之间点互信息PMI、每两个所述最细粒度单元之间右熵、每两个所述最细粒度单元之间左熵，以及每两个所述最细粒度单元构成词语时在所述搜索语句中出现的频率。
10.一种关键词的确定装置，其特征在于，包括：
第一切词单元，用于利用目标分词词典对目标文本进行切词处理，得到所述目标文本包括的待召回词语；
召回单元，用于对各所述待召回词语按照不同特征维度进行召回，得到不同特征维度下的召回结果；
计算单元，用于根据所述召回结果中包含的各个词语的词向量，确定每个所述词向量和所述目标文本的文本向量之间的相似度；
确定单元，用于根据所述相似度，确定所述目标文本的关键词。
11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至9中任一项所述的确定方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9中任一项所述的确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003217.3A CN111209372B (zh) | 2020-01-02 | 2020-01-02 | 一种关键词的确定方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003217.3A CN111209372B (zh) | 2020-01-02 | 2020-01-02 | 一种关键词的确定方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111209372A true CN111209372A (zh) | 2020-05-29 |
| CN111209372B CN111209372B (zh) | 2021-08-17 |
Family
ID=70788144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010003217.3A Active CN111209372B (zh) | 2020-01-02 | 2020-01-02 | 一种关键词的确定方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209372B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395875A (zh) * | 2020-11-17 | 2021-02-23 | 中国平安人寿保险股份有限公司 | 一种关键词提取方法、装置、终端以及存储介质 |
| CN112464654A (zh) * | 2020-11-27 | 2021-03-09 | 科技日报社 | 关键词生成方法、装置、电子设备和计算机可读介质 |
| CN113204965A (zh) * | 2021-05-31 | 2021-08-03 | 平安科技（深圳）有限公司 | 关键词提取方法、装置、计算机设备及可读存储介质 |
| CN115344680A (zh) * | 2022-08-17 | 2022-11-15 | 中电金信软件有限公司 | 一种获取查询结果的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183923A (zh) * | 2015-10-27 | 2015-12-23 | 上海智臻智能网络科技股份有限公司 | 新词发现方法及装置 |
| CN106021272A (zh) * | 2016-04-04 | 2016-10-12 | 上海大学 | 基于分布式表达词向量计算的关键词自动提取方法 |
| CN108170666A (zh) * | 2017-11-29 | 2018-06-15 | 同济大学 | 一种基于tf-idf关键词提取的改进方法 |
| US20180365319A1 (en) * | 2017-06-16 | 2018-12-20 | Microsoft Technology Licensing, Llc | Identifying relationships from communication content |
-
2020
- 2020-01-02 CN CN202010003217.3A patent/CN111209372B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183923A (zh) * | 2015-10-27 | 2015-12-23 | 上海智臻智能网络科技股份有限公司 | 新词发现方法及装置 |
| CN106021272A (zh) * | 2016-04-04 | 2016-10-12 | 上海大学 | 基于分布式表达词向量计算的关键词自动提取方法 |
| US20180365319A1 (en) * | 2017-06-16 | 2018-12-20 | Microsoft Technology Licensing, Llc | Identifying relationships from communication content |
| CN108170666A (zh) * | 2017-11-29 | 2018-06-15 | 同济大学 | 一种基于tf-idf关键词提取的改进方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395875A (zh) * | 2020-11-17 | 2021-02-23 | 中国平安人寿保险股份有限公司 | 一种关键词提取方法、装置、终端以及存储介质 |
| CN112464654A (zh) * | 2020-11-27 | 2021-03-09 | 科技日报社 | 关键词生成方法、装置、电子设备和计算机可读介质 |
| CN112464654B (zh) * | 2020-11-27 | 2022-06-17 | 科技日报社 | 关键词生成方法、装置、电子设备和计算机可读介质 |
| CN113204965A (zh) * | 2021-05-31 | 2021-08-03 | 平安科技（深圳）有限公司 | 关键词提取方法、装置、计算机设备及可读存储介质 |
| CN115344680A (zh) * | 2022-08-17 | 2022-11-15 | 中电金信软件有限公司 | 一种获取查询结果的方法及装置 |
| CN115344680B (zh) * | 2022-08-17 | 2023-06-27 | 中电金信软件有限公司 | 一种获取查询结果的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111209372B (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209372B (zh) | 一种关键词的确定方法、装置、电子设备和存储介质 | |
| CN111104794B (zh) | 一种基于主题词的文本相似度匹配方法 | |
| CN106156204B (zh) | 文本标签的提取方法和装置 | |
| CN108536852B (zh) | 问答交互方法和装置、计算机设备及计算机可读存储介质 | |
| CN110263248B (zh) | 一种信息推送方法、装置、存储介质和服务器 | |
| US20100205198A1 (en) | Search query disambiguation | |
| CN111563384B (zh) | 面向电商产品的评价对象识别方法、装置及存储介质 | |
| CN110309251B (zh) | 文本数据的处理方法、装置和计算机可读存储介质 | |
| CN112559684A (zh) | 一种关键词提取及信息检索方法 | |
| CN110210038B (zh) | 核心实体确定方法及其系统、服务器和计算机可读介质 | |
| JPWO2012096388A1 (ja) | 意外性判定システム、意外性判定方法およびプログラム | |
| CN110866102A (zh) | 检索处理方法 | |
| CN112182145A (zh) | 文本相似度确定方法、装置、设备和存储介质 | |
| CN112633000A (zh) | 一种文本中实体的关联方法、装置、电子设备及存储介质 | |
| CN110795942B (zh) | 基于语义识别的关键词确定方法、装置和存储介质 | |
| CN111209480A (zh) | 一种推送文本的确定方法、装置、计算机设备和介质 | |
| CN112487159B (zh) | 检索方法、检索装置及计算机可读存储介质 | |
| CN114372122A (zh) | 信息的获取方法、计算设备及存储介质 | |
| CN112231513A (zh) | 一种学习视频推荐方法、装置及系统 | |
| CN115168567B (zh) | 一种基于知识图谱的对象推荐方法 | |
| CN113449063B (zh) | 一种构建文档结构信息检索库的方法及装置 | |
| CN112926297B (zh) | 处理信息的方法、装置、设备和存储介质 | |
| CN114255067A (zh) | 数据定价方法和装置、电子设备、存储介质 | |
| CN114780601A (zh) | 一种数据查询方法、装置、电子设备和存储介质 | |
| CN112269852A (zh) | 生成舆情专题方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee after: Douyin Vision Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: Tiktok vision (Beijing) Co.,Ltd. Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee after: Tiktok vision (Beijing) Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |