CN113656429A - 一种关键词提取方法、装置、计算机设备和存储介质 - Google Patents
一种关键词提取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113656429A CN113656429A CN202110853921.2A CN202110853921A CN113656429A CN 113656429 A CN113656429 A CN 113656429A CN 202110853921 A CN202110853921 A CN 202110853921A CN 113656429 A CN113656429 A CN 113656429A
- Authority
- CN
- China
- Prior art keywords
- keyword
- keywords
- candidate
- inquired
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012163 sequencing technique Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910000734 martensite Inorganic materials 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/243—Natural language query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种关键词提取方法、装置、计算机设备和存储介质，该方法包括：获取待查询声音对象的关键词词库；根据其中关键词的距离，以若干关键词为节点构建图模型后，迭代其中边长得到各节点的权重值并排序；选取排序结果中若干个关键词作为待选关键词；将待选关键词与知识库进行匹配的关键词作为第一候选关键词；提取待查询声音对象中的用户标签作为第二候选关键词；将第一、第二候选关键词转换为关键词向量并计算其加权平均值后，再分别计算各关键词向量与向量加权平均值之间的余弦相似度；选取余弦相似度大于相似度阈值的若干个第一、第二候选关键词，作为待查询声音对象的目标关键词。实现了无需大量人工标注，降低人力成本的目的。
Description
技术领域
本发明实施例涉及信息处理的技术领域，尤其涉及一种关键词提取方法、装置、计算机设备和存储介质。
背景技术
在用户输入检索词进行相关内容检索的场景中，检索应用后台会从用户输入的检索词中提取用户的检索关键词，并根据关键词匹配检索内容返回给用户，所以，检索词的提取在检索应用中是关键性的一步，直接决定检索结果的精确度。
现有技术中，检索词的提取通常基于以下几个常用方法：一、基于TFIDF方法，TFIDF是一种统计方法，用以评估关键词对于语料库中的其中一个文档的重要程度，然后排序选取重要性最高的几个词作为关键词。TFIDF词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。二、主题模型(TopicModel)是以无监督学习的方式对文档的隐含语义结构进行聚类的统计模型，其中LDA(Latent Dirichlet Allocation)算法是主题模型的一种。LDA根据对词的共现信息的分析，拟合出词——文档——主题的分布，从而将词、文本映射到一个语义空间中。三、基于监督学习，基于监督学习是一种将关键词抽取当作分类问题，即对每个候选关键词判断是否为关键词的二分类问题。常用的分类算法LR、朴素贝叶斯、SVM、GBDT、神经网络等分类算法都可以使用。但是以上方法针对关键词的提取都存在各自的缺陷，例如，TFIDF是一种基于统计的方法，仅仅考虑词的统计性质。主题模型抽取的关键词一般过于宽泛，不能较好反映文章主题，存在关键词的冷启动问题和马太效应。基于监督学习需要人工标注训练集合，费时费力，因此不适合网络上的大规模应用。
所以，提出一种有效提取关键词，降低关键词提取成本，并且解决关键词冷启动以及减弱关键词马太效应问题的方法是非常迫切的需求。
发明内容
本发明实施例提出了一种关键词提取方法、装置、计算机设备和存储介质，以解决在语音检索的场景中提高用户的检索准确率，并同时避免关键词冷启动以及减弱关键词马太效应的问题。
第一方面，本发明实施例提供了一种关键词提取方法，包括：
获取待查询声音对象的关键词词库；
根据所述关键词词库中关键词之间的距离，以第一预设数目个所述关键词为节点，构建图模型；
根据所述图模型中各节点之间的边长的迭代算法，得到所述各节点的权重值；
根据所述权重值对所述各节点对应的所述关键词进行排序；
选取排序结果中第二预设数目个所述关键词作为待选关键词；
将所述待选关键词与知识库中关键词进行匹配；所述知识库为所述待查询声音对象的声音主题文本，与预设开源词库合并而成；
提取匹配度大于预设匹配度阈值的所述待选关键词作为第一候选关键词；
提取所述待查询声音对象中的用户标签作为第二候选关键词；
将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量；
计算所有所述关键词向量之间向量加权平均值；
分别计算各所述关键词向量与所述向量加权平均值之间的余弦相似度；
选取所述余弦相似度大于相似度阈值的第二预设数目个所述候选关键词向量，作为目标关键词向量；
将所述目标关键词向量对应的所述第一候选关键词或所述第二候选关键词，作为所述待查询声音对象的目标关键词。
第二方面，本发明实施例还提供了一种关键词提取装置，其特征在于，包括：
关键词词库获取模块，用于获取待查询声音对象的关键词词库；
图模型构建模块，用于根据所述关键词词库中关键词之间的距离，以第一预设数目个所述关键词为节点，构建图模型；
权重计算模块，用于根据所述图模型中各节点之间的边长的迭代算法，得到所述各节点的权重值；
排序模块，用于根据所述权重值对所述各节点对应的所述关键词进行排序；
待选关键词确定模块，用于选取排序结果中第二预设数目个所述关键词作为待选关键词；
匹配模块，用于将所述待选关键词与知识库中关键词进行匹配；所述知识库为所述待查询声音对象的声音主题文本，与预设开源词库合并而成；
第一候选关键词提取模块，用于提取匹配度大于预设匹配度阈值的所述待选关键词作为第一候选关键词；
第二候选关键词提取模块，用于提取所述待查询声音对象中的用户标签作为第二候选关键词；
关键词向量转换模块，用于将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量；
加权平均值计算模块，用于计算所有所述关键词向量之间向量加权平均值；
余弦相似度计算模块，用于分别计算各所述关键词向量与所述向量加权平均值之间的余弦相似度；
目标关键词向量确定模块，用于选取所述余弦相似度大于相似度阈值的第二预设数目个所述候选关键词向量，作为目标关键词向量；
目标关键词确定模块，用于将所述目标关键词向量对应的所述第一候选关键词或所述第二候选关键词，作为所述待查询声音对象的目标关键词。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一项所述的关键词提取方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一项所述的关键词提取方法。
在本实施例中，获取待查询声音对象的关键词词库；根据所述关键词词库中关键词之间的距离，以第一预设数目个所述关键词为节点，构建图模型；根据所述图模型中各节点之间的边长的迭代算法，得到所述各节点的权重值；根据所述权重值对所述各节点对应的所述关键词进行排序；选取排序结果中第二预设数目个所述关键词作为待选关键词；将所述待选关键词与知识库中关键词进行匹配；所述知识库为所述待查询声音对象的声音主题文本，与预设开源词库合并而成；提取匹配度大于预设匹配度阈值的所述待选关键词作为第一候选关键词；提取所述待查询声音对象中的用户标签作为第二候选关键词；将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量；计算所有所述关键词向量之间向量加权平均值；分别计算各所述关键词向量与所述向量加权平均值之间的余弦相似度；选取所述余弦相似度大于相似度阈值的第二预设数目个所述候选关键词向量，作为目标关键词向量；将所述目标关键词向量对应的所述第一候选关键词或所述第二候选关键词，作为所述待查询声音对象的目标关键词。结合了多种关键词提取方法，一方面，实现了降低运营人员成本，实现关键词批量提取的目的，提升了关键词提取效率，另一方面，通过多个算法结合，有效避免了关键词冷启动以及关键词提取存在马太效应的问题。
附图说明
图1为本发明实施例一提供的一种关键词提取方法的流程图；
图2A为本发明实施例一提供的检索样本数据生成示例图；
图2B为本发明实施例一提供的方法架构示例图
图3是本发明实施例一提供的词向量转换的示例图；
图4为本发明实施例二提供的一种关键词提取装置的结构示意图；
图5为本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
名词解释：
TFIDF方法：TFIDF是一种统计方法，用以评估一个词(关键词)对于语料库中的其中一个文档(声音的文本)的重要程度，然后排序选取重要性最高的几个词作为关键词。TFIDF词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
Topic Model：主题模型(Topic Model)是以无监督学习的方式对文档的隐含语义结构进行聚类的统计模型，其中LDA(Latent Dirichlet Allocation)算法是主题模型的一种。LDA根据对词的共现信息的分析，拟合出词-文档-主题的分布，从而将词、文本映射到一个语义空间中。其抽取关键词的步骤如下：
1)获取文档中的候选关键词；
2)根据从大规模语料学习得到的隐含主题模型，计算获取文档和候选关键词的主题分布；
3)计算文档和候选关键词的主题相似度，排序并选取最高的几个作为关键词。
基于监督学习：基于监督学习是一种将关键词抽取当作分类问题，即对每个候选关键词判断是否为关键词的二分类问题。常用的分类算法LR、朴素贝叶斯、SVM、GBDT、神经网络等分类算法都可以使用。
实施例一
图1为本发明实施例一提供的一种关键词提取方法的流程图，该方法可以由关键词提取装置来执行，该关键词提取装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，具体包括如下步骤：
步骤101、获取待查询声音对象的关键词词库；
本发明实施例中，在声音数据检索场景中，当用户在检索栏中输入检索内容，并点击搜索按钮，那么就相当于发起了声音数据的检索请求，后台根据用户输入的检索内容，抽取其中的关键词，并根据待查询声音对象的标记或者主题文本进行匹配，返回用户精准的查询结果，而根据待查询声音对象建立关键词词库直接影响到查询匹配。
进一步地，为了构建关键词词库，首先需要收集待查询声音对象的主题文本数据，即包括待查询声音对象的声音标题、声音简介、用户自定义标签等的文本数据等，再进行分词，并过滤停用词后，构建成待查询声音对象的关键词词库。
另外，抽取关键词的同时获取检索用户的用户信息，即检索用户的基本信息。
进一步地，基于收集的声音文本，同时收集外部开源词库(人名、地名、作品名、公司名等)，将领域词库和外部词库进行融合，构建自己的知识库。例如：有m个声音，即
I＝[I1,I2,Λ,Im],
其中，Ii表示第i个声音的文本，对于每个声音的文本Ii∈I，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的词，如专有名词、动名词、成语、人名、地名、组织机构名、作品名等保留组成关键词词库，即：
Ii＝[wi1,wi2,Λ,win],
其中wij是保留后的关键词，构成关键词词库。
将Ii＝[wi1,wi2,Λ,win]与收集外部开源词库合并后，构成知识库。
步骤102、根据所述关键词词库中关键词之间的距离，以第一预设数目个所述关键词为节点，构建图模型；
本发明实施例中，通过关键词词库中词之间的相邻关系构建网络，网络相当于一个图模型，一般为拓扑图的模型。
优选地，在本发明另一实施例中，步骤102具体包括：
子步骤1021、利用TextRank算法，以所述关键词词库中的关键词为节点，关键词之间的距离为边，构建图模型。
具体地，TextRank即是通过词之间的相邻关系构建网络，详细方法如下：
构建图G＝(V,E)，其中V为节点集，由(i)生成的分词结果组成，然后采用共现关系构造任两点之间的边，两个节点之间存在边当且仅当它们对应的词汇在长度为K的窗口中共现，K表示窗口大小，即最多共现K个单词。
步骤103、根据所述图模型中各节点之间的边长的迭代算法，得到所述各节点的权重值；
本发明实施例中，网络构建完成之后，然后用PageRank迭代计算每个节点的排序值，排序值即可得到关键词。
优选地，在本发明另一实施例中，步骤103具体包括：
子步骤1031、在所述图模型中，利用PageRank算法迭代所述图模型中各节点之间的边长，作为所述各节点的权重值。
具体地，计算公式如下：
其中，WS(Vi)表示结点Vi的权重值(一个节点到另一个节点之间的距离，边长决定)，In(Vi)表示结点Vi的前驱结点集合，Out(Vj)表示结点Vj的后继结点集合，d为dampingfactor用于做平滑。按照上式进行迭代，更新各节点(词)的权重，直至收敛。
步骤104、根据所述权重值对所述各节点对应的所述关键词进行排序；
本发明实施例中，对节点权重进行倒序排序，节点即对应各候选词，此处使用倒序排列，也就说权重高的节点排序靠前，反之靠后。
步骤105、选取排序结果中第二预设数目个所述关键词作为待选关键词；
本发明实施例中，从排序后的关键词中得到最重要的T个单词作为候选关键词，T为第二预设数目，可以根据实际应用场景由相关技术人员设置，具体数目本发明实施例不加以限制。
优选地，在本发明另一实施例中，步骤105具体包括：
子步骤1051、选取排序结果中第二预设数目个所述关键词，作为标记关键词；
子步骤1052、若多个所述标记关键词在所述关键词词库中为相邻词组，则将多个所述标记关键词合并为待选关键词；
具体地，得到最重要的T个单词，在原始文本中进行标记成为标记关键词，若标记关键词形成相邻词组，则组合成多词关键词，即为合并的待选关键词，即原来十个关键词，其中有四个关键词为相邻关键词，那么就合并这四个关键词为一个多词关键词。
子步骤1053、若多个所述标记关键词在所述关键词词库中不为相邻词组，则将各所述标记关键词分别作为待选关键词。
可以理解地，如果十个标记关键词没有任何关联性，那么就将这十个标记关键词全部作为待选关键词。
步骤106、将所述待选关键词与知识库中关键词进行匹配；所述知识库为所述待查询声音对象的声音主题文本，与预设开源词库合并而成；
本发明实施例中，将待选关键词与知识库中关键词进行匹配，知识库是步骤101中提到的由待查询声音对象的声音主题文本与预设开源词库合并而成。
步骤107、提取匹配度大于预设匹配度阈值的所述待选关键词作为第一候选关键词；
本发明实施例中，在匹配过程中，如果匹配度大于匹配度阈值，可以将待选关键词作为第一候选关键词。
可以理解地，匹配的过程是由待选关键词的词向量与知识库中词向量计算余弦相似度实现，当各词余弦相似度大于相似度阈值时，则标记为第一候选关键词。
当然，相似度的计算方式不限于上述描述，由相关技术人员在实际应用中决定，本发明实施例对此不加以具体限制。
其中，相似度阈值由相关技术人员根据实际应用场景设置，本发明实施例对具体数值不加以具体限制。
步骤108、提取所述待查询声音对象中的用户标签作为第二候选关键词；
本发明实施例中，在待查询声音对象中，通常会有检索用户根据自己的喜好设置的标签，将用户设置的标签直接提取，并作为第二候选关键词。
步骤109、将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量；
本发明实施例中，将候选词转换为机器可以识别的词向量。
优选地，在本发明另一实施例中，步骤109之前，还可以包括：
步骤A1、提取所述待查询声音对象的发布时间序列；
具体地，每个待查询声音对象都具备一个主播发布节目序列数据，通常该数据标记着发布时间，提取该序列。
步骤A2、提取所述待查询声音对象的搜索用户信息。
具体地，提取搜索待查询声音对象的用户具备的用户身份信息、喜好信息、搜索历史信息等用户信息。
优选地，在本发明另一实施例中，步骤109具体包括：
子步骤1091、将所述第一候选关键词、所述第二候选关键词以及所述搜索用户信息，按照所述发布时间序列正序组合，生成检索样本数据；
具体地，根据搜索用户信息，按照待查询声音对象的发布时间序列正序，抽取节点session数据，其中session的定义如下：发布序列中任意连续两个声音的所属一级分类不一致。
如图2A所示，Ui表示用户i，Ii表示声音i，声音i由声音标题、声音描述、声音一级标签、声音二级标签、声音自定义标签组成。
利用抽取的session构建检索样本数据：
以session中每个节目按照时间正序连接。以session1为例，其构造的样本如下所示：
I1标题分词I1描述分词I1一级标签I1二级标签I1自定义标签I2标题分词I2描述分词I2一级标签I2二级标签I2自定义标签I3标题分词I3描述分词I3一级标签I3二级标签I3自定义标签
Session中的标题分词以及各级标签即为第一候选关键词和第二候选关键词的实例。
子步骤1092、将所述检索样本数据输入word2vec模型，转换为关键词向量；
具体地，将上述得到的由候选关键词、用户信息组成并按照发布时间序列排序而成的检索样本数据输入word2vec模型，转换为关键词向量。
其中，检索样本数据输入到word2vec模型进行训练，获得每个词的嵌套词embedding。Word2vec模型包括两种重要的模型：CBOW模型(Continuous Bag-of-WordsModel)与Skip-gram模型，这里我们使用的是Skip-gram模型，Skip-Gram是给定输入词input word来预测上下文，假设窗口大小为2，即用输入词来预测其前面的两个词和后面的两个词，其模型架构如图3所示，其中W(t-2)、W(t-1)、W(t)、W(t+1)、W(t+2)分别表示第t-2、t-1、t、t+1、t+2个词。
步骤110、计算所有所述关键词向量之间向量加权平均值；
本发明实施例中，计算得到关键词向量之间的加权平均值，其中每个向量的权重由与窗口词之间的相关性而决定。
步骤111、分别计算各所述关键词向量与所述向量加权平均值之间的余弦相似度；
本发明实施例中，计算第一、第二候选关键词与向量加权平均值之间的余弦相似度。
步骤112、选取所述余弦相似度大于相似度阈值的第二预设数目个所述候选关键词向量，作为目标关键词向量；
步骤113、将所述目标关键词向量对应的所述第一候选关键词或所述第二候选关键词，作为所述待查询声音对象的目标关键词。
本发明实施例中，选取余弦相似度大于0.2且最多5个的候选关键词作为该声音的关键词。其中0.2为相似度阈值，5为第二预设数目。
当然，在实际应用中，相似度阈值和第二预设数目都是由相关技术人员根据词库大小以及目标关键词的数量具体设置的，本发明实施例对此不加以具体限制。
如图2B所示，为本发明实施例的方法架构，示意了从步骤101-步骤104的过程，由收集数据，收集数据后构建知识库，并对知识库做处理：分词、TextRank召回、词库召回、标签召回后得到第一、第二候选关键词，并进行排序处理，最后得到待选关键词，并最终通过各候选关键词与加权平均值之间的余弦相似度，筛选出最终的目标关键词。
在本实施例中，获取待查询声音对象的关键词词库；根据其中关键词的距离，以若干关键词为节点构建图模型后，迭代其中边长得到各节点的权重值并排序；选取排序结果中若干个关键词作为待选关键词；将待选关键词与知识库进行匹配的关键词作为第一候选关键词；提取待查询声音对象中的用户标签作为第二候选关键词；将第一、第二候选关键词转换为关键词向量并计算其加权平均值后，再分别计算各关键词向量与向量加权平均值之间的余弦相似度；选取余弦相似度大于相似度阈值的若干个第一、第二候选关键词，作为待查询声音对象的目标关键词。一方面，通过提出了一种无监督的关键词抽取方法方法无需投入大量的人工标注，大大降低了成本；另一方面，结合词典、表示学习、TextRank和规则的关键词抽取，提升了关键词的抽取效果，解决了关键词的冷启动问题，并减弱了关键词的马太效应。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
图4为本发明实施例二提供的一种关键词提取装置的结构框图，具体可以包括如下模块：
关键词词库获取模块201，用于获取待查询声音对象的关键词词库；
图模型构建模块202，用于根据所述关键词词库中关键词之间的距离，以第一预设数目个所述关键词为节点，构建图模型；
权重计算模块203，用于根据所述图模型中各节点之间的边长的迭代算法，得到所述各节点的权重值；
排序模块204，用于根据所述权重值对所述各节点对应的所述关键词进行排序；
待选关键词确定模块205，用于选取排序结果中第二预设数目个所述关键词作为待选关键词；
匹配模块206，用于将所述待选关键词与知识库中关键词进行匹配；所述知识库为所述待查询声音对象的声音主题文本，与预设开源词库合并而成；
第一候选关键词提取模块207，用于提取匹配度大于预设匹配度阈值的所述待选关键词作为第一候选关键词；
第二候选关键词提取模块208，用于提取所述待查询声音对象中的用户标签作为第二候选关键词；
关键词向量转换模块209，用于将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量；
优选地，本发明另外的实施例中，所述关键词向量转换模块209之前，还包括：
发布时间序列提取模块，用于提取所述待查询声音对象的发布时间序列；
搜索用户信息提取模块，用于提取所述待查询声音对象的搜索用户信息。
加权平均值计算模块210，用于计算所有所述关键词向量之间向量加权平均值；
余弦相似度计算模块211，用于分别计算各所述关键词向量与所述向量加权平均值之间的余弦相似度；
目标关键词向量确定模块212，用于选取所述余弦相似度大于相似度阈值的第二预设数目个所述候选关键词向量，作为目标关键词向量；
目标关键词确定模块213，用于将所述目标关键词向量对应的所述第一候选关键词或所述第二候选关键词，作为所述待查询声音对象的目标关键词。
优选地，在本发明另外的实施例中，所述关键词向量转换模块209还用于：
将所述第一候选关键词、所述第二候选关键词以及所述搜索用户信息，按照所述发布时间序列正序组合，生成检索样本数据；
将所述检索样本数据输入word2vec模型，转换为关键词向量；
优选地，在本发明另外的实施例中，所述图模型构建模块202还用于：
利用TextRank算法，以所述关键词词库中的关键词为节点，关键词之间的距离为边，构建图模型。
优选地，在本发明另外的实施例中，所述权重计算模块203还用于：
在所述图模型中，利用PageRank算法迭代所述图模型中各节点之间的边长，作为所述各节点的权重值。
优选地，在本发明另外的实施例中，所述待选关键词确定模块205还用于：
选取排序结果中第二预设数目个所述关键词，作为标记关键词；
若多个所述标记关键词在所述关键词词库中为相邻词组，则将多个所述标记关键词合并为待选关键词；
若多个所述标记关键词在所述关键词词库中不为相邻词组，则将各所述标记关键词分别作为待选关键词。
本发明实施例所提供的关键词提取装置可执行本发明任意实施例所提供的关键词提取方法，具备执行方法相应的功能模块和有益效果。
实施例三
图5为本发明实施例三提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的关键词提取方法。
实施例四
本发明实施例四还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述关键词提取方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种关键词提取方法，其特征在于，包括：
获取待查询声音对象的关键词词库；
根据所述关键词词库中关键词之间的距离，以第一预设数目个所述关键词为节点，构建图模型；
根据所述图模型中各节点之间的边长的迭代算法，得到所述各节点的权重值；
根据所述权重值对所述各节点对应的所述关键词进行排序；
选取排序结果中第二预设数目个所述关键词作为待选关键词；
将所述待选关键词与知识库中关键词进行匹配；所述知识库为所述待查询声音对象的声音主题文本，与预设开源词库合并而成；
提取匹配度大于预设匹配度阈值的所述待选关键词作为第一候选关键词；
提取所述待查询声音对象中的用户标签作为第二候选关键词；
将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量；
计算所有所述关键词向量之间向量加权平均值；
分别计算各所述关键词向量与所述向量加权平均值之间的余弦相似度；
选取所述余弦相似度大于相似度阈值的第二预设数目个所述候选关键词向量，作为目标关键词向量；
将所述目标关键词向量对应的所述第一候选关键词或所述第二候选关键词，作为所述待查询声音对象的目标关键词。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量之前，还包括：
提取所述待查询声音对象的发布时间序列；
提取所述待查询声音对象的搜索用户信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量，包括：
将所述第一候选关键词、所述第二候选关键词以及所述搜索用户信息，按照所述发布时间序列正序组合，生成检索样本数据；
将所述检索样本数据输入word2vec模型，转换为关键词向量。
4.根据权利要求1所述的方法，其特征在于，所述根据所述关键词词库中关键词之间的距离，以第一预设数目个所述关键词为节点，构建图模型，包括：
利用TextRank算法，以所述关键词词库中的关键词为节点，关键词之间的距离为边，构建图模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述图模型中各节点之间的边长的迭代算法，得到所述各节点的权重值，包括：
在所述图模型中，利用PageRank算法迭代所述图模型中各节点之间的边长，作为所述各节点的权重值。
6.根据权利要求4所述的方法，其特征在于，所述选取排序结果中第二预设数目个所述关键词作为待选关键词，包括：
选取排序结果中第二预设数目个所述关键词，作为标记关键词；
若多个所述标记关键词在所述关键词词库中为相邻词组，则将多个所述标记关键词合并为待选关键词；
若多个所述标记关键词在所述关键词词库中不为相邻词组，则将各所述标记关键词分别作为待选关键词。
7.一种关键词提取装置，其特征在于，包括：
关键词词库获取模块，用于获取待查询声音对象的关键词词库；
图模型构建模块，用于根据所述关键词词库中关键词之间的距离，以第一预设数目个所述关键词为节点，构建图模型；
权重计算模块，用于根据所述图模型中各节点之间的边长的迭代算法，得到所述各节点的权重值；
排序模块，用于根据所述权重值对所述各节点对应的所述关键词进行排序；
待选关键词确定模块，用于选取排序结果中第二预设数目个所述关键词作为待选关键词；
匹配模块，用于将所述待选关键词与知识库中关键词进行匹配；所述知识库为所述待查询声音对象的声音主题文本，与预设开源词库合并而成；
第一候选关键词提取模块，用于提取匹配度大于预设匹配度阈值的所述待选关键词作为第一候选关键词；
第二候选关键词提取模块，用于提取所述待查询声音对象中的用户标签作为第二候选关键词；
关键词向量转换模块，用于将所述第一候选关键词、所述第二候选关键词分别转换为关键词向量；
加权平均值计算模块，用于计算所有所述关键词向量之间向量加权平均值；
余弦相似度计算模块，用于分别计算各所述关键词向量与所述向量加权平均值之间的余弦相似度；
目标关键词向量确定模块，用于选取所述余弦相似度大于相似度阈值的第二预设数目个所述候选关键词向量，作为目标关键词向量；
目标关键词确定模块，用于将所述目标关键词向量对应的所述第一候选关键词或所述第二候选关键词，作为所述待查询声音对象的目标关键词。
8.根据权利要求7所述的装置，其特征在于，还包括：
发布时间序列提取模块，用于提取所述待查询声音对象的发布时间序列；
搜索用户信息提取模块，用于提取所述待查询声音对象的搜索用户信息。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的关键词提取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的关键词提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110853921.2A CN113656429A (zh) | 2021-07-28 | 2021-07-28 | 一种关键词提取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110853921.2A CN113656429A (zh) | 2021-07-28 | 2021-07-28 | 一种关键词提取方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113656429A true CN113656429A (zh) | 2021-11-16 |
Family
ID=78490736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110853921.2A Pending CN113656429A (zh) | 2021-07-28 | 2021-07-28 | 一种关键词提取方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113656429A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117216217A (zh) * | 2023-09-19 | 2023-12-12 | 山东汇商脉网络科技有限公司 | 一种档案智能分类与检索方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017084267A1 (zh) * | 2015-11-18 | 2017-05-26 | 乐视控股（北京）有限公司 | 一种关键词提取方法和装置 |
| CN109408826A (zh) * | 2018-11-07 | 2019-03-01 | 北京锐安科技有限公司 | 一种文本信息提取方法、装置、服务器及存储介质 |
| CN110198464A (zh) * | 2019-05-06 | 2019-09-03 | 平安科技（深圳）有限公司 | 语音智能播报方法、装置、计算机设备及存储介质 |
| CN112818091A (zh) * | 2019-11-15 | 2021-05-18 | 北京京东尚科信息技术有限公司 | 基于关键词提取的对象查询方法、装置、介质与设备 |
-
2021
- 2021-07-28 CN CN202110853921.2A patent/CN113656429A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017084267A1 (zh) * | 2015-11-18 | 2017-05-26 | 乐视控股（北京）有限公司 | 一种关键词提取方法和装置 |
| CN109408826A (zh) * | 2018-11-07 | 2019-03-01 | 北京锐安科技有限公司 | 一种文本信息提取方法、装置、服务器及存储介质 |
| CN110198464A (zh) * | 2019-05-06 | 2019-09-03 | 平安科技（深圳）有限公司 | 语音智能播报方法、装置、计算机设备及存储介质 |
| CN112818091A (zh) * | 2019-11-15 | 2021-05-18 | 北京京东尚科信息技术有限公司 | 基于关键词提取的对象查询方法、装置、介质与设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117216217A (zh) * | 2023-09-19 | 2023-12-12 | 山东汇商脉网络科技有限公司 | 一种档案智能分类与检索方法 |
| CN117216217B (zh) * | 2023-09-19 | 2024-03-22 | 山东汇商脉网络科技有限公司 | 一种档案智能分类与检索方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109284357B (zh) | 人机对话方法、装置、电子设备及计算机可读介质 | |
| CN109299228B (zh) | 计算机执行的文本风险预测方法及装置 | |
| CN108804421B (zh) | 文本相似性分析方法、装置、电子设备及计算机存储介质 | |
| Bisandu et al. | Clustering news articles using efficient similarity measure and N-grams | |
| US20130036076A1 (en) | Method for keyword extraction | |
| Pasquier | Single document keyphrase extraction using sentence clustering and latent dirichlet allocation | |
| CN112069312B (zh) | 一种基于实体识别的文本分类方法及电子装置 | |
| CN112395421B (zh) | 课程标签的生成方法、装置、计算机设备及介质 | |
| KR20220134695A (ko) | 인공지능 학습 모델을 이용한 저자 식별 시스템 및 그 방법 | |
| CN112182145A (zh) | 文本相似度确定方法、装置、设备和存储介质 | |
| Thushara et al. | A model for auto-tagging of research papers based on keyphrase extraction methods | |
| Ahmed et al. | Named entity recognition by using maximum entropy | |
| US10810266B2 (en) | Document search using grammatical units | |
| JP2013003663A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Gopan et al. | Comparative study on different approaches in keyword extraction | |
| Dobrovolskyi et al. | Collecting the Seminal Scientific Abstracts with Topic Modelling, Snowball Sampling and Citation Analysis. | |
| CN110728135A (zh) | 文本主题标引方法、装置、电子设备及计算机存储介质 | |
| George et al. | Comparison of LDA and NMF topic modeling techniques for restaurant reviews | |
| CN114328800A (zh) | 文本处理方法、装置、电子设备和计算机可读存储介质 | |
| CN116804998A (zh) | 基于医学语义理解的医学术语检索方法和系统 | |
| CN113656429A (zh) | 一种关键词提取方法、装置、计算机设备和存储介质 | |
| CN113076758A (zh) | 一种面向任务型对话的多域请求式意图识别方法 | |
| Nazeer | Part-of-speech tagging and named entity recognition using improved hidden markov model and bloom filter | |
| Ebrahimi Rashed et al. | A supervised method for constructing sentiment lexicon in persian language | |
| CN116644148A (zh) | 关键词识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |