CN113742448A - 知识点生成方法、装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本发明提供一种知识点生成方法、装置、电子设备、计算机可读存储介质，其中图像处理方法包括：提取第一集合中的第一文本数据的特征向量，以及第一文本数据的语义要素，语义要素表征第一文本数据的关键信息；基于语义要素对第一文本数据进行聚类，以得到多个第二集合，每一第二集合包括多个第二文本数据；基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合，每一第三集合包括多个第三文本数据；基于第三集合中的第三文本数据生成每一第三集合对应的知识点。以此能够快速发现知识点，并生成知识点。本申请的方法计算简单，效率高。

Description

知识点生成方法、装置、电子设备、计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种知识点生成方法、装置、电子设备、计算机可读存储介质。

背景技术

在NLP(Natural Language Processing，自然语言处理)的一些下游任务如问答系统、信息检索中，如果定义的标准问题覆盖度不够高，用户侧会积累了大量的无答案的搜索问题，为了解决这个问题，后端需要定期对这些无答案问题进行整理，提炼出典型的标准问题，扩充知识库。

对于无答案的用户问题，可能业务知识库中没有包含相应的知识点，那么我们就需要针对于这些无答案的用户问题发现对应的知识点。

发明内容

本发明提供一种知识点生成方法、装置、电子设备、计算机可读存储介质，该方法能够快速发现并生成知识点，计算简单，效率高。

为解决上述技术问题，本发明提供的第一个技术方案为：提供一种知识点生成方法，包括：提取第一集合中的第一文本数据的特征向量，以及第一文本数据的语义要素，语义要素表征第一文本数据的关键信息；基于语义要素对第一文本数据进行聚类，以得到多个第二集合，每一第二集合包括多个第二文本数据；基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合，每一第三集合包括多个第三文本数据；基于第三集合中的第三文本数据生成每一第三集合对应的知识点。

其中，语义要素包括第一词义特征，第一词义特征表征第一文本数据的词、句结构特征；基于语义要素对第一文本数据进行聚类，以得到多个第二集合的步骤，包括：基于第一词义特征，对第一文本数据进行聚类，以得到多个第一子集合，每一第一子集合包括多个第二文本数据，且多个第二文本数据包含有相同的第一词义特征，多个第二集合包括多个第一子集合。

其中，语义要素还包括第一语义特征，第一语义特征表征第一文本数据的上下文语义特征；基于第一词义特征，对第一文本数据进行聚类，以得到多个第一子集合的步骤之后，还包括：获取待处理文本数据，待处理文本数据包括部分第一子集合中的第二文本数据，和/或不包含第一词义特征的第一文本数据，部分第一子集合为第二文本数据数量少于预设数量的第一子集合；基于第一语义特征，对待处理文本数据进行聚类，以得到多个第二子集合，每一第二子集合中包括多个第二文本数据，且多个第二文本数据包含有相同的第一语义特征，多个第二集合还包括多个第二子集合。

其中，提取每一第一文本数据的语义要素的方法，包括：利用BERT-BiLSTM-CRF模型提取每一第一文本数据的第一词义特征；利用BERT-Att-BiLSTM模型提取每一第一文本数据的第一语义特征。

其中，基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合的步骤，包括：响应于第二集合中的第二文本数据的数量大于阈值，则利用第一聚类算法基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个子聚类集合；利用第二聚类算法基于特征向量对子聚类集合中的第二文本数据进行聚类，以得到多个第三集合。

其中，特征向量包括第二词义特征以及第二语义特征；利用第一聚类算法基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个子聚类集合的步骤，包括：计算第二集合中每一第二文本数据对应的第二词义特征与第一聚类中心的第一相似度，以及计算第二集合中每一第二文本数据对应的第二语义特征与第二聚类中心的第二相似度；对第一相似度以及第二相似度进行加权平均计算，以得到第一文本相似度，利用第一聚类算法基于第一文本相似度对第二集合中的第二文本数据进行聚类，以得到多个子聚类集合，第一聚类算法为K-Means++聚类算法。

其中，利用第二聚类算法基于特征向量对子聚类集合中的第二文本数据进行聚类，以得到多个第三集合的步骤，包括：计算子聚类集合中每一第二文本数据对应的第二词义特征与第三聚类中心的第三相似度，以及计算子聚类集合中每一第二文本数据对应的第二语义特征与第四聚类中心的第四相似度；对第三相似度以及第四相似度进行加权平均计算，以得到第二文本相似度，利用第二聚类算法基于第二文本相似度对子聚类集合中的第二文本数据进行聚类，以得到多个第三集合，第二聚类算法为Chameleon聚类算法。

其中，响应于第二集合中的第二文本数据的数量小于阈值，则利用第二聚类算法基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合。

其中，利用第二聚类算法基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合的步骤，包括：计算第二集合中每一第二文本数据对应的第二词义特征与第一聚类中心的第一相似度，以及计算第二集合中每一第二文本数据对应的第二语义特征与第二聚类中心的第二相似度；对第一相似度以及第二相似度进行加权平均计算，以得到第一文本相似度，利用第二聚类算法基于第一文本相似度对第二集合中的第二文本数据进行聚类，以得到多个第三集合，第二聚类算法为Chameleon聚类算法。

其中，提取第一集合中的第一文本数据的特征向量的步骤，包括：利用Word2Vec模型提取第一集合中每一第一文本数据的第二词义特征；利用BERT模型提取第一集合中每一第一文本数据的第二语义特征。

其中，基于第三集合中的第三文本数据生成每一第三集合对应的知识点的步骤，包括：计算第三文本数据的文本长度与预设文本长度的差值；响应于差值小于预设值，则将对应的第三文本数据确定为对应的第三集合的知识点。

其中，响应于差值小于预设值，则将对应的第三文本数据确定为对应的第三集合的知识点的步骤，还包括：响应于差值小于预设值的第三文本数据的数量大于阈值，则统计第三文本数据的语义要素在第三集合中出现的频率；基于频率确定第三集合对应的知识点。

为解决上述技术问题，本发明提供的第二个技术方案为：提供一种知识点生成装置，包括：提取模块，用于提取第一集合中的第一文本数据的特征向量，以及第一文本数据的语义要素，语义要素表征文本数据的关键信息；第一聚类模块，用于基于语义要素对第一文本数据进行聚类，以得到多个第二集合，每一第二集合包括多个第二文本数据；第二聚类模块，用于基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合，每一第三集合包括多个第三文本数据；知识点生成模块，用于基于第三集合中的第三文本数据生成每一第三集合对应的知识点。

为解决上述技术问题，本发明提供的第二个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，存储器存储有程序指令，处理器从存储器调取程序指令以执行上述任一项的方法。

为解决上述技术问题，本发明提供的第四个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的方法。

本发明的有益效果，区别于现有技术的情况，本发明基于语义要素对第一文本数据进行聚类，以得到多个第二集合；基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合；基于第三集合中的第三文本数据生成每一第三集合对应的知识点。以此能够快速发现知识点，并生成知识点。本申请的方法计算简单，效率高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明知识点生成方法的一实施例的流程示意图；

图2为本发明知识点生成装置的一实施例的结构示意图；

图3为本发明电子设备的一实施例的结构示意图；

图4为本发明计算机可读存储介质的一实施例的结构示意图。

具体实施方式

知识点发现是指根据文本的内在联系(如语义和结构信息)，将无类别标注的文本聚合成不同类别集合的过程。此过程是一个无监督的学习过程，事先不需要经过大量的训练，也不需要对文本的类别进行标注。知识点发现本质上是一个聚类问题，聚类过程中存在以下几个问题：计算机不能直接理解非结构化的文本数据，要想从中挖掘出有用信息就必须先将其转化为可被计算机识别处理的结构化形式。如何在计算机中合理的表示文本，使之包含足够的信息以反应文本特征，又不过于复杂使得算法无法处理，是知识点发现面临的首要问题。不同领域的问答系统积累的语料内容差距比较大，句式和长度分布差异也比较明显。问答系统中的语料多为短文本语料，具有稀疏性高、随意性强的特点。如果直接利用传统方法进行语料聚类来挖掘维度，效果欠佳。因此，获取文本特征后如何选择聚类算法，是知识点发现面临的另一问题。本申请提出一种知识点生成方法，该方法能够针对于累积的无答案的用户问题生成对应的知识点，扩充知识库，并且该方法计算简单，效率高。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1，为本发明知识点生成方法的第一实施例的流程示意图，具体包括：

步骤S11：提取第一集合中的第一文本数据的特征向量，以及第一文本数据的语义要素，语义要素表征文本数据的关键信息。

首先获取第一集合，第一集合中包括大量的第一文本数据。在一具体实施例中，获取线上累积的大量的无标签，无答案的用户问题作为第一文本数据，构建第一集合。

大多情况下，原始文本数据中存在一些对语义理解没有太大作用的信息，例如标点符号、停用词等，另外，语音转写过来的数据也会存在格式例如大小写不同问题，这些额外的数据都会影响后续的数据处理过程，因此需要对获取的第一集合中的第一文本数据进行预处理。

在一实施例中，数据预处理包括对第一文本数据进行降噪处理。例如，将第一文本数据中的大写转小写，或者小写转大写；还例如将特殊字符进行翻译、去除等处理；还例如根据句子的长度过滤文本，将过长的句子过滤；再例如对第一文本数据进行去重，将重复出现的句子删除，只保留一个即可。

在另一实施例中，数据预处理还包括对第一文本数据进行词法分析，词法分析包括配合专用名词词典对第一文本数据进行分词、词性标注等，以此能够定位语言元素，全面支撑机器对基础文本的理解与分析。其中，分词指的是将汉字序列切分成词序列。汉语中，词是承载语义的最基本的单元。分词是信息检索、文本分类、情感分析等多项中文自然语言处理任务的基础。本申请采用传统的分词技术，对第一文本数据进行分词。词性标注是指为自然语言文本中的每个词汇赋予一个词性的过程，就是在句子中的分词后加上词的类型如业务、属性、操作等。以分词和词性标注为基础，分析文本中的分词，可以更加准确理解文字的含义。

本申请中，经过上述预处理操作之后，一方面能够使得第一文本数据更加易被机器识别与理解，另一方面能够使得机器准确理解文字的含义。

在经过上述预处理操作之后，提取第一集合中第一文本数据的特征向量，以及提取第一集合中第一文本数据的语义要素。其中，语义要素是用来表征第一文本数据的关键信息。在一实施例中，语义要素用token进行表示，其分为三类，分别为业务token、动作token以及参数token。其中业务token为业务关键词，例如话费、流量等；动作token为动作关键词，例如查询、开通等；参数token为业务的关键属性，例如使用情况等。

对于同一个业务token，可能包含有多个扩展token，扩展token就是对于多个不同的关键词，其含义可能一致，例如：话费、通讯费、手机费实际上都表示的是话费的意思，因此可以将话费对应的语义要素取为标准业务token，而通讯费和手机费的语义要素取为扩展token。

对于每一个第一文本数据都可以表示为token的组合，例如，“我的那个话费帮我查询一下”，提取其对应的语义要素为“话费、查询”，其中，“话费、查询”为该句子的关键路径。在一实施例中，对于一个标准问题，往往会包含多个文法，因此也会产生多条关键路径。例如，若第一文本数据为“话费查询”，则可能会有两条关键路径，如话费，查询；再例如，话费，查询，使用情况。

本申请中，提取每一个第一文本数据的语义要素，可以将第一文本数据表示为多条路径的组合，所有第一文本数据的路径就组成了关键路径资源。

在一具体实施例中，可以利用模型提取第一文本数据的语义要素，在得到语义要素之后，进一步可以利用标准token替换对应的扩展token。

在一具体实施例中，本申请的语义要素包括第一词义特征，第一词义特征用于表征第一文本数据的词、句结构特征。例如，在一实施例中，利用BERT-BiLSTM-CRF模型提取每一第一文本数据的第一词义特征。

在另一实施例中，本申请的语义要素包括第一语义特征，第一语义特征用于表征第一文本数据的上下文语义特征。例如，在一实施例中，利用BERT-Att-BiLSTM模型提取每一第一文本数据的第一语义特征。

步骤S12：基于语义要素对第一文本数据进行聚类，以得到多个第二集合。

在一实施例中，语义要素包括第一词义特征，则在本步骤中，基于第一词义特征对第一文本数据进行聚类，以得到多个第二集合，每一第二集合包括多个第二文本数据。

具体的，基于第一词义特征，对第一文本数据进行聚类，以得到多个第一子集合。需要说明的是，每一第一子集合包括多个第二文本数据，且在同一第一子集合中，多个第二文本数据包含有相同的第一词义特征。在本实施例中，第二集合包括多个第一子集合。

具体的，基于第一词义特征对第一文本数据进行划分。可以理解的，一个第一文本数据可能会有多个token，也即第一词义特征，那么这个第一文本数据就有可能会被划分到多个不同的第一子集合中。如下表(1)所示：

表(1)

其中，第一文本数据“信用卡积分从哪查看”既包含token“信用卡”，又包含token“积分”。因此，第一文本数据“信用卡积分从哪查看”既可以被聚类至token“信用卡”中，又可以被聚类至token“积分”中。

具体的，“怎么激活信用卡/信用卡在哪里办理/什么是信用卡/信用卡积分从哪查看……”中均包含“信用卡”，因此聚类至token“信用卡”对应的集合中。“帮我查信用卡账单/哪里可以查到信用卡账单/账单查询……”中均包含“账单”，因此被聚类至token“账单”对应的集合中。“可以查额度吗/我想提升信用卡的额度/信用卡审批最高多少额度……”中均包含“额度”，因此被聚类至token“额度”对应的集合中。

进一步的，若存在没有提取出第一词义特征的第一文本数据，和/或存在第一文本数据少于预设数量的第一子集合，则需要对其进行进一步的聚类。具体的，获取待处理文本数据，待处理文本数据包括部分第一子集合中的第二文本数据，和/或不包含第一词义特征的第一文本数据。具体的，部分第一子集合中的第二文本数据的数量少于预设数量。

在一实施例中，假设预设数量为3，如上述表(1)所示，token“积分”对应的文本中的第二文本数据仅包括“信用卡积分从哪查看”，其数量少于3，因此，需要对token“积分”对应的文本重新进行聚类。另外，还需要对未抽取到第一词义特征的第一文本特征进行重新聚类，进而得到多个第二子集合。聚类完成后，第二子集合中包含多个第二文本数据，且多个第二文本数据包含有相同的第一语义特征。在本实施例中，多个第二集合包括第一子集合以及第二子集合。如下表(2)所示：

表(2)

其中，在表(1)中，“信用卡积分从哪查看”对应的token“积分”的集合中只有这一个文本，因此基于第一语义特征对这个文本重新进行聚类。“信用卡积分从哪查看”具有第一语义特征“查询”，因此其有第一语义特征。对于文本“想办理一个”，其没有对应的第一词义特征，但是具有第一语义特征“办理”，因此将其聚类至有第一语义特征的集合中。对于文本“查啥”，其没有对应的第一词义特征，但是具有第一语义特征“查询”，因此将其聚类至有第一语义特征的集合中。对于文本“我那个”，其既没有第一词义特征，也没有第一语义特征，因此将其聚类至无第一语义特征的集合中，文本“你把”同样。

本实施例的方法，先利用第一词义特征以及第一语义特征对第一文本数据进行粗聚类，以得到多个第二集合，紧接着需要对第二集合进行细聚类。

步骤S13：基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合。

具体的，在上述步骤S12中，基于token对第一集合中的第一文本数据进行粗聚类，以得到多个第二集合，在本步骤中，基于特征向量对第二集合中的第二文本数据进行细聚类，以得到多个第三集合，每一第三集合包括多个第三文本数据。

在本实施例中，需要先针对第一文本数据提取出特征向量。特征向量。现有技术通常采用传统的词袋模型、N-Gram袋模型、TF-IDF模型(词频逆文档频率)提取文本的特征向量。其中，词袋模型将所有词语装进一个袋子里，不考虑单词顺序、序列和语法的问题，即每个词语都是独立的。如果想考虑按顺序出现的短语或单词的集合，N-Gram袋模型可以帮助实现这一目的。N-Gram袋模型基本上是文本文档中单词tokens的集合，这些标记是连续的，并以序列的形式出现。因此，N-Grams袋模型只是词袋模型的一个扩展。在大型语料库中使用词袋模型可能会产生一些潜在的问题。由于特征向量是基于绝对频率，可能有一些项在所有文档中都经常出现，这可能倾向于掩盖其他方面的特征。TF-IDF模型试图解决这一问题，在计算中使用了缩放或归一化因子，用以评估一个词(term)对于一个文件集或者一个语料库中的一份文件的重要程度，目前是在文本处理领域中使用最广泛的数值权重计算方法。但是该方法在知识点发现上效果不佳。

本申请中，一方面为了提高聚类准确性，本申请的特征向量包括第二词义特征以及第二语义特征。其中，第二词义特征为词维度的特征向量，第二语义特征为上下文维度的特征向量。通过第二词义特征以及第二语义特征进行聚类，能够结合上下文，得到更好的聚类效果。

本申请提出利用Word2Vec模型提取第一集合中每一第一文本数据的第二词义特征；利用BERT模型提取第一集合中每一第一文本数据的第二语义特征。其中，Word2Vec模型由词义的分布式假设(一个单词的意思由频繁出现在它上下问的词给出)出发，最终得到的是一个look-up table，每个单词被映射到一个唯一的稠密向量，该向量空间的维度大大低于传统的词袋模型构建出的高维稀疏的向量空间，但它无法处理一词多义问题。自然语言中每个词都可能多个不同的意思，那么如果需要用数值表示它的意思，至少不应该是固定的某一个向量。而为了解决一词多义的问题，本申请引入BERT模型。具体的，解决一词多义的问题必然离不开上下文，因此我们需要的不仅仅是一个词到向量的单射，而应该学习一个考虑上下文的函数(模型)。BERT使用Transformer作为特征抽取器，这种方法天然地对上下文有很好的利用，不需要像BiLSTM那样双向堆叠。利用BERT模型得到第二语义特征。在进行聚类时，将第二词义特征以及第二语义特征结合，能够结合上下文，解决一词多义问题，得到更好的聚类效果。

在本实施例中，基于第二集合的基础进行聚类。在聚类过程中，选择合适的聚类算法也是很有必要的，不同的聚类方法会对聚类结果产生很大影响。现有的主流的聚类方法例如K-Means算法，K-Means算法虽然处理大型数据时有较高效率和伸缩性，但其初始聚类中心K是事先给定的，K的选定是非常难以估计的，一旦选择的不好，可能无法得到有效的聚类结果。聚类算法例如CURE算法考虑了簇的邻近度，但却忽略簇的互连性，参数较多、实际复杂，难以发现形状非常复杂的空间簇，对空间数据密度差异敏感。

而K-Means++算法在K-Means算法的基础上改进了聚类初始点的选择方法，其他步骤都一样。初始质心选取的基本思路就是，初始的聚类中心之间的相互距离要尽可能的远离当前已有聚类中心较远的点有更大的概率被选为下一个聚类中心。

针对以往的聚类算法如CURE算法忽略簇与簇之间的互联性和近似性，采用动态建模确定一对簇之间相似度的Chameleon算法可同时考虑最近邻节点的靠近程度和临接区域的大小。如果两个簇的互连性都很高并且他们之间又靠的很近，那么就将其合并。为了提高聚类效果，本发明采用多级聚类算法，先根据模型抽取的token进行“粗聚类”，再根据数据分布选择K-Means++和Chameleon组合或Chameleon算法进行“细聚类”，多核的方式优化知识点发现的效率。

具体的，针对数据量巨大、类别多、真实类别数未知、样本数量不均衡、类内变化多的无答案文本，K-Means++算法不能很好地执行聚类。而Chameleon算法没有固定的模型，它动态的考察自身和其他簇，然后动态的适应、合并簇，对各种奇葩的形状也能应对自如，知识点聚类结果优于K-Means++算法。但是最坏情况下，高维数据的处理代价可能需要O(n2)的时间。尽管K-Means++计算初始点时花费了额外的时间，但是在迭代过程中，K-Means本身能快速收敛，因此算法实际上降低了计算时间。所以如果第一阶段聚类后的数据量较大(大于1500条)，为了优化知识点发现的效率先进行K-Means++聚类，再进行Chameleon聚类；否则，直接进行Chameleon聚类。

在一实施例中，判断第二集合中第二文本数据的数量是否大于阈值，例如150，响应于第二集合中的第二文本数据的数量大于阈值，则利用第一聚类算法基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个子聚类集合。然后再利用第二聚类算法基于特征向量对子聚类集合中的第二文本数据进行聚类，以得到多个第三集合。在一具体实施例中，第一聚类算法为K-Means++算法，第二聚类算法为Chameleon聚类算法。

具体的，计算第二集合中每一第二文本数据对应的第二词义特征与第一聚类中心的第一相似度，以及计算第二集合中每一第二文本数据对应的第二语义特征与第二聚类中心的第二相似度。对第一相似度以及第二相似度进行加权平均计算，以得到第一文本相似度，利用第一聚类算法基于第一文本相似度对第二集合中的第二文本数据进行聚类，以得到多个子聚类集合。需要说明的是，第一聚类中心与第二聚类中心是通过K-Means++算法确定的。

进一步的，计算子聚类集合中每一第二文本数据对应的第二词义特征与第三聚类中心的第三相似度，以及计算子聚类集合中每一第二文本数据对应的第二语义特征与第四聚类中心的第四相似度。对第三相似度以及第四相似度进行加权平均计算，以得到第二文本相似度，利用第二聚类算法基于第二文本相似度对子聚类集合中的第二文本数据进行聚类，以得到多个第三集合。需要说明的是，第三聚类中心与第四聚类中心是通过Chameleon聚类算法确定的。

在另一实施例中，响应于第二集合中的第二文本数据的数量小于阈值，例如小于150，则利用第二聚类算法基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合。第二聚类算法为Chameleon聚类算法。

具体的，计算第二集合中每一第二文本数据对应的第二词义特征与第一聚类中心的第一相似度，以及计算第二集合中每一第二文本数据对应的第二语义特征与第二聚类中心的第二相似度。对第一相似度以及第二相似度进行加权平均计算，以得到第一文本相似度，利用第二聚类算法基于第一文本相似度对第二集合中的第二文本数据进行聚类，以得到多个第三集合，第二聚类算法为Chameleon聚类算法。本实施例中，第一聚类中心以及第二聚类中心是通过Chameleon聚类算法确定的。

步骤S14：基于第三集合中的第三文本数据生成每一第三集合对应的知识点。

在聚类完成得到第三集合后，基于第三集合中的第三文本数据生成每一第三集合对应的知识点。

在一具体实施例中，可以计算第三文本数据的文本长度L与预设文本长度L0的差值|L-L0|。需要说明的是，预设文本长度L0是预定义的知识点的长度。响应于差值小于预设值，则将对应的第三文本数据确定为对应的第三集合的知识点。可以理解的，将差值的绝对值与预设值进行比较，进而确定对应的第三文本数据确定为对应的第三集合的知识点。

在一具体实施例中，若差值小于预设值的第三文本数据的数量大于阈值，例如大于1，则统计第三文本数据的语义要素在第三集合中出现的频率，基于频率确定第三集合对应的知识点。具体的，假设差值小于预设值的第三文本数据的数量大于阈值，且语义要素出现的频率从高到底依此为“信用卡”、“余额”、“查询”、“办理”、“激活”、“积分”。在一实施例中，可以取频率排列前5个语义要素得到第三集合对应的知识点。也即基于“信用卡”、“余额”、“查询”、“办理”、“激活”得到第三集合对应的知识点。具体的，按照业务、操作、属性的顺序进行拼接，以得到第三集合对应的知识点。例如，最终得到的知识点为“办理信用卡，激活信用卡并查询余额”。

本申请的知识点生成方法先按照语义要素对第一文本数据进行簇聚类，再利用聚类算法进行细聚类，以此能够快速发现知识点，并生成知识点。本申请的方法计算简单，效率高。

请参见图2，为本发明知识点生成装置的一实施例的结构示意图，具体包括：提取模块21、第一聚类模块22、第二聚类模块23以及知识点生成模块24。

其中，提取模块21用于提取第一集合中的第一文本数据的特征向量，以及第一文本数据的语义要素，语义要素表征文本数据的关键信息。

第一聚类模块22用于基于语义要素对第一文本数据进行聚类，以得到多个第二集合，每一第二集合包括多个第二文本数据。

第二聚类模块23用于基于特征向量对第二集合中的第二文本数据进行聚类，以得到多个第三集合，每一第三集合包括多个第三文本数据。

知识点生成模块24用于基于第三集合中的第三文本数据生成每一第三集合对应的知识点。

本申请的知识点生成装置先按照语义要素对第一文本数据进行簇聚类，再利用聚类算法进行细聚类，以此能够快速发现知识点，并生成知识点。本申请的方法计算简单，效率高。

请参见图3，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。

存储器202用于存储实现上述任意一项的设备的方法的程序指令。

处理器201用于执行存储器202存储的程序指令。

其中，处理器201还可以称为CPU(Central Processing Unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器202可以为内存条、TF卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

请参阅图4，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (15)

1.一种知识点生成方法，其特征在于，包括：

提取第一集合中的第一文本数据的特征向量，以及所述第一文本数据的语义要素，所述语义要素表征所述第一文本数据的关键信息；

基于所述语义要素对所述第一文本数据进行聚类，以得到多个第二集合，每一所述第二集合包括多个第二文本数据；

基于所述特征向量对所述第二集合中的所述第二文本数据进行聚类，以得到多个第三集合，每一所述第三集合包括多个第三文本数据；

基于所述第三集合中的所述第三文本数据生成每一所述第三集合对应的所述知识点。

2.根据权利要求1所述的方法，其特征在于，所述语义要素包括第一词义特征，所述第一词义特征表征所述第一文本数据的词、句结构特征；

所述基于所述语义要素对所述第一文本数据进行聚类，以得到多个第二集合的步骤，包括：

基于所述第一词义特征，对所述第一文本数据进行聚类，以得到多个第一子集合，每一所述第一子集合包括多个第二文本数据，且所述多个第二文本数据包含有相同的所述第一词义特征，多个所述第二集合包括多个所述第一子集合。

3.根据权利要求2所述的方法，其特征在于，所述语义要素还包括第一语义特征，所述第一语义特征表征所述第一文本数据的上下文语义特征；

基于所述第一词义特征，对所述第一文本数据进行聚类，以得到多个第一子集合的步骤之后，还包括：

获取待处理文本数据，所述待处理文本数据包括部分所述第一子集合中的第二文本数据，和/或不包含所述第一词义特征的所述第一文本数据，所述部分所述第一子集合为第二文本数据数量少于预设数量的第一子集合；

基于所述第一语义特征，对所述待处理文本数据进行聚类，以得到多个第二子集合，每一所述第二子集合中包括多个第二文本数据，且所述多个第二文本数据包含有相同的所述第一语义特征，多个所述第二集合还包括多个所述第二子集合。

4.根据权利要求3所述的方法，其特征在于，提取每一所述第一文本数据的语义要素的方法，包括：

利用BERT-BiLSTM-CRF模型提取每一所述第一文本数据的第一词义特征；

利用BERT-Att-BiLSTM模型提取每一所述第一文本数据的第一语义特征。

5.根据权利要求1所述的方法，其特征在于，所述基于所述特征向量对所述第二集合中的所述第二文本数据进行聚类，以得到多个第三集合的步骤，包括：

响应于所述第二集合中的所述第二文本数据的数量大于阈值，则利用第一聚类算法基于所述特征向量对所述第二集合中的所述第二文本数据进行聚类，以得到多个子聚类集合；

利用第二聚类算法基于所述特征向量对所述子聚类集合中的所述第二文本数据进行聚类，以得到多个所述第三集合。

6.根据权利要求5所述的方法，其特征在于，所述特征向量包括第二词义特征以及第二语义特征；

所述利用第一聚类算法基于所述特征向量对所述第二集合中的所述第二文本数据进行聚类，以得到多个子聚类集合的步骤，包括：

计算所述第二集合中每一所述第二文本数据对应的所述第二词义特征与第一聚类中心的第一相似度，以及计算所述第二集合中每一所述第二文本数据对应的所述第二语义特征与第二聚类中心的第二相似度；

对所述第一相似度以及所述第二相似度进行加权平均计算，以得到第一文本相似度，利用所述第一聚类算法基于所述第一文本相似度对所述第二集合中的所述第二文本数据进行聚类，以得到多个子聚类集合，所述第一聚类算法为K-Means++聚类算法。

7.根据权利要求6所述的方法，其特征在于，所述利用第二聚类算法基于所述特征向量对所述子聚类集合中的所述第二文本数据进行聚类，以得到多个所述第三集合的步骤，包括：

计算所述子聚类集合中每一所述第二文本数据对应的所述第二词义特征与第三聚类中心的第三相似度，以及计算所述子聚类集合中每一所述第二文本数据对应的所述第二语义特征与第四聚类中心的第四相似度；

对所述第三相似度以及所述第四相似度进行加权平均计算，以得到第二文本相似度，利用所述第二聚类算法基于所述第二文本相似度对所述子聚类集合中的所述第二文本数据进行聚类，以得到多个所述第三集合，所述第二聚类算法为Chameleon聚类算法。

8.根据权利要求6所述的方法，其特征在于，

响应于所述第二集合中的所述第二文本数据的数量小于所述阈值，则利用所述第二聚类算法基于所述特征向量对所述第二集合中的所述第二文本数据进行聚类，以得到多个所述第三集合。

9.根据权利要求8所述的方法，其特征在于，所述利用所述第二聚类算法基于所述特征向量对所述第二集合中的所述第二文本数据进行聚类，以得到多个所述第三集合的步骤，包括：

计算所述第二集合中每一所述第二文本数据对应的所述第二词义特征与第一聚类中心的第一相似度，以及计算所述第二集合中每一所述第二文本数据对应的所述第二语义特征与第二聚类中心的第二相似度；

对所述第一相似度以及所述第二相似度进行加权平均计算，以得到第一文本相似度，利用所述第二聚类算法基于所述第一文本相似度对所述第二集合中的所述第二文本数据进行聚类，以得到多个所述第三集合，所述第二聚类算法为Chameleon聚类算法。

10.根据权利要求1所述的方法，其特征在于，所述提取第一集合中的第一文本数据的特征向量的步骤，包括：

利用Word2Vec模型提取所述第一集合中每一所述第一文本数据的第二词义特征；

利用BERT模型提取所述第一集合中每一所述第一文本数据的第二语义特征。

11.根据权利要求1所述的方法，其特征在于，所述基于所述第三集合中的所述第三文本数据生成每一所述第三集合对应的所述知识点的步骤，包括：

计算所述第三文本数据的文本长度与预设文本长度的差值；

响应于所述差值小于预设值，则将对应的所述第三文本数据确定为对应的所述第三集合的知识点。

12.根据权利要求11所述的方法，其特征在于，所述响应于所述差值小于预设值，则将对应的所述第三文本数据确定为对应的所述第三集合的知识点的步骤，还包括：

响应于所述差值小于预设值的第三文本数据的数量大于阈值，则统计所述第三文本数据的语义要素在所述第三集合中出现的频率；

基于所述频率确定所述第三集合对应的所述知识点。

13.一种知识点生成装置，其特征在于，包括：

提取模块，用于提取第一集合中的第一文本数据的特征向量，以及所述第一文本数据的语义要素，所述语义要素表征所述文本数据的关键信息；

第一聚类模块，用于基于所述语义要素对所述第一文本数据进行聚类，以得到多个第二集合，每一所述第二集合包括多个第二文本数据；

第二聚类模块，用于基于所述特征向量对所述第二集合中的所述第二文本数据进行聚类，以得到多个第三集合，每一所述第三集合包括多个第三文本数据；

知识点生成模块，用于基于所述第三集合中的所述第三文本数据生成每一所述第三集合对应的所述知识点。

14.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器存储有程序指令，所述处理器从所述存储器调取所述程序指令以执行如权利要求1-12任一项所述的知识点生成方法。

15.一种计算机可读存储介质，其特征在于，存储有程序文件，所述程序文件能够被执行以实现如权利要求1-12任一项所述的知识点生成方法。

Images