CN111753089A - 话题聚类方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种话题聚类方法、装置、电子设备及存储介质。该方法能够基于BERT模型对所述文本数据集进行回归分析，得到基础数据集，以更好的表达各个文本的段落信息，帮助提高文本表示的准确性，从基础数据集中选择配置数量的数据进行标注，利用少量的标注信息辅助整体的无监督聚类，采用AgglomerativeClustering模型，结合第一类间距离及第二类间距离进行聚类，进一步采用基于BERT算法训练的相似度模型，得到目标聚类结果，以便采用较大的类间距离下的聚类结果作为指导，对较小的类间距离下的聚类结果进行合并，同时保证了召回率及准确率，对聚类的距离及类别的依赖降低，提高聚类效果。本发明还涉及区块链技术，BERT模型、AgglomerativeClustering模型及相似度模型可存储于区块链上。

Description

话题聚类方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种话题聚类方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的飞速发展，各大新闻门户网站应运而生，这些网站成为了新闻媒体发布新闻和人们获取信息的主要渠道。但由于网络新闻的复杂性、冗余性，以及更新和传播的快速性等，用户很难快速、准确地获取自己所需的关键信息，针对于新闻的细粒度话题聚类也存在着重重困难。

现有技术方案中，聚类的方法往往需要设定聚类个数或者距离，而这些信息是无法提前得知的，这给聚类任务带来了巨大的挑战。由于是无监督的任务，也无法通过获取训练数据来确定测试数据的聚类个数或者距离。

另外，在进行聚类时，也存在无法充分理解文本以及特征稀疏的问题，将导致聚类结果的不准确，以至于相同的话题被分到不同的类，或者相同的类下面划分有不同的话题。

发明内容

鉴于以上内容，有必要提供一种话题聚类方法、装置、电子设备及存储介质，能够采用BERT模型代替TF-IDF预测词的重要程度，能够通过回归分析深度理解语义，以更好的表达各个文本的段落信息，帮助提高文本表示的准确性，以实现更加准确的聚类，并采用较大的类间距离下的聚类结果作为指导，对较小的类间距离下的聚类结果进行合并，同时保证了召回率及准确率，对聚类的距离及类别的依赖降低，提高聚类效果。

一种话题聚类方法，所述方法包括：

响应于接收到的聚类指令，获取文本数据集；

基于BERT模型对所述文本数据集进行回归分析，得到基础数据集；

从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集；

根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离；

采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果；

采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果。

根据本发明优选实施例，所述基于BERT模型对所述文本数据集进行回归分析，得到基础数据集包括：

采用BERT算法，并基于通用文本库进行预训练，得到所述BERT模型并存储于区块链上；

将所述文本数据集中的各个数据对依次输入至所述BERT模型，输出每个词的重要程度评分；

对每个词的重要程度评分进行标准化处理；

基于所述文本数据集中各个数据对的词组成生成各个数据对的文本表示；

整合各个数据对的文本表示，得到所述基础数据集。

根据本发明优选实施例，所述方法还包括：

以所述标注的数据构建测试集；

采用AgglomerativeClustering模型对所述测试集中的数据进行聚类，并确定聚类后的召回率及准确率，所述AgglomerativeClustering模型存储于区块链上；

当所述召回率大于或者等于配置召回率，获取当前的类间距离作为所述第一类间距离；及

当所述准确率大于或者等于配置准确率时，获取当前的类间距离作为所述第二类间距离。

根据本发明优选实施例，所述采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果包括：

对于所述第二聚类结果中的每个小类，从所述第一聚类结果中确定所述小类所属的大类；

采用所述相似度模型将所述小类与所述大类中的各个类别进行相似度匹配，得到与所述小类对应的候选类别，所述相似度模型存储于区块链上；

计算所述小类与所述候选类别中每个类别的相似度的均值；

当所述均值大于或者等于预设阈值时，合并所述小类与所述候选类别；

整合每个小类的合并结果，得到所述目标聚类结果。

根据本发明优选实施例，在得到目标聚类结果后，所述方法还包括：

将所述目标聚类结果中的每个类别分别输入至预先训练的主谓宾提取模型中，输出每个类别下提取的主语、谓语及宾语；

对于每个类别，基于所述基础数据集确定提取的每个主语的词频、每个谓语的词频以及每个宾语的词频；

确定提取的每个主语在所述基础数据集中的共有率、每个谓语在所述基础数据集中的共有率，以及每个宾语在所述基础数据集中的共有率；

确定词频所占的第一权重，以及确定共有率所占的第二权重；

基于所述第一权重、所述第二权重、每个主语的词频、每个主语在所述基础数据集中的共有率计算每个主语的评分，以及基于所述第一权重、所述第二权重、每个谓语的词频、每个谓语在所述基础数据集中的共有率计算每个谓语的评分，以及基于所述第一权重、所述第二权重、每个宾语的词频、每个宾语在所述基础数据集中的共有率计算每个宾语的评分；

获取每个类别下评分最高的主语、评分最高的谓语以及评分最高的宾语生成句子作为每个类别的话题。

根据本发明优选实施例，所述方法还包括：

从通用文本库中随机获取数据构建训练样本；

基于语法树识别所述训练样本中每个句子的主干；

确定每个主干对应的分词以及词性；

当所述分词以及所述词性的准确率不再提升时，停止训练并得到所述主谓宾提取模型，将所述主谓宾提取模型存储于区块链上。

根据本发明优选实施例，所述方法还包括：

当检测到用户阅读文章的信号时，确定所述用户阅读的文章的话题；

推荐与所述话题相关联的文章至所述用户的终端设备。

一种话题聚类装置，所述装置包括：

获取单元，用于响应于接收到的聚类指令，获取文本数据集；

分析单元，用于基于BERT模型对所述文本数据集进行回归分析，得到基础数据集；

标注单元，用于从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集；

确定单元，用于根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离；

聚类单元，用于采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果；

合并单元，用于采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果。

一种电子设备，所述电子设备包括：

存储器，存储至少一个指令；及

处理器，执行所述存储器中存储的指令以实现所述话题聚类方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述话题聚类方法。

由以上技术方案可以看出，本发明能够响应于接收到的聚类指令，获取文本数据集，并基于BERT模型对所述文本数据集进行回归分析，得到基础数据集，采用BERT模型代替TF-IDF预测词的重要程度，能够通过回归分析深度理解语义，以更好的表达各个文本的段落信息，帮助提高文本表示的准确性，以实现更加准确的聚类，从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集，以便利用少量的标注信息辅助整体的无监督聚类，并根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离，采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果，进一步采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果，以便采用较大的类间距离下的聚类结果作为指导，对较小的类间距离下的聚类结果进行合并，同时保证了召回率及准确率，对聚类的距离及类别的依赖降低，提高聚类效果。

附图说明

图1是本发明话题聚类方法的较佳实施例的流程图。

图2是本发明话题聚类装置的较佳实施例的功能模块图。

图3是本发明实现话题聚类方法的较佳实施例的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

如图1所示，是本发明话题聚类方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

所述话题聚类方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。

所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。

所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

S10，响应于接收到的聚类指令，获取文本数据集。

具体地，所述聚类指令可以由相关工作人员触发。

进一步地，所述文本数据集可以是各大新闻门户网站上的新闻类文章。

S11，基于BERT(Bidirectional Encoder Representations from Transformers，基于Transformer的双向编码器表征)模型对所述文本数据集进行回归分析，得到基础数据集。

具体地，所述基于BERT模型对所述文本数据集进行回归分析，得到基础数据集包括：

采用BERT算法，并基于通用文本库进行预训练，得到所述BERT模型并存储于区块链上；

将所述文本数据集中的各个数据对依次输入至所述BERT模型，输出每个词的重要程度评分；

对每个词的重要程度评分进行标准化处理；

基于所述文本数据集中各个数据对的词组成生成各个数据对的文本表示；

整合各个数据对的文本表示，得到所述基础数据集。

现有技术方案中通常采用TF-IDF(term frequency–inverse documentfrequency，信息检索数据挖掘的常用加权技术)预测词的重要程度，TF-IDF采用词频乘以逆词频来计算，词频是指某个词在文章中出现的次数，能够代表该词的重要程度，但是，对于一些语气词、助词等，在其他的文章中出现的次数也会很高，但是这些词往往在文章中并不重要。另外，当利用TF(词频)*IDF(其他文章中词频的倒数)计算词的重要程度时，在本篇文章中出现的次数越多，在其他文章中出现的次数越少的词，其TFIDF的值越高，预测出的重要程度也越高，则会有一定的局限性，比如：对于句子“麋鹿是鹿科动物，以青草或水草为食物，是一种濒危的动物。他们类似驯鹿，但不是驯鹿”。在这句话中，重点词为“麋鹿”，但由于“驯鹿”出现的次数多，假如“驯鹿”和“麋鹿”的逆词频是一致的，那“驯鹿”的TF-IDF要高于“麋鹿”，显然，该结果是不准确的，TF-IDF也就无法准确预测出这个句子中各个词的重要程度，可见，TF-IDF在应用于本实施例时，存在一定弊端。

相比较而言，本案采用BERT模型代替TF-IDF预测词的重要程度，能够通过回归分析深度理解语义，以更好的表达各个文本的段落信息，帮助提高文本表示的准确性，以实现更加准确的聚类。

S12，从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集。

在本实施例中，可以将相同话题的文本数据标注上相同的话题。

具体地，可以采用人工辅助标注，得到人工标注结果并上报，分析上报的人工标注结果以完成标注。

或者，也可以通过文本识别进行自动标注，本发明不限制。

通过上述实施方式，能够利用少量的标注信息辅助整体的无监督聚类。

S13，根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离。

其中，所述第一类间距离与所述第二类间距离不同。

在本发明的至少一个实施例中，所述方法还包括：

以所述标注的数据构建测试集；

采用AgglomerativeClustering模型对所述测试集中的数据进行聚类，并确定聚类后的召回率及准确率，所述AgglomerativeClustering模型存储于区块链上；

当所述召回率大于或者等于配置召回率，获取当前的类间距离作为所述第一类间距离；及

当所述准确率大于或者等于配置准确率时，获取当前的类间距离作为所述第二类间距离。

其中，所述第一类间距离大于所述第二类间距离。

以所述第一类间距离进行聚类，能够保证较高的召回率，以所述第二类间距离进行聚类，能够保证较高的准确率。

本实施例通过不断地试错，进而能够确定出所述第一类间距离以及所述第二类间距离。

S14，采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果。

在本实施例中，由于所述第一类间距离对应着较高的召回率，因此使用所述第一类间距离得到的所述第一聚类结果中的每个类别也较大。而由于所述第二类间距离对应着较高的准确率，因此使用所述第二类间距离得到的所述第二聚类结果中的每个类别也较小。

也就是说，所述第一聚类结果属于较为粗略的聚类，而所述第二聚类结果属于较为精确的聚类。因此，后续需要利用所述第一聚类结果对所述第二聚类结果进行合并，以得到更好的聚类结果。

S15，采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果。

在本实施例中，使用AgglomerativeClustering模型进行了两次聚类。

第一次使用较大的类间距离进行聚类，由于具有较高的召回率，所划分的每个类下面会尽可能包含该类所有的文章，即一个类下面包含所有具有同一话题的文章。

第二次使用较小的类间距离进行聚类，由于具有较高的准确率，所划分的每个类下面将只包含相同的话题，而不存在其他话题。

通过上述方式得到的两个聚类结果，一个准确率高，一个召回率高。因此，本实施例进一步利用相似度模型对两个聚类结果进行结合，使最终得到的聚类结果同时兼具了较高的召回率以及较高的准确率，聚类效果更佳。

具体地，所述采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果包括：

对于所述第二聚类结果中的每个小类，从所述第一聚类结果中确定所述小类所属的大类；

采用所述相似度模型将所述小类与所述大类中的各个类别进行相似度匹配，得到与所述小类对应的候选类别，所述相似度模型存储于区块链上；

计算所述小类与所述候选类别中每个类别的相似度的均值；

当所述均值大于或者等于预设阈值时，合并所述小类与所述候选类别；

整合每个小类的合并结果，得到所述目标聚类结果。

其中，所述预设阈值可以进行自定义配置。

例如：通常情况下，当均值大于0.5时，可以确定为同一类，但为了提高准确度，可根据实际情况将所述预设阈值配置为0.8或者0.9。

通过上述实施方式，采用较大的类间距离下的聚类结果作为指导，对较小的类间距离下的聚类结果进行合并，同时保证了召回率及准确率。

在本发明的至少一个实施例中，在得到目标聚类结果后，所述方法还包括：

将所述目标聚类结果中的每个类别分别输入至预先训练的主谓宾提取模型中，输出每个类别下提取的主语、谓语及宾语；

对于每个类别，基于所述基础数据集确定提取的每个主语的词频、每个谓语的词频以及每个宾语的词频；

确定提取的每个主语在所述基础数据集中的共有率、每个谓语在所述基础数据集中的共有率，以及每个宾语在所述基础数据集中的共有率；

确定词频所占的第一权重，以及确定共有率所占的第二权重；

基于所述第一权重、所述第二权重、每个主语的词频、每个主语在所述基础数据集中的共有率计算每个主语的评分，以及基于所述第一权重、所述第二权重、每个谓语的词频、每个谓语在所述基础数据集中的共有率计算每个谓语的评分，以及基于所述第一权重、所述第二权重、每个宾语的词频、每个宾语在所述基础数据集中的共有率计算每个宾语的评分；

获取每个类别下评分最高的主语、评分最高的谓语以及评分最高的宾语生成句子作为每个类别的话题。

通过上述实施方式，使用主谓宾提取模型提取得分较高的主谓宾作为话题，比深度生成模型有较好的可控能力，深度生成模型生成结果往往无法控制，而且容易产生语法错误等问题。

在本发明的至少一个实施例中，所述方法还包括：

从通用文本库中随机获取数据构建训练样本；

基于语法树识别所述训练样本中每个句子的主干；

确定每个主干对应的分词以及词性；

当所述分词以及所述词性的准确率不再提升时，停止训练并得到所述主谓宾提取模型，将所述主谓宾提取模型存储于区块链上。

通过上述实施方式，以通用文本构建所述主谓宾提取模型，以准确提取出每个类别的话题。

在本发明的至少一个实施例中，所述方法还包括：

当检测到用户阅读文章的信号时，确定所述用户阅读的文章的话题；

推荐与所述话题相关联的文章至所述用户的终端设备。

通过上述实施方式，能够识别出用户的兴趣点，并基于识别出的兴趣点关联至相关的文章，以实现对关联文章的推荐。

在本实施例中，将BERT模型、AgglomerativeClustering模型、相似度模型及主谓宾提取模型存储于区块链上，能够有效保证模型的安全性及隐私性，并有效防止数据被篡改。

由以上技术方案可以看出，本发明能够响应于接收到的聚类指令，获取文本数据集，并基于BERT模型对所述文本数据集进行回归分析，得到基础数据集，采用BERT模型代替TF-IDF预测词的重要程度，能够通过回归分析深度理解语义，以更好的表达各个文本的段落信息，帮助提高文本表示的准确性，以实现更加准确的聚类，从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集，以便利用少量的标注信息辅助整体的无监督聚类，并根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离，采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果，进一步采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果，以便采用较大的类间距离下的聚类结果作为指导，对较小的类间距离下的聚类结果进行合并，同时保证了召回率及准确率，对聚类的距离及类别的依赖降低，提高聚类效果。

如图2所示，是本发明话题聚类装置的较佳实施例的功能模块图。所述话题聚类装置11包括获取单元110、分析单元111、标注单元112、确定单元113、聚类单元114、合并单元115、构建单元116、输入单元117、计算单元118、识别单元119、训练单元120、推荐单元121。本发明所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。

响应于接收到的聚类指令，获取单元110获取文本数据集。

具体地，所述聚类指令可以由相关工作人员触发。

进一步地，所述文本数据集可以是各大新闻门户网站上的新闻类文章。

分析单元111基于BERT(Bidirectional Encoder Representations fromTransformers，基于Transformer的双向编码器表征)模型对所述文本数据集进行回归分析，得到基础数据集。

具体地，所述分析单元111基于BERT模型对所述文本数据集进行回归分析，得到基础数据集包括：

采用BERT算法，并基于通用文本库进行预训练，得到所述BERT模型并存储于区块链上；

将所述文本数据集中的各个数据对依次输入至所述BERT模型，输出每个词的重要程度评分；

对每个词的重要程度评分进行标准化处理；

基于所述文本数据集中各个数据对的词组成生成各个数据对的文本表示；

整合各个数据对的文本表示，得到所述基础数据集。

现有技术方案中通常采用TF-IDF(term frequency–inverse documentfrequency，信息检索数据挖掘的常用加权技术)预测词的重要程度，TF-IDF采用词频乘以逆词频来计算，词频是指某个词在文章中出现的次数，能够代表该词的重要程度，但是，对于一些语气词、助词等，在其他的文章中出现的次数也会很高，但是这些词往往在文章中并不重要。另外，当利用TF(词频)*IDF(其他文章中词频的倒数)计算词的重要程度时，在本篇文章中出现的次数越多，在其他文章中出现的次数越少的词，其TFIDF的值越高，预测出的重要程度也越高，则会有一定的局限性，比如：对于句子“麋鹿是鹿科动物，以青草或水草为食物，是一种濒危的动物。他们类似驯鹿，但不是驯鹿”。在这句话中，重点词为“麋鹿”，但由于“驯鹿”出现的次数多，假如“驯鹿”和“麋鹿”的逆词频是一致的，那“驯鹿”的TF-IDF要高于“麋鹿”，显然，该结果是不准确的，TF-IDF也就无法准确预测出这个句子中各个词的重要程度，可见，TF-IDF在应用于本实施例时，存在一定弊端。

相比较而言，本案采用BERT模型代替TF-IDF预测词的重要程度，能够通过回归分析深度理解语义，以更好的表达各个文本的段落信息，帮助提高文本表示的准确性，以实现更加准确的聚类。

标注单元112从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集。

在本实施例中，可以将相同话题的文本数据标注上相同的话题。

具体地，可以采用人工辅助标注，得到人工标注结果并上报，分析上报的人工标注结果以完成标注。

或者，也可以通过文本识别进行自动标注，本发明不限制。

通过上述实施方式，能够利用少量的标注信息辅助整体的无监督聚类。

确定单元113根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离。

其中，所述第一类间距离与所述第二类间距离不同。

在本发明的至少一个实施例中，构建单元116以所述标注的数据构建测试集；

聚类单元114采用AgglomerativeClustering模型对所述测试集中的数据进行聚类，并确定聚类后的召回率及准确率，所述AgglomerativeClustering模型存储于区块链上；

当所述召回率大于或者等于配置召回率，所述获取单元110获取当前的类间距离作为所述第一类间距离；及

当所述准确率大于或者等于配置准确率时，所述获取单元110获取当前的类间距离作为所述第二类间距离。

其中，所述第一类间距离大于所述第二类间距离。

以所述第一类间距离进行聚类，能够保证较高的召回率，以所述第二类间距离进行聚类，能够保证较高的准确率。

本实施例通过不断地试错，进而能够确定出所述第一类间距离以及所述第二类间距离。

所述聚类单元114采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果。

在本实施例中，由于所述第一类间距离对应着较高的召回率，因此使用所述第一类间距离得到的所述第一聚类结果中的每个类别也较大。而由于所述第二类间距离对应着较高的准确率，因此使用所述第二类间距离得到的所述第二聚类结果中的每个类别也较小。

也就是说，所述第一聚类结果属于较为粗略的聚类，而所述第二聚类结果属于较为精确的聚类。因此，后续需要利用所述第一聚类结果对所述第二聚类结果进行合并，以得到更好的聚类结果。

合并单元115采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果。

在本实施例中，使用AgglomerativeClustering模型进行了两次聚类。

第一次使用较大的类间距离进行聚类，由于具有较高的召回率，所划分的每个类下面会尽可能包含该类所有的文章，即一个类下面包含所有具有同一话题的文章。

第二次使用较小的类间距离进行聚类，由于具有较高的准确率，所划分的每个类下面将只包含相同的话题，而不存在其他话题。

通过上述方式得到的两个聚类结果，一个准确率高，一个召回率高。因此，本实施例进一步利用相似度模型对两个聚类结果进行结合，使最终得到的聚类结果同时兼具了较高的召回率以及较高的准确率，聚类效果更佳。

具体地，所述合并单元115采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果包括：

对于所述第二聚类结果中的每个小类，从所述第一聚类结果中确定所述小类所属的大类；

采用所述相似度模型将所述小类与所述大类中的各个类别进行相似度匹配，得到与所述小类对应的候选类别，所述相似度模型存储于区块链上；

计算所述小类与所述候选类别中每个类别的相似度的均值；

当所述均值大于或者等于预设阈值时，合并所述小类与所述候选类别；

整合每个小类的合并结果，得到所述目标聚类结果。

其中，所述预设阈值可以进行自定义配置。

例如：通常情况下，当均值大于0.5时，可以确定为同一类，但为了提高准确度，可根据实际情况将所述预设阈值配置为0.8或者0.9。

通过上述实施方式，采用较大的类间距离下的聚类结果作为指导，对较小的类间距离下的聚类结果进行合并，同时保证了召回率及准确率。

在本发明的至少一个实施例中，在得到目标聚类结果后，输入单元117将所述目标聚类结果中的每个类别分别输入至预先训练的主谓宾提取模型中，输出每个类别下提取的主语、谓语及宾语；

对于每个类别，所述确定单元113基于所述基础数据集确定提取的每个主语的词频、每个谓语的词频以及每个宾语的词频；

所述确定单元113确定提取的每个主语在所述基础数据集中的共有率、每个谓语在所述基础数据集中的共有率，以及每个宾语在所述基础数据集中的共有率；

所述确定单元113确定词频所占的第一权重，以及确定共有率所占的第二权重；

计算单元118基于所述第一权重、所述第二权重、每个主语的词频、每个主语在所述基础数据集中的共有率计算每个主语的评分，以及基于所述第一权重、所述第二权重、每个谓语的词频、每个谓语在所述基础数据集中的共有率计算每个谓语的评分，以及基于所述第一权重、所述第二权重、每个宾语的词频、每个宾语在所述基础数据集中的共有率计算每个宾语的评分；

所述获取单元110获取每个类别下评分最高的主语、评分最高的谓语以及评分最高的宾语生成句子作为每个类别的话题。

通过上述实施方式，使用主谓宾提取模型提取得分较高的主谓宾作为话题，比深度生成模型有较好的可控能力，深度生成模型生成结果往往无法控制，而且容易产生语法错误等问题。

在本发明的至少一个实施例中，所述构建单元116从通用文本库中随机获取数据构建训练样本；

识别单元119基于语法树识别所述训练样本中每个句子的主干；

所述确定单元113确定每个主干对应的分词以及词性；

当所述分词以及所述词性的准确率不再提升时，训练单元120停止训练并得到所述主谓宾提取模型，将所述主谓宾提取模型存储于区块链上。

通过上述实施方式，以通用文本构建所述主谓宾提取模型，以准确提取出每个类别的话题。

在本发明的至少一个实施例中，当检测到用户阅读文章的信号时，所述确定单元113确定所述用户阅读的文章的话题；

推荐单元121推荐与所述话题相关联的文章至所述用户的终端设备。

通过上述实施方式，能够识别出用户的兴趣点，并基于识别出的兴趣点关联至相关的文章，以实现对关联文章的推荐。

在本实施例中，将BERT模型、AgglomerativeClustering模型、相似度模型及主谓宾提取模型存储于区块链上，能够有效保证模型的安全性及隐私性，并有效防止数据被篡改。

由以上技术方案可以看出，本发明能够响应于接收到的聚类指令，获取文本数据集，并基于BERT模型对所述文本数据集进行回归分析，得到基础数据集，采用BERT模型代替TF-IDF预测词的重要程度，能够通过回归分析深度理解语义，以更好的表达各个文本的段落信息，帮助提高文本表示的准确性，以实现更加准确的聚类，从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集，以便利用少量的标注信息辅助整体的无监督聚类，并根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离，采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果，进一步采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果，以便采用较大的类间距离下的聚类结果作为指导，对较小的类间距离下的聚类结果进行合并，同时保证了召回率及准确率，对聚类的距离及类别的依赖降低，提高聚类效果。

如图3所示，是本发明实现话题聚类方法的较佳实施例的电子设备的结构示意图。

所述电子设备1可以包括存储器12、处理器13和总线，还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如话题聚类程序。

本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，所述电子设备1既可以是总线型结构，也可以是星形结构，所述电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如所述电子设备1还可以包括输入输出设备、网络接入设备等。

需要说明的是，所述电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地，存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如话题聚类程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述电子设备1的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块(例如执行话题聚类程序等)，以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。

所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个话题聚类方法实施例中的步骤，例如图1所示的步骤S10、S11、S12、S13、S14、S15。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如，所述计算机程序可以被分割成获取单元110、分析单元111、标注单元112、确定单元113、聚类单元114、合并单元115、构建单元116、输入单元117、计算单元118、识别单元119、训练单元120、推荐单元121。

或者，所述处理器13执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如：

响应于接收到的聚类指令，获取文本数据集；

基于BERT模型对所述文本数据集进行回归分析，得到基础数据集；

从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集；

根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离；

采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果；

采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。

所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。

其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

进一步地，计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。

尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器13逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

图3仅示出了具有组件12-13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

结合图1，所述电子设备1中的所述存储器12存储多个指令以实现一种话题聚类方法，所述处理器13可执行所述多个指令从而实现：

响应于接收到的聚类指令，获取文本数据集；

基于BERT模型对所述文本数据集进行回归分析，得到基础数据集；

从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集；

根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离；

采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果；

采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果。

具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种话题聚类方法，其特征在于，所述方法包括：

响应于接收到的聚类指令，获取文本数据集；

基于BERT模型对所述文本数据集进行回归分析，得到基础数据集；

从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集；

根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离；

采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果；

采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果。

2.如权利要求1所述的话题聚类方法，其特征在于，所述基于BERT模型对所述文本数据集进行回归分析，得到基础数据集包括：

采用BERT算法，并基于通用文本库进行预训练，得到所述BERT模型并存储于区块链上；

将所述文本数据集中的各个数据对依次输入至所述BERT模型，输出每个词的重要程度评分；

对每个词的重要程度评分进行标准化处理；

基于所述文本数据集中各个数据对的词组成生成各个数据对的文本表示；

整合各个数据对的文本表示，得到所述基础数据集。

3.如权利要求1所述的话题聚类方法，其特征在于，所述方法还包括：

以所述标注的数据构建测试集；

采用AgglomerativeClustering模型对所述测试集中的数据进行聚类，并确定聚类后的召回率及准确率，所述AgglomerativeClustering模型存储于区块链上；

当所述召回率大于或者等于配置召回率，获取当前的类间距离作为所述第一类间距离；及

当所述准确率大于或者等于配置准确率时，获取当前的类间距离作为所述第二类间距离。

4.如权利要求1所述的话题聚类方法，其特征在于，所述采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果包括：

对于所述第二聚类结果中的每个小类，从所述第一聚类结果中确定所述小类所属的大类；

采用所述相似度模型将所述小类与所述大类中的各个类别进行相似度匹配，得到与所述小类对应的候选类别，所述相似度模型存储于区块链上；

计算所述小类与所述候选类别中每个类别的相似度的均值；

当所述均值大于或者等于预设阈值时，合并所述小类与所述候选类别；

整合每个小类的合并结果，得到所述目标聚类结果。

5.如权利要求1所述的话题聚类方法，其特征在于，在得到目标聚类结果后，所述方法还包括：

将所述目标聚类结果中的每个类别分别输入至预先训练的主谓宾提取模型中，输出每个类别下提取的主语、谓语及宾语；

对于每个类别，基于所述基础数据集确定提取的每个主语的词频、每个谓语的词频以及每个宾语的词频；

确定提取的每个主语在所述基础数据集中的共有率、每个谓语在所述基础数据集中的共有率，以及每个宾语在所述基础数据集中的共有率；

确定词频所占的第一权重，以及确定共有率所占的第二权重；

基于所述第一权重、所述第二权重、每个主语的词频、每个主语在所述基础数据集中的共有率计算每个主语的评分，以及基于所述第一权重、所述第二权重、每个谓语的词频、每个谓语在所述基础数据集中的共有率计算每个谓语的评分，以及基于所述第一权重、所述第二权重、每个宾语的词频、每个宾语在所述基础数据集中的共有率计算每个宾语的评分；

获取每个类别下评分最高的主语、评分最高的谓语以及评分最高的宾语生成句子作为每个类别的话题。

6.如权利要求1所述的话题聚类方法，其特征在于，所述方法还包括：

从通用文本库中随机获取数据构建训练样本；

基于语法树识别所述训练样本中每个句子的主干；

确定每个主干对应的分词以及词性；

当所述分词以及所述词性的准确率不再提升时，停止训练并得到所述主谓宾提取模型，将所述主谓宾提取模型存储于区块链上。

7.如权利要求1所述的话题聚类方法，其特征在于，所述方法还包括：

当检测到用户阅读文章的信号时，确定所述用户阅读的文章的话题；

推荐与所述话题相关联的文章至所述用户的终端设备。

8.一种话题聚类装置，其特征在于，所述装置包括：

获取单元，用于响应于接收到的聚类指令，获取文本数据集；

分析单元，用于基于BERT模型对所述文本数据集进行回归分析，得到基础数据集；

标注单元，用于从所述基础数据集中选择配置数量的数据进行标注，得到标注后的基础数据集；

确定单元，用于根据所述标注后的基础数据集中标注的数据确定第一类间距离及第二类间距离；

聚类单元，用于采用AgglomerativeClustering模型，基于所述第一类间距离对所述标注后的基础数据集中的数据进行聚类，得到第一聚类结果，以及基于所述第二类间距离对所述标注后的基础数据集中的数据进行聚类，得到第二聚类结果；

合并单元，用于采用基于BERT算法训练的相似度模型，根据所述第一聚类结果合并所述第二聚类结果，得到目标聚类结果。

9.一种电子设备，其特征在于，所述电子设备包括：

存储器，存储至少一个指令；及

处理器，执行所述存储器中存储的指令以实现如权利要求1至7中任意一项所述的话题聚类方法。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的话题聚类方法。

Images