CN116049414B - 基于话题描述的文本聚类方法、电子设备和存储介质 - Google Patents

Abstract

本发明提供了一种基于话题描述的文本聚类方法、电子设备和存储介质，方法包括：首先对待聚类的每个文本生成一个话题描述，然后将该话题描述输入话题描述特征生成模型，提取话题描述的特征，作为当前文本的话题描述特征，基于该特征，对文本进行聚类，相较于直接使用原始文本提取的特征进行聚类，使用生成的话题描述特征进行聚类，减少了文本内容形式多样导致的噪声干扰，提高了聚类准确性。聚类后，基于文本和话题的特征向量之间的相似度以及文本和话题的话题描述特征向量之间的相似度，对聚类结果进行清洗和合并，最后得到聚类结果和每个话题的话题描述，能够使得聚类结果更加准确。

Description

基于话题描述的文本聚类方法、电子设备和存储介质

技术领域

本发明涉及自然语言处理领域，特别是涉及一种基于话题描述的文本聚类方法、电子设备和存储介质。

背景技术

将文本中的信息按照相应的主题进行文本聚类在文本处理领域有着非常重要的应用。然而由于文本信息覆盖面非常广，每天产生的文本信息数目也非常巨大，这对文本聚类的实际应用提出了一些挑战。已有的文本聚类算法，大都是基于词频统计、TF-IDF、向量空间模型、深度学习模型等学习文本的特征，然而文本内容复杂多样，描述相似话题的文本也可能有不同的文本内容形式，不同的文本内容形式，描述相似或相同的话题，无论用什么特征提取方法，都会因为文本内容、形式多样而产生影响，这无疑给文本聚类的准确性带来挑战。因此有必要尽量降低因为复杂多样的文本内容，对聚类结果产生的影响。

已有的基于话题描述的文本聚类方法，大都没有对聚类后的结果进行优化。基于kmeans的算法通常都需要设置聚类个数，通常都是随机设置k个聚类个数，或基于轮廓系数、肘部法则等方法确定聚类个数，但是这些方法也不能确保聚类个数的准确性，而且也会有文本被错误聚类的情况。基于single-pass的方法虽然不需要设置聚类个数，但是也会有文本被错误聚类的情况，已有的方法均没有对聚类后的结果进行清洗和优化。因此，需要提出一种新的文本聚类后清洗和优化的方法，以解决目前的文本聚类结果不准确的问题。

发明内容

针对上述技术问题，本发明采用的技术方案为：

本发明实施例提供了一种基于话题描述的文本聚类方法，所述方法包括如下步骤：

S100，获取待聚类文本中的每个文本对应的特征向量、话题描述和话题描述特征向量；

S200，基于待聚类文本中的所有文本对应的话题描述特征向量，通过设定聚类方法对待聚类文本进行聚类，得到多个类别，每个类别对应一个话题；

S300，获取当前话题中的任一话题中的任一文本以及任一话题的特征向量、话题描述和话题描述特征向量；当前话题中的初始话题为S200中得到的话题；

S400，基于文本和话题分别对应的特征向量之间的相似度以及文本和话题分别对应的话题描述特征向量之间的相似度，对当前话题进行第p次清洗处理，得到处理后的n（p）个话题，p的初始化数值为1；

其中，n（p）个话题中的任一话题a满足如下条件：SF_aq≥D1_p并且ST_aq≥D2_p；其中，SF_aq为话题a对应的特征向量和话题a中的任一文本q的特征向量之间的相似度，ST_aq为话题a对应的话题描述特征向量和话题a中任一文本q的话题描述特征向量之间的相似度；D1_p为第p次清洗处理对应的第一设定阈值，D2_p为第p次清洗处理对应的第二设定阈值；a的取值为1到n（p）；q的取值为1到f（a），f（a）为话题a中的文本数量；

S500，设置p=p+1，如果p≤C0，C0为预设次数，执行S300；否则，得到清洗处理后的H个话题，执行S600；

S600，基于H个话题获取按照文本数量递减的方式进行排序得到话题列表S，并获取S中的任一话题u对应的特征向量、话题描述和话题描述特征向量，u的取值为1到H；

S700，基于话题的特征向量之间的相似度以及话题的话题描述特征向量之间的相似度对S进行合并处理，得到目标话题列表；

S800，输出目标话题列表中的所有话题的话题描述和对应的文本，其中，每个话题对应的文本为按照文本发布时间进行排序后的文本。

本发明实施例还提供一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现前述方法。

本发明实施例还提供一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明至少具有以下有益效果：

本发明实施例提供的基于话题描述的文本聚类方法，首先对待聚类的每个文本生成一个话题描述，然后将该话题描述输入话题描述特征生成模型，提取话题描述的特征，作为当前文本的话题描述特征，基于该特征，对文本进行聚类，相较于直接使用原始文本提取的特征进行聚类，使用生成的话题描述特征进行聚类，能够减少文本内容形式多样导致的噪声干扰，提高了聚类准确性。聚类后，基于文本和话题的特征向量之间的相似度以及文本和话题的话题描述特征向量之间的相似度，对聚类结果进行清洗和合并，最后得到聚类结果和每个话题的话题描述，能够使得聚类结果更加准确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于话题描述的文本聚类方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种基于话题描述的文本聚类方法，如图1所示，所述方法可包括如下步骤：

S100，获取待聚类文本中的每个文本对应的特征向量、话题描述和话题描述特征向量。在本发明实施例中，文本可为新闻文本，也可为其它类型的文本。文本可通过从各个网站或渠道爬取得到。在本发明实施例中，可通过现有的特征提取方法获取每个文本的特征向量。在一个示意性实施例中，可通过RoFormer-Sim模型获取每个文本的特征向量。由于有的文本过长且过长的文本对相似度检索的准确率有影响，而文本标题能大致概括新闻的主要内容，因此，可采用文本的标题作为文本的表示，因此，可将文本的标题输入到RoFormer-Sim模型中，得到每个文本的特征向量。

在本发明实施例中，任一文本的话题描述特征向量可通过如下步骤获取：

S101，将任一文本的标题输入训练好的话题描述生成模型中，得到对应的话题描述。

在本发明实施例中，话题描述生成模型可为训练后的T5或BART预训练模型。话题描述生成模型的训练步骤包括：

（1）构建数据集

对于聚类后的所有话题，人工选择若干话题进行数据集标注。对于选择的每个话题，随机选择若干篇文本，人工生成它们的话题描述，每个新闻对应一个话题描述，描述相同话题的新闻，其对应的话题描述也尽可能相同。将每篇新闻的标题作为生成模型的输入，人工生成的话题描述作为模型的真实值构建训练数据集。如果文本没有标题，可使用文本的第一段作为模型的输入。

在本发明实施例中，话题描述可以认为是当前文本对应的话题或主题信息。

（2）模型训练

将训练数据集中的每个文本的标题或第一段输入到预训练生成模型中进行训练，得到对应的预测结果，将预测结果和人工标注的真实值计算损失来训练模型参数，得到训练好的话题描述生成模型。

在得到训练好的话题描述生成模型后，依次将待聚类的每个文本的标题或第一段输入训练好的话题描述生成模型中，得到每个文本的话题描述。

S102，将每个文本的话题描述输入到设定的话题描述特征生成模型中，得到对应的话题描述特征向量。

由于RoFormer-Sim预训练模型基于大量相似句对进行训练，故提取特征进行相似度检索更加准确，因此，本发明实施例采用RoFormer-Sim模型作为话题描述特征生成模型，用于提取每个文本的话题描述特征向量。将每个文本的话题描述，输入RoFormer-Sim模型，得到每个新闻的话题描述特征向量。

S200，基于待聚类文本中的所有文本对应的话题描述特征向量，通过设定聚类方法对待聚类文本进行聚类，得到类别，每个类别对应一个话题，即得到多个话题。

在本发明实施例中，基于所有新闻的话题描述特征向量，使用层次聚类算法Agglomerative_Clustering 对所有新闻进行聚类。Agglomerative_Clustering算法可以指定聚类个数或距离阈值，本发明实施例选择文本总数除以N作为聚类个数。N可基于实际需要设置，例如，N=70。

S300，获取当前话题中的任一话题中的任一文本以及任一话题的特征向量、话题描述和话题描述特征向量。当前话题中的初始话题为S200中得到的话题。

由于任一话题中的任一文本的特征向量和话题描述特征向量在S100中已获取，只需要直接调用即可。

在本发明实施例中，任一话题的特征向量为该话题中所有文本的特征向量的平均值，即话题i的特征向量

，h_ij为话题i中的第j个文本T_ij对应的特征向量，f（i）为话题i中的文本数量。

在本发明实施例中，任一话题的话题描述特征向量为该话题对应的所有文本生成的话题描述中生成频次最大的话题描述对应的话题描述特征向量。

由于不同文本的话题描述可能相同，因此，将任一话题中的所有文本对应的话题描述进行合并处理，然后获取合并处理后的话题描述中的每个话题描述的生成频次，将生成频次最大的话题描述作为该话题的话题描述。例如，如果3个文本生成了某个话题描述，则该话题描述的生成频次为3。

S400，基于文本和话题分别对应的特征向量之间的相似度以及文本和话题分别对应的话题描述特征向量之间的相似度对当前话题进行第p次清洗处理，得到处理后的n（p）个话题。P的初始值为1。其中，n（p）个话题中的任一话题a满足如下条件：SF_aq≥D1_p并且ST_aq≥D2_p；其中，SF_aq为话题a对应的特征向量和话题a中的任一文本q的特征向量之间的相似度，ST_aq为话题a对应的话题描述特征向量和话题a中任一文本q的话题描述特征向量之间的相似度；D1_p为第p次清洗处理对应的第一设定阈值，D2_p为第p次清洗处理对应的第二设定阈值；a的取值为1到n（p）；q的取值为1到f（a），f（a）为话题a中的文本数量。

在本发明实施例中，特征向量之间的相似度和话题描述特征向量之间相似度可通过现有相似度算法获取，例如余弦相似度等。

在本发明实施例中，每次清洗处理时对应的第一设定阈值和第二设定阈值可相同或者不同，可基于实际需要进行设置。第一设定阈值和第二设定阈值可基于实际需要进行设置，在一个示意性实施例中，第一设定阈值的取值可从0.65、0.7、0.8中选择一个，第二设定阈值可从0.7、0.8、0.85中选择一个，可根据实际需要选择需要的组合值。

在本发明实施例中，对话题进行清洗包括：对话题中的每个文本，根据文本和话题的特征向量之间的相似度以及文本和话题的话题描述特征向量之间的相似度对该文本做三种操作：留在原话题、合并到其它话题或者加入一个新话题中。

进一步地，S400可具体包括：

S410，对于第p次清洗处理对应的当前话题中的话题i中的第j个文本T_ij，分别获取SF^p _ij和ST^p _ij，如果SF^p _ij≥D1_p并且ST^p _ij≥D2_p，则将T_ij保留在话题i中，执行S440；否则，执行S420；其中， SF^p _ij为第p次清洗处理时T_ij的特征向量和话题i的话题特征向量之间的相似度，ST^p _ij为第p次清洗处理时T_ij的话题描述特征向量和话题i的话题描述特征向量之间的相似度；i的取值为1到k，k为当前话题的数量；j的取值为1到f（i），f（i）为话题i中的文本数量。

S420，获取SF^ps _ij和ST^ps _ij，如果SF^ps _ij≥D1_p并且ST^ps _ij≥D2_p，则将T_ij加入到话题s中并从原话题中删除，执行S440；否则，执行S430；其中，话题s为当前话题中除话题i之外的k-1个话题中的第s个话题，SF^ps _ij为第p次清洗处理时T_ij的特征向量和话题s的话题特征向量之间的相似度，ST^ps _ij为第p次清洗处理时T_ij的话题描述特征向量和话题s的话题描述特征向量之间的相似度，s的取值为1到k-1。

S430，设置s=s+1，如果s≤（k-1），执行S420，否则，为T_ij创建一个新话题，并将T_ij加入到对应的新话题中并从原话题中删除，设置k=k+1，即如果新增一个话题，则将当前话题的数量增加1，并执行S440；

S440，设置j=j+1，如果j≤f（i），执行S410；否则，设置i=i+1，如果i≤k，执行S410，否则，执行S500。

本领域技术人员知晓，由于在清洗处理过程中，每个话题中文本数量可能会发生变化，因此，当前话题中的每个话题的特征向量、话题描述和话题描述特征向量是实时变化的。

进一步地，在本发明另一实施例中，S420被替换为：

S421，获取话题描述相似度集ST_ij={ST¹ _ij，ST² _ij，…，ST^s _ij，…，ST^k-1 _ij}，ST^s _ij为T_ij的话题描述特征向量和当前话题中除话题i之外的k-1个话题中的第s个话题对应的话题描述特征向量之间的相似度，s的取值为1到k-1。

S422，将ST_ij按照降序进行排序得到排序后的相似度集，并获取排序后的相似度集中的前m个相似度形成对比相似度集STC_ij。

S423，获取SF^w _ij，如果SF^w _ij≥D1_p，则将话题w加入T_ij对应的候选话题集中，执行S431，否则，直接执行S431；其中，话题w为STC_ij对应的m个话题中的第w个话题，SF^w _ij为T_ij对应的特征向量和话题w对应的特征向量之间的相似度，w的取值为1到m。

S430被替换为：

S431，设置w=w+1，如果w≤m，执行S423，否则，执行S432。

S432，如果T_ij对应的候选话题集为Null，则为T_ij创建一个新话题，并将T_ij加入到对应的新话题中并从原话题中删除，设置k=k+1，并执行S440；如果T_ij对应的候选话题集中包含一个相似度，则将T_ij加入到该相似度对应的话题中并从原话题中删除，并执行S440；如果T_ij对应的候选话题集中包含多个相似度，则将T_ij加入到Smax对应的话题中并从原话题中删除，Smax=max{（SF¹ _ij+ST¹ _ij），（SF² _ij+ST² _ij），…，（SF^w _ij+ST^w _ij），…，（SF^m _ij+ST^m _ij）}，并执行S440。

S500，设置p=p+1，如果p≤C0，C0为预设次数，执行S300；否则，得到清洗处理后的H个话题，执行S600。在发明实施例中，C0可基于实际需要设置，优选，C0≤3，更优选，C0=2。显然，H= n（CO）。

S600，基于H个话题获取按照文本数量递减的方式进行排序得到话题列表S，并获取S中的任一话题u对应的特征向量、话题描述和话题描述特征向量，u的取值为1到H。即，在S中，前一个话题中的文本数量大于后一个话题中的文本数量。

任一话题u对应的特征向量、话题描述和话题描述特征向量可参照S300获取。

S700，基于话题的特征向量之间的相似度以及话题的话题描述特征向量之间的相似度对S进行合并处理，得到目标话题列表。

进一步地，在本发明实施例中，S700可具体包括：

S710，获取S1_uv和S2_uv，如果S1_uv≥D3并且S2_uv≥D4，则将话题u和话题v进行合并，执行S730；否则，执行S720；其中，话题v为当前合并话题列表中的第v个话题， S1_uv为话题u的话题特征向量和话题v的话题特征向量之间的相似度，S2_uv为话题u的话题描述特征向量和话题v的话题描述特征向量之间的相似度， v的取值为1到n，n为当前合并话题列表中的话题数量；D3为第三设定阈值，D4为第四设定阈值；合并话题列表中的初始值为Null。

S720，设置v=v+1，如果v≤n，执行S710，否则，将话题u作为新话题加入到当前合并话题列表中并设置n=n+1；执行S730。

S730，设置u=u+1，如果u≤H，执行S710，否则，执行S740。

S740，获取当前话题列表中的任一个话题中的文本数量，如果该话题中的文本数量少于设定数量阈值，则将该话题从当前话题列表中删除；得到目标话题列表，并执行S800。

本发明实施例中，设定数量阈值可为3。话题u和话题v合并后得到话题的话题描述为话题v的话题描述，特征向量是话题u和话题v的特征向量的平均值。

本领域技术人员知晓，当u=1时，由于当前合并话题列表中的话题数量为Null，所以，会将话题1加入到当前合并话题列表中。

S800，输出目标话题列表中的所有话题的话题描述和对应的文本，其中，每个话题对应的文本为按照文本发布时间进行排序后的文本。

进一步地，S800还包括：分别获取目标话题列表中的每个话题的特征向量、话题描述和话题描述特征向量，以更新每个话题的特征向量、话题描述和话题描述特征向量。

综上，本发明实施例提供的基于话题描述的文本聚类方法，首先对待聚类的每个文本生成一个话题描述，然后将该话题描述输入话题描述特征生成模型，提取话题描述的特征，作为当前文本的话题描述特征，基于该特征，对文本进行聚类，相较于直接使用原始文本提取的特征进行聚类，使用生成的话题描述特征进行聚类，能够减少文本内容形式多样导致的噪声干扰，提高了聚类准确性。聚类后，基于文本和话题的特征向量之间的相似度以及文本和话题的话题描述特征向量之间的相似度，对聚类结果进行清洗和合并，最后得到聚类结果和每个话题的话题描述，能够使得聚类结果更加准确。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中任一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。

Claims (8)

1.一种基于话题描述的文本聚类方法，其特征在于，所述方法包括如下步骤：

S100，获取待聚类文本中的每个文本对应的特征向量、话题描述和话题描述特征向量；

S200，基于待聚类文本中的所有文本对应的话题描述特征向量，通过设定聚类方法对待聚类文本进行聚类，得到多个类别，每个类别对应一个话题；

S300，获取当前话题中的任一话题中的任一文本以及任一话题的特征向量、话题描述和话题描述特征向量；当前话题中的初始话题为S200中得到的话题；

S400，基于文本和话题分别对应的特征向量之间的相似度以及文本和话题分别对应的话题描述特征向量之间的相似度，对当前话题进行第p次清洗处理，得到处理后的n（p）个话题，p的初始化数值为1；

其中，n（p）个话题中的任一话题a满足如下条件：SF_aq≥D1_p并且ST_aq≥D2_p；其中，SF_aq为话题a对应的特征向量和话题a中的任一文本q的特征向量之间的相似度，ST_aq为话题a对应的话题描述特征向量和话题a中任一文本q的话题描述特征向量之间的相似度；D1_p为第p次清洗处理对应的第一设定阈值，D2_p为第p次清洗处理对应的第二设定阈值；a的取值为1到n（p）；q的取值为1到f（a），f（a）为话题a中的文本数量；

S500，设置p=p+1，如果p≤C0，C0为预设次数，执行S300；否则，得到清洗处理后的H个话题，执行S600；

S600，基于H个话题获取按照文本数量递减的方式进行排序得到话题列表S，并获取S中的任一话题u对应的特征向量、话题描述和话题描述特征向量，u的取值为1到H；

S700，基于话题的特征向量之间的相似度以及话题的话题描述特征向量之间的相似度对S进行合并处理，得到目标话题列表；

S800，输出目标话题列表中的所有话题的话题描述和对应的文本，其中，每个话题对应的文本为按照文本发布时间进行排序后的文本；

S400具体包括：

S410，对于第p次清洗处理对应的当前话题中的话题i中的第j个文本T_ij，分别获取SF^p _ij和ST^p _ij，如果SF^p _ij≥D1_p并且ST^p _ij≥D2_p，则将T_ij保留在话题i中，执行S440；否则，执行S420；其中， SF^p _ij为第p次清洗处理时T_ij的特征向量和话题i的话题特征向量之间的相似度，ST^p _ij为第p次清洗处理时T_ij的话题描述特征向量和话题i的话题描述特征向量之间的相似度；i的取值为1到k，k为当前话题的数量；j的取值为1到f（i），f（i）为话题i中的文本数量；

S420，获取SF^ps _ij和ST^ps _ij，如果SF^ps _ij≥D1_p并且ST^ps _ij ≥D2 _p，则将T_ij加入到话题s中并从原话题中删除，执行S440；否则，执行S430；其中，话题s为当前话题中除话题i之外的（k-1）个话题中的第s个话题，SF^ps _ij为第p次清洗处理时T_ij的特征向量和话题s的话题特征向量之间的相似度，ST^ps _ij为第p次清洗处理时T_ij的话题描述特征向量和话题s的话题描述特征向量之间的相似度，s的取值为1到k-1；

S430，设置s=s+1，如果s≤（k-1），执行S420，否则，为T_ij创建一个新话题，并将T_ij加入到对应的新话题中并从原话题中删除，设置k=k+1，并执行S440；

S440，设置j=j+1，如果j≤f（i），执行S410；否则，设置i=i+1，如果i≤k，执行S410，否则，执行S500；

S700具体包括：

S710，获取S1_uv和S2_uv，如果S1_uv≥D3并且S2_uv≥D4，则将话题u和话题v进行合并，执行S730；否则，执行S720；其中，话题v为当前合并话题列表中的第v个话题，S1_uv为话题u的话题特征向量和话题v的话题特征向量之间的相似度，S2_uv为话题u的话题描述特征向量和话题v的话题描述特征向量之间的相似度，v的取值为1到n，n为当前合并话题列表中的话题数量；D3为第三设定阈值，D4为第四设定阈值；合并话题列表中的初始值为Null；

S720，设置v=v+1，如果v≤n，执行S710，否则，将话题u作为新话题加入到当前合并话题列表中并设置n=n+1；执行S730；

S730，设置u=u+1，如果u≤H，执行S710，否则，执行S740；

S740，获取当前话题列表中的任一个话题中的文本数量，如果该话题中的文本数量少于设定数量阈值，则将该话题从当前话题列表中删除；得到目标话题列表，并执行S800。

2.一种基于话题描述的文本聚类方法，其特征在于，所述方法包括如下步骤：

S100，获取待聚类文本中的每个文本对应的特征向量、话题描述和话题描述特征向量；

S200，基于待聚类文本中的所有文本对应的话题描述特征向量，通过设定聚类方法对待聚类文本进行聚类，得到多个类别，每个类别对应一个话题；

S300，获取当前话题中的任一话题中的任一文本以及任一话题的特征向量、话题描述和话题描述特征向量；当前话题中的初始话题为S200中得到的话题；

S400，基于文本和话题分别对应的特征向量之间的相似度以及文本和话题分别对应的话题描述特征向量之间的相似度，对当前话题进行第p次清洗处理，得到处理后的n（p）个话题，p的初始化数值为1；

其中，n（p）个话题中的任一话题a满足如下条件：SF_aq≥D1_p并且ST_aq≥D2_p；其中，SF_aq为话题a对应的特征向量和话题a中的任一文本q的特征向量之间的相似度，ST_aq为话题a对应的话题描述特征向量和话题a中任一文本q的话题描述特征向量之间的相似度；D1_p为第p次清洗处理对应的第一设定阈值，D2_p为第p次清洗处理对应的第二设定阈值；a的取值为1到n（p）；q的取值为1到f（a），f（a）为话题a中的文本数量；

S500，设置p=p+1，如果p≤C0，C0为预设次数，执行S300；否则，得到清洗处理后的H个话题，执行S600；

S600，基于H个话题获取按照文本数量递减的方式进行排序得到话题列表S，并获取S中的任一话题u对应的特征向量、话题描述和话题描述特征向量，u的取值为1到H；

S700，基于话题的特征向量之间的相似度以及话题的话题描述特征向量之间的相似度对S进行合并处理，得到目标话题列表；

S800，输出目标话题列表中的所有话题的话题描述和对应的文本，其中，每个话题对应的文本为按照文本发布时间进行排序后的文本；

S400具体包括：

S410，对于第p次清洗处理对应的当前话题中的话题i中的第j个文本T_ij，分别获取SF^p _ij和ST^p _ij，如果SF^p _ij≥D1_p并且ST^p _ij≥D2_p，则将T_ij保留在话题i中，执行S440；否则，执行S420；其中， SF^p _ij为第p次清洗处理时T_ij的特征向量和话题i的话题特征向量之间的相似度，ST^p _ij为第p次清洗处理时T_ij的话题描述特征向量和话题i的话题描述特征向量之间的相似度；i的取值为1到k，k为当前话题的数量；j的取值为1到f（i），f（i）为话题i中的文本数量；

S421，获取话题描述相似度集ST_ij={ST¹ _ij，ST² _ij，…，ST^s _ij，…，ST^k-1 _ij}，ST^s _ij为T_ij的话题描述特征向量和当前话题中除话题i之外的k-1个话题中的第s个话题对应的话题描述特征向量之间的相似度，s的取值为1到k-1；

S422，将ST_ij按照降序进行排序得到排序后的相似度集，并获取排序后的相似度集中的前m个相似度形成对比相似度集STC_ij；

S423，获取SF^w _ij，如果SF^w _ij≥D1_p，则将话题w加入T_ij对应的候选话题集中，执行S431，否则，直接执行S431；其中，话题w为STC_ij对应的m个话题中的第w个话题，SF^w _ij为T_ij对应的特征向量和话题w对应的特征向量之间的相似度，w的取值为1到m；

S431，设置w=w+1，如果w≤m，执行S423，否则，执行S432；

S432，如果T_ij对应的候选话题集为Null，则为T_ij创建一个新话题，并将T_ij加入到对应的新话题中并从原话题中删除，设置k=k+1，并执行S440；如果T_ij对应的候选话题集中包含一个相似度，则将T_ij加入到该相似度对应的话题中并从原话题中删除，并执行S440；如果T_ij对应的候选话题集中包含多个相似度，则将T_ij加入到Smax对应的话题中并从原话题中删除，Smax=max{（SF¹ _ij +ST¹ _ij），（SF² _ij +ST² _ij），…，（SF^w _ij +ST^w _ij），…，（SF^m _ij +ST^m _ij）}，并执行S440；

S440，设置j=j+1，如果j≤f（i），执行S410；否则，设置i=i+1，如果i≤k，执行S410，否则，执行S500；

S700具体包括：

S710，获取S1_uv和S2_uv，如果S1_uv≥D3并且S2_uv≥D4，则将话题u和话题v进行合并，执行S730；否则，执行S720；其中，话题v为当前合并话题列表中的第v个话题，S1_uv为话题u的话题特征向量和话题v的话题特征向量之间的相似度，S2_uv为话题u的话题描述特征向量和话题v的话题描述特征向量之间的相似度，v的取值为1到n，n为当前合并话题列表中的话题数量；D3为第三设定阈值，D4为第四设定阈值；合并话题列表中的初始值为Null；

S720，设置v=v+1，如果v≤n，执行S710，否则，将话题u作为新话题加入到当前合并话题列表中并设置n=n+1；执行S730；

S730，设置u=u+1，如果u≤H，执行S710，否则，执行S740；

S740，获取当前话题列表中的任一个话题中的文本数量，如果该话题中的文本数量少于设定数量阈值，则将该话题从当前话题列表中删除；得到目标话题列表，并执行S800。

3.根据权利要求1所述的基于话题描述的文本聚类方法，其特征在于，任一文本的话题描述特征向量通过如下步骤获取：

S101，将任一文本的标题输入到设定话题描述生成模型中得到对应的话题描述；

S102，将任一文本的话题描述输入到设定话题描述特征生成模型中，得到对应的话题描述特征向量。

4.根据权利要求3所述的基于话题描述的文本聚类方法，其特征在于，任一话题的话题描述特征向量为该话题对应的所有文本生成的话题描述中生成频次最大的话题描述对应的话题描述特征向量。

5.根据权利要求1所述的基于话题描述的文本聚类方法，其特征在于，任一话题的特征向量为该话题中所有文本的特征向量的平均值。

6.根据权利要求3所述的基于话题描述的文本聚类方法，其特征在于，所述设定话题描述生成模型为训练后的T5或BART预训练模型。

7.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-6中任意一项所述的基于话题描述的文本聚类方法。

8.一种电子设备，其特征在于，包括处理器和权利要求7中所述的非瞬时性计算机可读存储介质。

Images