CN111737555A

CN111737555A - 热点关键词的选取方法、设备和存储介质

Info

Publication number: CN111737555A
Application number: CN202010561415.1A
Authority: CN
Inventors: 龚朝辉
Original assignee: Suzhou Longdong Network Technology Co ltd
Current assignee: Suzhou Longdong Network Technology Co ltd
Priority date: 2020-06-18
Filing date: 2020-06-18
Publication date: 2020-10-02

Abstract

本发明揭示了一种热点关键词的选取方法、设备和存储介质，所述方法包括：获取一关键词在多个预定周期内的变化速度的均值μ₀和标准差S，所述关键词的变化速度是指相邻两个预定周期内所述关键词的标准化词频的差值；获取所述关键词在最近的预定周期内的变化速度μ；根据所述μ₀、S和μ，计算所述关键词的变化速度的Z检验的Z值：

根据所述Z值，判断所述关键词是否是热点关键词。与现有技术相比，本发明热点关键词的选取方法，根据相邻时间段内关键词的变化速度服从正太分布的现象，利用Z检验，计算关键词的变化速度的Z值，从而不同关键词的变化速度可以进行比较，根据Z值的大小，科学、快速、准确的选取热点关键词。

Description

热点关键词的选取方法、设备和存储介质

技术领域

本发明涉及互联网技术领域，特别是涉及一种热点关键词的选取方法、设备和存储介质。

背景技术

随着网络日益成为人们发布信息、沟通信息的主要媒体，网络上的信息也越来越能反映人们关注的焦点和社会热点事件。因此，通过监控网络信息中所反映的热点问题和热点事件就成为一个自然的需求。

在一般情况下，互联网信息中某个关键词大量集中出现往往意味着某个热点新闻或者热点事件的发生。因此，互联网文本中热点关键词的数量的较大变化常常反映了社会热点新闻或事件的出现，也就是说，可以通过关键词的词频的变化速度来判断是否出现热点新闻或事件。

但是，不同的关键词有不同的词频，不同关键词的词频的相同的变化程度预示着不同的结果。对于一个使用频率很高的关键词来说，如果词频增加几倍就意味着发生了相应的热点新闻或事件(比如原先词频500次/天的词频，增加到1200次/天)。而对一个使用频率比较低的关键词，如果词频只是增加几倍也是正常的变化(比如从15次/天增加到50次/天)，并不能预示热点新闻或事件的发生。或者，对于一个高频率的关键词来说，词频增加几百次/天并不意味着什么，但是对于一个低频率的关键词来说，词频增加几百次/天就预示热点新闻或事件的发生。

因此，如何根据关键词词频的变化速度，科学、准确的选取热点关键词，是我们需要解决的问题。

发明内容

本发明的目的在于提供一种热点关键词的选取方法、设备和存储介质。

为实现上述发明目的之一，本发明一实施方式提供一种热点关键词的选取方法，所述方法包括：

获取一关键词在多个预定周期内的变化速度的均值μ₀和标准差S，所述关键词的变化速度是指相邻两个预定周期内所述关键词的标准化词频的差值；

获取所述关键词在最近的预定周期内的变化速度μ；

根据所述μ₀、S和μ，计算所述关键词的变化速度的Z检验的Z值：

根据所述Z值，判断所述关键词是否是热点关键词。

作为本发明一实施方式的进一步改进，所述“获取某个关键词在预定周期内的变化速度的均值μ₀和标准差S”具体包括：

获取所述关键词在多个预定周期内的多个变化速度，得到所述关键词的变化速度集合；

根据所述变化速度集合，求所述关键词的变化速度的均值μ₀，并根据所述均值μ₀，求所述关键词的变化速度的标准差S。

作为本发明一实施方式的进一步改进，所述方法还包括：

将所述关键词在最近的预定周期内的变化速度μ加入所述变化速度集合，重新计算所述关键词的变化速度的均值μ₀和标准差S。

作为本发明一实施方式的进一步改进，所述“根据所述Z值，判断所述关键词是否是热点关键词”具体包括：

若所述关键词的Z值超过设定阈值，判定所述关键词为热点关键词。

作为本发明一实施方式的进一步改进，所述方法还包括：

每隔所述预定周期计算一次所述热点关键词的Z值，当发现所述Z值变为负值，则判定所述热点关键词对应的热点新闻开始消退。

若所述关键词的Z值超过设定阈值，判断所述关键词对应的新闻是否为垃圾新闻，若是，删除所述关键词对应的新闻，若否，判定所述关键词为热点关键词，所述关键词对应的新闻为热点新闻。

作为本发明一实施方式的进一步改进，所述方法还包括：

每隔固定周期重新计算新闻中出现的所有关键词；

分别计算每个关键词在每个预定周期的变化速度的Z值，将每个关键词的所有Z值存入数据库中；

将每个预定周期内的每个关键词的大小与Z值成正比的方式显示在一起。

作为本发明一实施方式的进一步改进，所述关键词在预定周期内的标准化词频，是指所述关键词在预定周期内出现的次数除以预定周期内的新闻总量。

为实现上述发明目的之一，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述热点关键词的选取方法中的步骤。

为实现上述发明目的之一，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述热点关键词的选取方法中的步骤。

与现有技术相比，本发明热点关键词的选取方法，根据相邻时间段内关键词的变化速度服从正太分布的现象，利用Z检验，计算关键词的变化速度的Z值，从而不同关键词的变化速度可以进行比较，根据Z值的大小，科学、快速、准确的选取热点关键词。

附图说明

图1是关键词的变化速度服从的正态分布图。

图2是本发明热点关键词的选取方法的流程示意图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

关键词的词频是指在预定时间段(或称预定周期)内所述关键词出现的次数。考虑到每个时间段内的新闻总量会发生变化，对每个时间段的关键词的词频用这个时间段内的新闻总量进行标准化，即关键词在预定时间段内出现的次数除以对应时间段内的新闻总量，得到标准化词频。而相邻时间段的标准化词频的差值即是关键词在预定时间段的变化速度(所述差值是指后一个时间段的标准化词频减去前一个时间段的标准化词频)。比如在一天的新闻中，有100篇新闻的关键词包括有某一关键词，即认为所述关键词出现了100次，则所述关键词的词频是100次/天。在这一天中，新闻总量为10000篇，则所述关键词的标准化词频为0.01次/天。前一个时间段的所述关键词的标准化词频为0.02次/天，则所述关键词的在这个时间段的变化速度为-0.01次/天。

每个预定周期都计算各个关键词的变化速度，观察一段时间后发现，每个关键词的变化速度基本都服从正态分布，如图1所示，查看任意关键词的分布都有类似的结果，关键词的变化速度的正态分布的均值基本都为0，或在0上下徘徊，不同关键词的变化速度的正态分布只是标准差不同而已。

Z检验是用标准正态分布的理论来推断差异发生的概率，从而比较两个平均数的差异是否显著，一般通过计算Z值将差异数值化。若检验一个样本平均数与已知的总体平均数的差异是否显著，其Z值的计算公式如下：

其中μ为样本平均数，n为样本容量，μ₀为已知的总体平均数，S是已知的总体标准差。

从上面可以看出，计算Z值是用标准差和均值来标准化不同正态分布的方法，可以使得具有不同正态分布的变量之间可比。因此，可以通过计算每个关键词在指定时刻的Z值，判断在指定时刻哪个或哪些关键词的变化速度显著，这样就可以筛选那些变化显著的关键词。

如图2所示，本发明提供一种热点关键词的选取方法，所述方法根据相邻时间段内关键词的变化速度服从正太分布的现象，利用Z检验，计算关键词的变化速度的Z值，从而不同关键词的变化速度可以进行比较，根据Z值的大小，科学、快速、准确的选取热点关键词。所述方法包括：

步骤S100：获取一关键词在多个预定周期内的变化速度的均值μ₀和标准差S，所述关键词的变化速度是指相邻两个预定周期内所述关键词的标准化词频的差值。

具体的，首先，获取所述关键词在多个预定周期内的多个变化速度，得到所述关键词的变化速度集合。所述预定周期可以是10分钟、30分钟或者60分钟等，可以根据需要进行设置。而连续多个预定周期是指连续多个10分钟、或者连续多个30分钟等。可以是连续多个预定周期内的所述关键词的变化速度，比如一天之内每个小时的所述关键词的变化速度，得到24个所述关键词的变化速度。

然后，根据所述变化速度集合，求所述关键词的变化速度的均值μ₀，并根据所述均值μ₀，求所述关键词的变化速度的标准差S。这样就得到了所述所述关键词的变化速度的均值和标准差。可以使用这个方法计算每个关键词的变化速度的均值和标准差。

步骤S200：获取所述关键词在最近的预定周期内的变化速度μ。

将所述关键词在最近的预定周期内的标准化词频减去上一个预定周期内的标准化词频，即得到所述变化速度μ。

步骤S300：根据所述μ₀、S和μ，计算所述关键词的变化速度的Z检验的Z值。

此处计算的是单样本与总体平均数的差异是否显著，因此单样本的值即为单样本的平均数，单样本容量为1，因此，Z值的计算公式为：

步骤S400：根据所述Z值，判断所述关键词是否是热点关键词。

具体的，若所述关键词的Z值超过设定阈值(优选所述设定阈值为5)，判定所述关键词为热点关键词。

进一步的，每隔所述预定周期计算一次所述热点关键词的Z值，当发现所述Z值变为负值，则判定所述热点关键词对应的热点新闻开始消退。

由于在实际提取关键词的过程中，可能从一些重复冗余的信息中提取到错误的关键词(比如从大批量重复的广告中提取到的关键词)，也会导致对应关键词的Z值很大，因此，在一个具体的实施方式中，所述“根据所述Z值，判断所述关键词是否是热点关键词”具体包括：

由于有效样本数越多，均值和方差就越准确，因此，在一个优选的实施方式中，通过将每次所述关键词在最近的预定周期内的变化速度μ加入所述变化速度集合，重新计算所述关键词的变化速度的均值μ₀和标准差S，对所述关键词的均值和方差进行优化。

在一个具体的实施方式中，设置一个定时器，每天每个小时计算一次所有关键词的变化速度，并根据数据库中存储的每个关键词在1小时间的最新均值和标准差，计算每个关键词的变化速度在1小时间的Z值，并将每个关键词的变化速度和Z值都保存在数据库中，并且，根据最新的变化速度，重新计算每个关键词最新的均值和标准差，以便下一个小时的Z值的计算。

在另一个具体的实施方式中，设置三个定时器，每天在每个10分钟、30分钟和60分钟的时候，计算每个关键词的变化速度，并根据数据库中存储的每个关键词在对应预定周期的最新均值和标准差，计算每个关键词的变化速度在对应预定周期的Z值，并将变化速度和Z值都保存在数据库中，并且，根据最新的变化速度，重新计算最新的均值和标准差，以便下一个预定周期的Z值的计算。后续根据实际需求，选择对应精度的计算即可。

在又一个具体实施方式中，每隔固定周期重新计算新闻中出现的所有关键词，分别计算每个关键词在每个预定周期的变化速度的Z值，将每个关键词的所有Z值存入数据库中。然后将每个预定周期内的每个关键词的大小与Z值成正比的方式显示在一起。例如如果关键词A的Z值是关键词B的Z值的三倍，那么在显示时，关键词A是关键词的3倍大小。另外，显示时也可以根据不同关键词的Z值设置不同的颜色、不同粗细的线条、不同方向的字体、不同清晰度的字体等。

本发明还提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述热点关键词的选取方法中的任意一个步骤，也就是说，实现上述所述热点关键词的选取方法中任意一个技术方案中的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述热点关键词的选取方法中的任意一个步骤，也就是说，实现上述所述热点关键词的选取方法中的任意一个技术方案中的步骤。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims

1.一种热点关键词的选取方法，其特征在于，所述方法包括：

获取所述关键词在最近的预定周期内的变化速度μ；

根据所述Z值，判断所述关键词是否是热点关键词。

2.根据权利要求1所述热点关键词的选取方法，其特征在于，所述“获取某个关键词在预定周期内的变化速度的均值μ₀和标准差S”具体包括：

3.根据权利要求2所述热点关键词的选取方法，其特征在于，所述方法还包括：

4.根据权利要求1所述热点关键词的选取方法，其特征在于，所述“根据所述Z值，判断所述关键词是否是热点关键词”具体包括：

5.根据权利要求4所述热点关键词的选取方法，其特征在于，所述方法还包括：

6.根据权利要求1所述热点关键词的选取方法，其特征在于，所述“根据所述Z值，判断所述关键词是否是热点关键词”具体包括：

7.根据权利要求1所述热点关键词的选取方法，其特征在于，所述方法还包括：

每隔固定周期重新计算新闻中出现的所有关键词；

8.根据权利要求1所述热点关键词的选取方法，其特征在于：

所述关键词在预定周期内的标准化词频，是指所述关键词在预定周期内出现的次数除以预定周期内的新闻总量。

9.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任意一项所述热点关键词的选取方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述热点关键词的选取方法中的步骤。