CN108376175A - 一种展示新闻事件的可视化方法 - Google Patents

Abstract

本发明公开了一种展示新闻事件的可视化方法，包括：从后台数据库获取新闻，所述新闻包括新闻ID、新闻标题、新闻内容、新闻声量和新闻所属TopicID，抽取新闻所属TopicID相同的新闻簇即新闻事件，其中，新闻总数为M，新闻事件总数为N，M≤N；将所述新闻事件数值化；将数值化后的新闻标题、新闻内容和新闻事件降维；计算新闻事件的热力值，在二维平面绘制新闻事件的坐标，新闻事件对应的像素点的热力值即为新闻事件的声量总和；采用绘图工具包将每个像素点转化为不同的颜色，最终形成新闻事件热力图。本发明在新闻事件聚类的基础上，将新闻事件向量化并降维处理后映射到二维平面上，形成新闻事件的热力图，可以直观的看到新闻事件的热度及相关性。

Description

一种展示新闻事件的可视化方法

技术领域

本发明涉及新闻信息技术领域，具体的说，是一种展示新闻事件的可视化方法。

背景技术

新闻，它是对新近发生的有社会意义并引起公众兴趣的事实的简短报道。除了传统媒介之外，网络也是新闻传播的一个重要媒介。目前，网络作为媒介传播新闻时，一般都是由各个新闻媒体将新闻发布在自己网站或频道上。大众通过关键词搜索可以看到与关键词相关的新闻，由于这些新闻的来源不同，即使新闻关键词相关，却并不能确定这些新闻都是针对同一事件新闻，因此，在这些铺天盖地的信息，大众很难从中挑选针对某一事件的新闻，极大地影响了用户阅读新闻的效率及获取新闻信息的准确性，也无法直观的看到新闻事件的热度和相关性。

发明内容

本发明的目的在于提供一种展示新闻事件的可视化方法，用于解决现有技术中用户无法直观看到新闻事件的热度和相关性的问题。

为了达到上述目的，本发明通过下述技术方案实现：

一种展示新闻事件的可视化方法，包括：

步骤S100：从后台数据库获取新闻，所述新闻包括新闻ID、新闻标题、新闻内容、新闻声量和新闻所属TopicID，抽取新闻所属TopicID相同的新闻簇即新闻事件，其中，新闻总数为M，新闻事件总数为N，M≤N；

步骤S200：将所述新闻事件数值化；

步骤S300：将数值化后的新闻标题、新闻内容和新闻事件降维；

步骤S400：计算新闻事件的热力值，在二维平面绘制新闻事件的坐标，新闻事件对应的像素点的热力值即为新闻事件的声量总和；

步骤S500：采用绘图工具包matplotlib，将每个像素点转化为不同的颜色，最终形成新闻事件热力图。

工作原理：

后台数据库通过动态网页抓取新闻数据，包括新闻ID、新闻标题、新闻内容、新闻声量和新闻所属TopicID，然后从新闻数据中抽取新闻事件；将新闻事件进行数值化处理，将新闻事件、新闻标题和新闻内容的文本分别训练成数值向量，数值向量的长度为可调整的参数，在这里取300维。然后将数值化后的新闻事件、新闻标题和新闻内容作降维处理，将300维降为二维或者三维，这里采用降为二维。然后在二维平面上计算各个新闻事件的坐标点，相关度稿的新闻事件在二维平面的距离越近，热力值即新闻事件的声量总和，新闻事件的声量即评论人数，因此，从新闻事件的声量总和，可以反映出新闻事件的受关注程度，因此新闻事件越受关注，热力值越大，则该新闻事件的像素点越大，则反映出辐射能力越强，则该新闻事件的亮度越高。不同新闻事件的热力值不同，则对应的该坐标点的像素点不同，即辐射能力不同。采用绘图工具包matplotlib，将每个像素点转化为不同的颜色，最终形成新闻事件热力图，从像素点的颜色可以区分新闻事件的受关注程度，从新闻事件的距离，可以看出新闻事件的相关度，更加直观的展示新闻事件的热度和相关度。

进一步地，所述步骤S100具体包括：

步骤S110：获取新闻，其中包括新闻ID，新闻标题和新闻内容；

步骤S120：从新闻内容中抽取新闻摘要，并分别将新闻标题和新闻内容进行数值化转换；

步骤S130：设置一个新闻箱，该新闻箱中包含新闻ID，新闻标题，新闻内容和新闻所属TopicID，并将第一条新闻的新闻ID，新闻标题，新闻内容和新闻所属TopicID放入新闻箱中；

步骤S140：依次遍历余下新闻，计算余下新闻与新闻箱中已有新闻的相似度，如果最大相似度大于阈值P，则该新闻的新闻所属TopicID与已有新闻的新闻所属TopicID相似度大，属于相同的新闻所属TopicID，反之，则用该新闻的新闻摘要表示其新闻所属TopicID，并将该新闻的新闻ID，新闻标题，新闻内容和新闻所属事件放入新闻箱中；

步骤S150：遍历结束后，新闻箱中包含全部新闻ID，新闻标题，新闻内容和新闻所属事件；

步骤S160：抽取新闻所属TopicID相同的新闻簇，即新闻事件。

工作原理：

从数据库中获取新闻的新闻ID，新闻内容、新闻标题和新闻所属TopicID，新闻所属TopicID相同的新闻簇代表一个新闻事件。在将新闻放入新闻箱中时，比较新放入的新闻与已在新闻箱中新闻的新闻所属TopicID是否相同，如果相同则为同一新闻事件，如果不同，则新放入新闻的新闻摘要作为其新闻所属TopicID，遍历结束后，抽取新闻事件，进行数值化。

进一步地，所述步骤S120中数值化转换具体包括：

步骤S121：将所述新闻标题和新闻内容进行分字处理；

步骤S122：采用训练模型将分字处理后的新闻标题和新闻内容分别转化为300维的数值向量。

工作原理：

分字处理是将新闻标题、新闻内容中的句子中的每个字都用空格分隔，然后将分隔后的新闻标题和新闻内容进行训练，将文本内容转换为数值向量，数值向量的长度可以设定。

进一步地，所述步骤S200具体为：对每一个新闻事件下的新闻，分别将数值化后的新闻标题和新闻内容的对应维度相加后取平均值，获取每个新闻事件的向量化表示，其中新闻标题和新闻内容均为300维，同时，将每个新闻事件下的新闻声量相加，获取新闻事件总声量。

工作原理：

将新闻事件下的每一个新闻数值化后的新闻标题、新闻内容的对应维度进行相加取平均，得到新闻事件的向量化表示，同时将同一新闻事件下的新闻声量相加，得到新闻事件总声量即新闻事件的热力值。

进一步地，所述步骤S300具体包括：

步骤S310：使用高维数据降维方法MDS，将新闻事件从300维的向量降成2维向量；

步骤S320：将2维向量做标准化处理，处理方法如下：

其中，X_min表示降维后，第一维向量的最小值，X_max表示第一维向量的最大值，Y_min表示第二维向量的最小值，Y_max表示第二维向量的最大值，且X_i∈[0,1000],Y_i∈[0,1000]。

工作原理：

首先采用高维数据降维方法MDS，将300维向量降为而维，然后通过标准化处理，将降维后的向量坐标设置在1000*1000的二维平面内。X_i和Y_i分别代表新闻事件在二维平面的坐标点。

进一步地，所述步骤S400具体包括：

步骤S410：计算热力值，方法如下：

其中，s表示二维平面中的任意点；i为新闻事件代表的像素点的集合，共M个新闻事件；W_i表示新闻事件代表的像素点的热度；d_si表示s到i的距离；α表示热力值衰减因子，当d_si≤5时，α＝0.001，当d_si>5时，α＝0.01；

步骤S420：绘制1000*1000，共1000000个像素点的二维平面，并在该二维平面上绘制新闻事件的坐标。

工作原理：

分别计算M个新闻事件的热力值，并计算出这M个新闻事件对二维平面上的其他像素点的辐射能力，新闻事件对其他像素点的热力值随着距离的增大而衰减，即辐射能力减弱。新闻事件的距离越近，表示新闻事件之间的相关性越大，反之，表示新闻事件之间的相关性越小。新闻事件的像素点的热力值越大，该新闻事件的亮度越大。因此可以直观的看出新闻事件的热度以及新闻事件之间的相关程度。

进一步地，所述步骤S122中的训练模型采用Doc2vec模型。

采用Doc2vec模型，采用doc_vec＝[1,1,1,……1]，doc_vec长度为300输入长度为300维的向量，在采用doc_vec_new＝MDFS(doc_vec),doc_vec_new长度为2，转换为2维的向量。

本发明与现有技术相比，具有以下优点及有益效果：

本发明在新闻事件聚类的基础上，首先将新闻事件向量化，并做降维处理，最后将映射到二维平面上，形成新闻事件的热力图，根据热力图，可以直观的看到新闻事件的热度及相关性。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合附图1所示，一种展示新闻事件的可视化方法，包括：

步骤S100：从后台数据库获取新闻，所述新闻包括新闻ID、新闻标题、新闻内容、新闻声量和新闻所属TopicID，抽取新闻所属TopicID相同的新闻簇即新闻事件，其中，新闻总数为M，新闻事件总数为N，M≤N；

步骤S200：将所述新闻事件数值化；

步骤S300：将数值化后的新闻标题、新闻内容和新闻事件降维；

步骤S400：计算新闻事件的热力值，在二维平面绘制新闻事件的坐标，新闻事件对应的像素点的热力值即为新闻事件的声量总和；

步骤S500：采用绘图工具包matplotlib，将每个像素点转化为不同的颜色，最终形成新闻事件热力图。

工作原理：

后台数据库通过动态网页抓取新闻数据，包括新闻ID、新闻标题、新闻内容、新闻声量和新闻所属TopicID，然后从新闻数据中抽取新闻事件；将新闻事件进行数值化处理，将新闻事件、新闻标题和新闻内容的文本分别训练成数值向量，数值向量的长度为可调整的参数，在这里取300维。然后将数值化后的新闻事件、新闻标题和新闻内容作降维处理，将300维降为二维或者三维，这里采用降为二维。然后在二维平面上计算各个新闻事件的坐标点，相关度稿的新闻事件在二维平面的距离越近，热力值即新闻事件的声量总和，新闻事件的声量即评论人数，因此，从新闻事件的声量总和，可以反映出新闻事件的受关注程度，因此新闻事件越受关注，热力值越大，则该新闻事件的像素点越大，则反映出辐射能力越强，则该新闻事件的亮度越高。不同新闻事件的热力值不同，则对应的该坐标点的像素点不同，即辐射能力不同。采用绘图工具包matplotlib，将每个像素点转化为不同的颜色，最终形成新闻事件热力图，从像素点的颜色可以区分新闻事件的受关注程度，从新闻事件的距离，可以看出新闻事件的相关度，更加直观的展示新闻事件的热度和相关度。

进一步地，所述步骤S100具体包括：

步骤S110：获取新闻，其中包括新闻ID，新闻标题和新闻内容；

步骤S120：从新闻内容中抽取新闻摘要，并分别将新闻标题和新闻内容进行数值化转换；

步骤S130：设置一个新闻箱，该新闻箱中包含新闻ID，新闻标题，新闻内容和新闻所属TopicID，并将第一条新闻的新闻ID，新闻标题，新闻内容和新闻所属TopicID放入新闻箱中；

步骤S140：依次遍历余下新闻，计算余下新闻与新闻箱中已有新闻的相似度，如果最大相似度大于阈值P，则该新闻的新闻所属TopicID与已有新闻的新闻所属TopicID相似度大，属于相同的新闻所属TopicID，反之，则用该新闻的新闻摘要表示其新闻所属TopicID，并将该新闻的新闻ID，新闻标题，新闻内容和新闻所属事件放入新闻箱中；

步骤S150：遍历结束后，新闻箱中包含全部新闻ID，新闻标题，新闻内容和新闻所属事件；

步骤S160：抽取新闻所属TopicID相同的新闻簇，即新闻事件。

工作原理：

从数据库中获取新闻的新闻ID，新闻内容、新闻标题和新闻所属TopicID，新闻所属TopicID相同的新闻簇代表一个新闻事件。在将新闻放入新闻箱中时，比较新放入的新闻与已在新闻箱中新闻的新闻所属TopicID是否相同，如果相同则为同一新闻事件，如果不同，则新放入新闻的新闻摘要作为其新闻所属TopicID，遍历结束后，抽取新闻事件，进行数值化。

进一步地，所述步骤S120中数值化转换具体包括：

步骤S121：将所述新闻标题和新闻内容进行分字处理；

步骤S122：采用训练模型将分字处理后的新闻标题和新闻内容分别转化为300维的数值向量。

工作原理：

分字处理是将新闻标题、新闻内容中的句子中的每个字都用空格分隔，然后将分隔后的新闻标题和新闻内容进行训练，将文本内容转换为数值向量，数值向量的长度可以设定。

进一步地，所述步骤S200具体为：对每一个新闻事件下的新闻，分别将数值化后的新闻标题和新闻内容的对应维度相加后取平均值，获取每个新闻事件的向量化表示，其中新闻标题和新闻内容均为300维，同时，将每个新闻事件下的新闻声量相加，获取新闻事件总声量。

工作原理：

将新闻事件下的每一个新闻数值化后的新闻标题、新闻内容的对应维度进行相加取平均，得到新闻事件的向量化表示，同时将同一新闻事件下的新闻声量相加，得到新闻事件总声量即新闻事件的热力值。

进一步地，所述步骤S300具体包括：

步骤S310：使用高维数据降维方法MDS，将新闻事件从300维的向量降成2维向量；

步骤S320：将2维向量做标准化处理，处理方法如下：

其中，X_min表示降维后，第一维向量的最小值，X_max表示第一维向量的最大值，Y_min表示第二维向量的最小值，Y_max表示第二维向量的最大值，且X_i∈[0,1000],Y_i∈[0,1000]。

工作原理：

首先采用高维数据降维方法MDS，将300维向量降为而维，然后通过标准化处理，将降维后的向量坐标设置在1000*1000的二维平面内。X_i和Y_i分别代表新闻事件在二维平面的坐标点。

进一步地，所述步骤S400具体包括：

步骤S410：计算热力值，方法如下：

其中，s表示二维平面中的任意点；i为新闻事件代表的像素点的集合，共M个新闻事件；W_i表示新闻事件代表的像素点的热度；d_si表示s到i的距离；α表示热力值衰减因子，当d_si≤5时，α＝0.001，当d_si>5时，α＝0.01；

步骤S420：绘制1000*1000，共1000000个像素点的二维平面，并在该二维平面上绘制新闻事件的坐标。

工作原理：

分别计算M个新闻事件的热力值，并计算出这M个新闻事件对二维平面上的其他像素点的辐射能力，新闻事件对其他像素点的热力值随着距离的增大而衰减，即辐射能力减弱。新闻事件的距离越近，表示新闻事件之间的相关性越大，反之，表示新闻事件之间的相关性越小。新闻事件的像素点的热力值越大，该新闻事件的亮度越大。因此可以直观的看出新闻事件的热度以及新闻事件之间的相关程度。

进一步地，所述步骤S122中的训练模型采用Doc2vec模型。

采用Doc2vec模型，结合mdfs降维方法，输入长度为300维的向量，即可转化为2维向量，使用方法如下：

doc_vec＝[1,1,1,……1],doc_vec长度为300；

doc_vec_new＝MDFS(doc_vec),doc_vec_new长度为2。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种展示新闻事件的可视化方法，其特征在于，包括：

步骤S100：从后台数据库获取新闻，所述新闻包括新闻ID、新闻标题、新闻内容、新闻声量和新闻所属TopicID，抽取新闻所属TopicID相同的新闻簇即新闻事件，其中，新闻总数为M，新闻事件总数为N，M≤N；

步骤S200：将所述新闻事件数值化；

步骤S300：将数值化后的新闻标题、新闻内容和新闻事件降维；

步骤S400：计算新闻事件的热力值，在二维平面绘制新闻事件的坐标，新闻事件对应的像素点的热力值即为新闻事件的声量总和；

步骤S500：采用绘图工具包matplotlib，将每个像素点转化为不同的颜色，最终形成新闻事件热力图。

2.根据权利要求1所述的一种展示新闻事件的可视化方法，其特征在于，所述步骤S100具体包括：

步骤S110：获取新闻，其中包括新闻ID，新闻标题和新闻内容；

步骤S120：从新闻内容中抽取新闻摘要，并分别将新闻标题和新闻内容进行数值化转换；

步骤S130：设置一个新闻箱，该新闻箱中包含新闻ID，新闻标题，新闻内容和新闻所属TopicID，并将第一条新闻的新闻ID，新闻标题，新闻内容和新闻所属TopicID放入新闻箱中；

步骤S140：依次遍历余下新闻，计算余下新闻与新闻箱中已有新闻的相似度，如果最大相似度大于阈值P，则该新闻的新闻所属TopicID与已有新闻的新闻所属TopicID相似度大，属于相同的新闻所属TopicID，反之，则用该新闻的新闻摘要表示其新闻所属TopicID，并将该新闻的新闻ID，新闻标题，新闻内容和新闻所属事件放入新闻箱中；

步骤S150：遍历结束后，新闻箱中包含全部新闻ID，新闻标题，新闻内容和新闻所属事件；

步骤S160：抽取新闻所属TopicID相同的新闻簇，即新闻事件。

3.根据权利要求2所述的一种展示新闻事件的可视化方法，其特征在于，所述步骤S120中数值化转换具体包括：

步骤S121：将所述新闻标题和新闻内容进行分字处理；

步骤S122：采用训练模型将分字处理后的新闻标题和新闻内容分别转化为300维的数值向量。

4.根据权利要求3所述的一种展示新闻事件的可视化方法，其特征在于，所述步骤S200具体为：对每一个新闻事件下的新闻，分别将数值化后的新闻标题和新闻内容的对应维度相加后取平均值，获取每个新闻事件的向量化表示，其中新闻标题和新闻内容均为300维，同时，将每个新闻事件下的新闻声量相加，获取新闻事件总声量。

5.根据权利要求4所述的一种展示新闻事件的可视化方法，其特征在于，所述步骤S300具体包括：

步骤S310：使用高维数据降维方法MDS，将新闻事件从300维的向量降成2维向量；

步骤S320：将2维向量做标准化处理，处理方法如下：

其中，X_min表示降维后，第一维向量的最小值，X_max表示第一维向量的最大值，Y_min表示第二维向量的最小值，Y_max表示第二维向量的最大值，且X_i∈[0,1000],Y_i∈[0,1000]。

6.根据权利要求5所述的一种展示新闻事件的可视化方法，其特征在于，所述步骤S400具体包括：

步骤S410：计算热力值，方法如下：

其中，s表示二维平面中的任意点；i为新闻事件代表的像素点的集合，共M个新闻事件；W_i表示新闻事件代表的像素点的热度；d_si表示s到i的距离；α表示热力值衰减因子，当d_si≤5时，α＝0.001，当d_si>5时，α＝0.01；

步骤S420：绘制1000*1000，共1000000个像素点的二维平面，并在该二维平面上绘制新闻事件的坐标。

7.根据权利要求3所述的一种展示新闻事件的可视化方法，其特征在于，所述步骤S122中的训练模型采用Doc2vec模型。