CN108319690A - 一种网络论坛消息的内容相似度测量方法及系统 - Google Patents

Abstract

本发明公开一种网络论坛消息的内容相似度测量方法及系统。该方法根据所述测试状态向量和所述基准状态向量S＝{s₁,s₂,...,s_M}计算所述测试文本消息d_k与所述基准文本消息d之间的内容的相似度，所述测试状态向量和所述基准状态向量S＝{s₁,s₂,...,s_M}间内容的相似度是非对称的，即两个文本消息之间的内容相似度的值不仅与两个文本消息的语义特征相关，而且与基准消息的选择有关，更符合网络论坛敏感信息管控需求，提高了网络论坛消息的内容相似度测量的准确度。

Description

一种网络论坛消息的内容相似度测量方法及系统

技术领域

本发明涉及网络舆情管控领域，特别是涉及一种网络论坛消息的内容相似 度测量方法及系统。

背景技术

现有技术中的网络论坛消息中的文本内容相似度测量的方法，主要的技术 思路是建立文本的向量空间模型描述文本的内容特征，通过计算两个文本特征 向量之间的余弦距离来测量内容的相似度。

现有技术中通过计算两个文本特征向量之间的余弦距离来测量内容的相 似度的方法，主要特点是该余弦距离具有对称性，例如，具有文本消息A和 文本消息B两条内容，文本消息A的内容为C_A，文本消息B的内容为C_B， 当以文本消息A为基准时，文本消息B与文本消息A之间的内容差异为 Diff_AB＝C_B-C_B∩C_A，当以文本消息B为基准时，文本消息A与文本消息B之 间的内容差异为Diff_BA＝C_A-C_A∩C_B，所以，Diff_BA≠Diff_AB。

所以，根据余弦距离测量两个文本之间内容的相似度，由于余弦距离具有 对称性，忽略了基准消息选择的影响，实际的测量结果应该是非对称的，测量 的结果不准确，不符合网络管控的需求。

发明内容

本发明的目的是提供一种能够提高测量准确度的网络论坛消息的内容相 似度测量方法及系统。

为实现上述目的，本发明提供了如下方案：

一种网络论坛消息的内容相似度测量方法，所述测量方法包括：

获取基准文本消息d和网络舆情管控的具体需求参数；

根据所述基准文本消息d和所述网络舆情管控的具体需求参数，建立用户 词典Dictionary＝{t₁,t₂,...,t_M}，其中，M为所述用户词典的维数，t_j表示所 述基准文本消息d中的第j个关键中文实词，j的取值为1,2,...，M；

分别以所述关键中文实词t_j为关键词检索网络论坛消息，获得测试文本消 息集合D＝{d₁,d₂,...,d_N}，其中，N表示所述测试文本消息的条数，d_k表示第k 条测试文本消息，k的取值为1,2,3,...,N；

统计所述关键中文实词在所述基准文本消息d中出现的频率 获得基准关键词频率向量

根据所述基准关键词频率向量计算所述基准文本消息 d的状态向量，获得基准状态向量 所述基准状态向量用于表征所 述基准文本消息d的文本特征；其中，s_l表示所述基准文本消息d的第l个文 本特征，l的取值为1,2,...,M，i的取值为1,2,...,M；

统计所述关键中文实词在所述测试文本消息d_k中出现的频率 获得测试关键词频率向量

根据所述测试关键词频率向量计算所述测试文本消息d_k的状态向量，获得 测试状态向量所述测试状 态向量用于表征所述测试文 本消息d_k的文本特征；其中，表示第k条所述测试文本消息d_k的第l个文本 特征，l的取值为1,2,...,M；

根据所述测试状态向量和所述基准状态向量计算所述 测试文本消息d_k与所述基准文本消息d之间的内容的相似度。

可选的，所述根据所述测试状态向量

和所述基准状态向量计算所述测试文本消息d_k与所 述基准文本消息d之间的内容的相似度具体包括：

根据所述测试状态向量和所述基准状态向量计算所述 测试文本消息d_k与所述基准文本消息d之间的内容差异度

根据所述内容差异度计算所述测试文本消息d_k与所述基准文本消息d之 间的内容相似度

sim_k＝1/divergence_k。

可选的，在所述根据所述测试状态向量

和所述基准状态向量计算所述测试文本消息d_k与所 述基准文本消息d之间的内容的相似度之后，所述测量方法还包括：

判断所述内容相似度是否小于相似度阈值，如果是，所述测试文本消息d_k与所述基准文本消息d的内容不相似；否则，所述测试文本消息d_k与所述基 准文本消息d的内容相似。

为了实现上述目的，本发明还提供了如下方案：

一种网络论坛消息的内容相似度测量系统，所述测量系统包括：

获取模块，用于获取基准文本消息d和网络舆情管控的具体需求参数；

词典建立模块与所述获取模块连接，所述词典建立模块用于根据所述基准 文本消息d和所述网络舆情管控的具体需求参数，建立用户词典 Dictionary＝{t₁,t₂,...,t_M}，其中，M为所述用户词典的维数，t_j表示所述基 准文本消息d中的第j个关键中文实词，j的取值为1,2,...，M；

检索模块与所述词典建立模块连接，所述检索模块用于分别以所述关键中 文实词t_j为关键词检索网络论坛消息，获得测试文本消息集合 D＝{d₁,d₂,...,d_N}，其中，N表示所述测试文本消息的条数，d_k表示第k条测 试文本消息，k的取值为1,2,3,...,N；

基准统计模块分别与所述获取模块和所述词典建立模块连接，所述基准统 计模块用于统计所述关键中文实词在所述基准文本消息d中出现的频率 获得基准关键词频率向量

基准状态向量计算模块与所述基准统计模块连接，所述基准状态向量计算 模块用于根据所述基准关键词频率向量计算所述基准文本 消息d的状态向量，获得基准状态向量 所述基准状态向量用于表征所 述基准文本消息d的文本特征；其中，s_l表示所述基准文本消息d的第l个文 本特征，l的取值为1,2,...,M，i的取值为1,2,...,M；

测试统计模块与所述检索模块连接，所述测试统计模块用于统计所述关键 中文实词在所述测试文本消息d_k中出现的频率获得测试关键 词频率向量

测试状态向量计算模块与所述测试统计模块连接，测试状态向量计算模块用于根据所述测试关键词频率向量计算所述测试文本消息d_k的状态向量，获得测试状态向量所述测试状态向量用于表征所述测试文 本消息d_k的文本特征；其中，表示第k条所述测试文本消息d_k的第l个文本 特征，l的取值为1,2,...,M；

相似度计算模块分别与所述测试状态向量计算模块和所述基准状态向量 计算模块连接，所述相似度计算模块用于根据所述测试状态向量

和所述基准状态向量计算所述测试文本消息d_k与所 述基准文本消息d之间的内容的相似度。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供 了一种能够提高测量准确度的网络论坛消息的内容相似度测量方法及系统，根 据所述测试状态向量和所述基准状态向量 S＝{s₁,s₂,...,s_M}计算所述测试文本消息d_k与所述基准文本消息d之间的内 容的相似度，所述测试状态向量和所述基准状态向量 S＝{s₁,s₂,...,s_M}间内容的相似度是非对称的，即两个文本消息之间的内容相 似度的值不仅与两个文本消息的语义特征相关，而且与基准消息的选择有关， 更符合网络论坛敏感信息管控需求，提高了网络论坛消息的内容相似度测量的 准确度。

采用状态向量作为相似度指标，所述相似度指标是独立于文本消息集合特 征的，具有独立性，使得相似度测量更加方便，尤其是针对大数据文本消息内 容相似度的测量，由于规避了测试样本集合的特征提取，提高了测量的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性 的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的网络论坛消息的内容相似度测量方法的流程图；

图2为本发明提供的根据所述测试状态向量

和所述基准状态向量计算所述测试文本消息d_k与所述基准文本消息d之间的内容的相似度的流程图；

图3为本发明提供的网络论坛消息的内容相似度测量系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种能够提高测量准确度的网络论坛消息的内容相 似度测量方法及系统。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。

如图1所示的一种网络论坛消息的内容相似度测量方法的流程图，所述测 量方法包括：

步骤100：获取基准文本消息d和网络舆情管控的具体需求参数；

步骤200：根据所述基准文本消息d和所述网络舆情管控的具体需求参 数，建立用户词典Dictionary＝{t₁,t₂,...,t_M}，其中，M为所述用户词典的维 数，t_j表示所述基准文本消息d中的第j个关键中文实词，j的取值为1,2,...， M；

步骤300：分别以所述关键中文实词t_j为关键词检索网络论坛消息，获得 测试文本消息集合D＝{d₁,d₂,...,d_N}，其中，N表示所述测试文本消息的条数， d_k表示第k条测试文本消息，k的取值为1,2,3,...,N；

步骤400：统计所述关键中文实词在所述基准文本消息d中出现的频率获得基准关键词频率向量

步骤500：根据所述基准关键词频率向量计算所述基 准文本消息d的状态向量，获得基准状态向量所述基准状态向量用于表征所 述基准文本消息d的文本特征；其中，s_l表示所述基准文本消息d的第l个文 本特征，l的取值为1,2,...,M，i的取值为1,2,...,M；

步骤600：统计所述关键中文实词在所述测试文本消息d_k中出现的频率获得测试关键词频率向量

步骤700：根据所述测试关键词频率向量计算所述测试文本消息d_k的状态 向量，获得测试状态向量所述测试状态向量用于表征 所述测试文本消息d_k的文本特征；其中，表示第k条所述测试文本消息d_k的 第l个文本特征，l的取值为1,2,...,M；

步骤800：根据所述测试状态向量

和所述基准状态向量计算所述测试文本消息d_k与所 述基准文本消息d之间的内容的相似度。

如图2所示的所述步骤800：

根据所述测试状态向量 和所述基准状态向量 计算所述测试文本消息d_k与所 述基准文本消息d之间的内容的相似度的流程图，具体包括：

步骤801：根据所述测试状态向量和所述基准状态向 量计算所述测试文本消息d_k与 所述基准文本消息d之间的内容差异度

步骤802：根据所述内容差异度计算所述测试文本消息d_k与所述基准文本 消息d之间的内容相似度

sim_k＝1/divergence_k。

在所述800：

根据所述测试状态向量 和所述基准状态向量 计算所述测试文本消息d_k与所 述基准文本消息d之间的内容的相似度之后，所述测量方法还包括：

判断所述内容相似度是否小于相似度阈值，如果是，所述测试文本消息d_k与所述基准文本消息d的内容不相似；否则，所述测试文本消息d_k与所述基 准文本消息d的内容相似。

为了实现上述目的，本发明还提供了如下方案：

如图2所示的一种网络论坛消息的内容相似度测量系统，所述测量系统包 括：

获取模块1，用于获取基准文本消息d和网络舆情管控的具体需求参数；

词典建立模块2与所述获取模块1连接，所述词典建立模块2用于根据所 述基准文本消息d和所述网络舆情管控的具体需求参数，建立用户词典 Dictionary＝{t₁,t₂,...,t_M}，其中，M为所述用户词典的维数，t_j表示所述基 准文本消息d中的第j个关键中文实词，j的取值为1,2,...，M；

检索模块3与所述词典建立模块2连接，所述检索模块3用于分别以所述 关键中文实词t_j为关键词检索网络论坛消息，获得测试文本消息集合 D＝{d₁,d₂,...,d_N}，其中，N表示所述测试文本消息的条数，d_k表示第k条测 试文本消息，k的取值为1,2,3,...,N；

基准统计模块4分别与所述获取模块1和所述词典建立模块2连接，所述 基准统计模块4用于统计所述关键中文实词在所述基准文本消息d中出现的 频率获得基准关键词频率向量

基准状态向量计算模块5与所述基准统计模块4连接，所述基准状态向量 计算模块5用于根据所述基准关键词频率向量计算所述基 准文本消息d的状态向量，获得基准状态向量 所述基准状态向量用于表征所 述基准文本消息d的文本特征；其中，s_l表示所述基准文本消息d的第l个文 本特征，l的取值为1,2,...,M，i的取值为1,2,...,M；

测试统计模块6与所述检索模块3连接，所述测试统计模块6用于统计所 述关键中文实词在所述测试文本消息d_k中出现的频率获得测 试关键词频率向量

测试状态向量计算模块7与所述测试统计模块6连接，测试状态向量计算 模块7用于根据所述测试关键词频率向量计算所述测试文本消息d_k的状态向量，获得测试状态向量

所述测试状态向量用于表征所 述测试文本消息d_k的文本特征；其中，表示第k条所述测试文本消息d_k的 第l个文本特征，l的取值为1,2,...,M；

相似度计算模块8分别与所述测试状态向量计算模块7和所述基准状态向 量计算模块5连接，所述相似度计算模块8用于根据所述测试状态向量

和所述基准状态向量计算所述测试文本消息d_k与所 述基准文本消息d之间的内容的相似度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于 实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较 简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施 例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的 一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变 之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种网络论坛消息的内容相似度测量方法，其特征在于，所述测量方法包括：

获取基准文本消息d和网络舆情管控的具体需求参数；

根据所述基准文本消息d和所述网络舆情管控的具体需求参数，建立用户词典Dictionary＝{t₁,t₂,...,t_M}，其中，M为所述用户词典的维数，t_j表示所述基准文本消息d中的第j个关键中文实词，j的取值为1,2,...，M；

分别以所述关键中文实词t_j为关键词检索网络论坛消息，获得测试文本消息集合D＝{d₁,d₂,...,d_N}，其中，N表示所述测试文本消息的条数，d_k表示第k条测试文本消息，k的取值为1,2,3,...,N；

统计所述关键中文实词在所述基准文本消息d中出现的频率获得基准关键词频率向量

根据所述基准关键词频率向量计算所述基准文本消息d的状态向量，获得基准状态向量所述基准状态向量用于表征所述基准文本消息d的文本特征；其中，s_l表示所述基准文本消息d的第l个文本特征，l的取值为1,2,...,M，i的取值为1,2,...,M；

统计所述关键中文实词在所述测试文本消息d_k中出现的频率获得测试关键词频率向量

根据所述测试关键词频率向量计算所述测试文本消息d_k的状态向量，获得测试状态向量所述测试状态向量S_k用于表征所述测试文本消息d_k的文本特征；其中，表示第k条所述测试文本消息d_k的第l个文本特征，l的取值为1,2,...,M；

根据所述测试状态向量和所述基准状态向量计算所述测试文本消息d_k与所述基准文本消息d之间的内容的相似度。

2.根据权利要求1所述的一种网络论坛消息的内容相似度测量方法，其特征在于，所述根据所述测试状态向量和所述基准状态向量计算所述测试文本消息d_k与所述基准文本消息d之间的内容的相似度具体包括：

根据所述测试状态向量和所述基准状态向量计算所述测试文本消息d_k与所述基准文本消息d之间的内容差异度

根据所述内容差异度计算所述测试文本消息d_k与所述基准文本消息d之间的内容相似度

sim_k＝1/divergence_k。

3.根据权利要求1所述的一种网络论坛消息的内容相似度测量方法，其特征在于，在所述根据所述测试状态向量和所述基准状态向量计算所述测试文本消息d_k与所述基准文本消息d之间的内容的相似度之后，所述测量方法还包括：

判断所述内容相似度是否小于相似度阈值，如果是，所述测试文本消息d_k与所述基准文本消息d的内容不相似；否则，所述测试文本消息d_k与所述基准文本消息d的内容相似。

4.一种网络论坛消息的内容相似度测量系统，其特征在于，所述测量系统包括：

获取模块，用于获取基准文本消息d和网络舆情管控的具体需求参数；

词典建立模块与所述获取模块连接，所述词典建立模块用于根据所述基准文本消息d和所述网络舆情管控的具体需求参数，建立用户词典Dictionary＝{t₁,t₂,...,t_M}，其中，M为所述用户词典的维数，t_j表示所述基准文本消息d中的第j个关键中文实词，j的取值为1,2,...，M；

检索模块与所述词典建立模块连接，所述检索模块用于分别以所述关键中文实词t_j为关键词检索网络论坛消息，获得测试文本消息集合D＝{d₁,d₂,...,d_N}，其中，N表示所述测试文本消息的条数，d_k表示第k条测试文本消息，k的取值为1,2,3,...,N；

基准统计模块分别与所述获取模块和所述词典建立模块连接，所述基准统计模块用于统计所述关键中文实词在所述基准文本消息d中出现的频率获得基准关键词频率向量

基准状态向量计算模块与所述基准统计模块连接，所述基准状态向量计算模块用于根据所述基准关键词频率向量计算所述基准文本消息d的状态向量，获得基准状态向量所述基准状态向量用于表征所述基准文本消息d的文本特征；其中，s_l表示所述基准文本消息d的第l个文本特征，l的取值为1,2,...,M，i的取值为1,2,...,M；

测试统计模块与所述检索模块连接，所述测试统计模块用于统计所述关键中文实词在所述测试文本消息d_k中出现的频率获得测试关键词频率向量

测试状态向量计算模块与所述测试统计模块连接，测试状态向量计算模块用于根据所述测试关键词频率向量计算所述测试文本消息d_k的状态向量，获得测试状态向量

所述测试状态向量用于表征所述测试文本消息d_k的文本特征；其中，表示第k条所述测试文本消息d_k的第l个文本特征，l的取值为1,2,...,M；

相似度计算模块分别与所述测试状态向量计算模块和所述基准状态向量计算模块连接，所述相似度计算模块用于根据所述测试状态向量

和所述基准状态向量计算所述测试文本消息d_k与所述基准文本消息d之间的内容的相似度。