CN105373531A - 一种基于社交网络的短话题文本识别方法及装置 - Google Patents

Abstract

本发明实施例提供一种基于社交网络的短话题文本识别方法及装置，所述基于社交网络的短话题文本识别方法包括：接收基于社交网络的短话题文本；获取所述短话题文本的话题关键词；根据所述短话题文本的话题关键词，利用预设的所述社交网络的话题关键词与能力标签的映射关系，确定所述短话题文本对应的能力标签；为所述短话题文本设置对应的能力标签。上述技术方案具有如下有益效果：短话题文本分类识别，如果采用现有技术的短文本分类，由于内容有限，会造成准确率和覆盖率偏低，而本发明实施例引入话题关键词，并将话题关键词同能力标签映射后，同时引入发布者的能力标签，能有效提高短话题文本分类的准确率和覆盖率。

Description

一种基于社交网络的短话题文本识别方法及装置

技术领域

本发明涉及社交网络技术领域，尤其涉及一种基于社交网络的短话题文本识别方法及装置。

背景技术

在社交网络的短话题文本识别领域中涉及几个概念：短话题文本，是指在微博等社交网络中，有些账号发表的博文其书写形式是将关键字放在两个#之间,后面再加上其他内容，通过两个#之间的关键字来概括博文所表达信息的主题，此类博文属于短话题文本。用户能力标签，是指描述用户在社交网络中通过自填信息、发表的博文等信息所呈现出的能力特征的标签。短话题文本对应的能力标签，是指描述用户发表的某一篇博文内容的标签，也称内容标签。用户标签，是指社交网络中用户描述用户能力、兴趣的标签。

现有技术基于关键字特征的分类方案，主要是将话题信息和博文内容一起当做普通文本，利用标注的训练集进行特征选择和参数学习，将训练出的模型对新文本进行分类计算，最终将用户发表的博文同内容标签进行关联。其存在分类准确率低，而且分类覆盖率偏低的技术缺陷。

发明内容

本发明实施例提供一种基于社交网络的短话题文本识别方法及装置，以有效提高短话题文本分类的准确率和覆盖率。

一方面，本发明实施例提供了一种基于社交网络的短话题文本识别方法，所述基于社交网络的短话题文本识别方法包括：

接收基于社交网络的短话题文本；

获取所述短话题文本的话题关键词；

根据所述短话题文本的话题关键词，利用预设的所述社交网络的话题关键词与能力标签的映射关系，确定所述短话题文本对应的能力标签；

为所述短话题文本设置对应的能力标签。

另一方面，本发明实施例提供了一种基于社交网络的短话题文本识别装置，所述基于社交网络的短话题文本识别装置包括：

接收单元，用于接收基于社交网络的短话题文本；

获取单元，用于获取所述短话题文本的话题关键词；

映射单元，用于根据所述短话题文本的话题关键词，利用预设的所述社交网络的话题关键词与能力标签的映射关系，确定所述短话题文本对应的能力标签；

标签单元，用于为所述短话题文本设置对应的能力标签。

上述技术方案具有如下有益效果：短话题文本分类识别，如果采用现有技术的短文本分类，由于内容有限，会造成准确率和覆盖率偏低，而本发明实施例引入话题关键词，并将话题关键词同能力标签映射后，同时引入发布者的能力标签，能有效提高短话题文本分类的准确率和覆盖率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种基于社交网络的短话题文本识别方法流程图；

图2为本发明实施例一种基于社交网络的短话题文本识别装置结构示意图；

图3为本发明实施例另一种基于社交网络的短话题文本识别装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例一种基于社交网络的短话题文本识别方法流程图，所述基于社交网络的短话题文本识别方法包括：

101、接收基于社交网络的短话题文本；

102、获取所述短话题文本的话题关键词；

103、根据所述短话题文本的话题关键词，利用预设的所述社交网络的话题关键词与能力标签的映射关系，确定所述短话题文本对应的能力标签；

104、为所述短话题文本设置对应的能力标签。

优选的，所述为短话题文本设置对应的能力标签，具体包括：利用预先构建的所述短话题文本所对应用户具备的能力标签及其对应的权重，对确定出的所述短话题文本对应的能力标签进行加权或降权修正；其中，用户具备的能力标签对应的权重的计算公式为：count为短话题文本所对应用户被分到能力标签映射集中相关分组的总次数，所述能力标签映射集是指与所述短话题文本所对应用户的能力标签具有关联关系的标签集合；为所述短话题文本设置对应的加权或降权修正后的能力标签。

优选的，构建所述短话题文本所对应用户具备的能力标签及其对应的权重的方法，具体包括：利用能力标签映射集、以及其他用户对所述短话题文本所对应用户的分组信息，构建出所述短话题文本所对应用户具备的能力标签及其对应的权重。

优选的，所述为短话题文本设置对应的能力标签，具体包括：利用确定出的能力标签所对应用户的话题标签及其对应的权重，对所述短话题文本对应的能力标签进行加权或降权修正；其中，话题标签对应的权重的计算公式为：Weight_lable＝0.4*C_lable+0.6*Avg_lable，其中，Weight_lable表示话题标签对应的能力标签集中相应的能力标签的权重值，C_lable表示每个话题标签对应能力标签频次归一化到0—100的结果，Avg_lable表示相应的能力标签的平均权重；为所述短话题文本设置对应的加权或降权修正后的能力标签。

优选的，所述利用确定出的能力标签所对应用户的话题标签及其对应的权重，对所述短话题文本对应的能力标签进行加权或降权修正，具体包括：利用确定出的所述能力标签所对应用户的话题标签作为训练集，使用贝叶斯分类器或标签传播算法LPA，对所述短话题文本对应的能力标签进行加权或降权修正。

对应于上述方法实施例，如图2所示，为本发明实施例一种基于社交网络的短话题文本识别装置结构示意图，所述基于社交网络的短话题文本识别装置包括：

接收单元21，用于接收基于社交网络的短话题文本；

获取单元22，用于获取所述短话题文本的话题关键词；

映射单元23，用于根据所述短话题文本的话题关键词，利用预设的所述社交网络的话题关键词与能力标签的映射关系，确定所述短话题文本对应的能力标签；

标签单元24，用于为所述短话题文本设置对应的能力标签。

优选的，如图3所示，为本发明实施例另一种基于社交网络的短话题文本识别装置结构示意图，所述基于社交网络的短话题文本识别装置不但包括：接收单元21、获取单元22、映射单元23和标签单元24，还包括：第一修正单元25，用于利用预先构建的所述短话题文本所对应用户具备的能力标签及其对应的权重，对确定出的所述短话题文本对应的能力标签进行加权或降权修正；其中，用户具备的能力标签对应的权重的计算公式为：count为短话题文本所对应用户被分到能力标签映射集中相关分组的总次数，所述能力标签映射集是指与所述短话题文本所对应用户的能力标签具有关联关系的标签集合；所述标签单元24，具体用于为所述短话题文本设置对应的加权或降权修正后的能力标签。

优选的，所述基于社交网络的短话题文本识别装置还包括：构建单元26，用于利用能力标签映射集、以及其他用户对所述短话题文本所对应用户的分组信息，构建出所述短话题文本所对应用户具备的能力标签及其对应的权重。

优选的，所述基于社交网络的短话题文本识别装置还包括：第二修正单元27，还用于利用确定出的能力标签所对应用户的话题标签及其对应的权重，对所述短话题文本对应的能力标签进行加权或降权修正；其中，话题标签对应的权重的计算公式为：Weight_lable＝0.4*C_lable+0.6*Avg_lable，其中，Weight_lable表示话题标签对应的能力标签集中相应的能力标签的权重值，C_lable表示每个话题标签对应能力标签频次归一化到0—100的结果，Avg_lable表示相应的能力标签的平均权重；所述标签单元24，具体用于为所述短话题文本设置对应的加权或降权修正后的能力标签。

优选的，所述第二修正单元27，具体用于利用确定出的所述能力标签所对应用户的话题标签作为训练集，使用贝叶斯分类器或标签传播算法LPA，对所述短话题文本对应的能力标签进行加权或降权修正。

本发明应用实例首先基于社交网络，构建用户的能力标签；接下来基于能力标签圈定相关用户在某一时间窗口下的短话题文本内容，建立话题和能力标签的映射关系，在接下来的分类识别过程中，结合用户的能力标签、话题与能力标签的映射关系及关键字特征等信息，进行短话题文本的分类。

首先，可以构建用户的能力标签：基于用户的被分组信息和能力标签映射集，构建用户的能力标签。其次，将话题信息映射到能力标签：分析用户近半年的带话题的原创博文，结合用户的能力标签，建立话题与能力标签之间的映射关系。最后，短话题文本分类识别：基于上一步骤构建的话题与能力标签之间的映射关系，同时结合用户的能力标签和其他关键字特征，利用分类模型为短话题文本打上对应的标签信息。以下进行详述：

一、构建用户的能力标签

在微博等社交网络中，粉丝对于用户的分组信息体现出了该用户所具备的能力标签。利用已经构建好的能力标签映射集，结合粉丝对于用户的分组信息，我们可以构建出用户的能力标签及其对应的权重。

具体的能力标签的权重计算公式为：

$\frac{200}{1+e^{-0.5\×count}}-100$ (公式1)

其中，count为用户被分到能力标签映射集中相关分组的总次数

表1：用户能力标签表

二、将话题信息映射到能力标签

选取能力标签下的对应的能力用户的带话题的博文，对博文预处理后，提取其中的话题信息，对选定话题而言，根据讨论数、讨论人数、阅读数、阅读数设计规定的阈值，从而筛选出有意义的话题，选取以下特征作为话题的描述：

(1)话题主持人对应的能力标签。

(2)统计参与话题讨论的用户的能力标签频次以及权重的平均值，分别取出排名靠前的前20％的能力标签和权重的平均值，标签频次归一化后，对话题对应的能力标签集，按以下公式得出相应能力标签的关权重。

Weight_lable＝0.4*C_lable+0.6*Avg_lable(2)

其中Weight_lable表示话题对应的能力标签集中的相应的能力标签的权重值，C_lable表示每个话题对应能力标签频次归一化到0—100的结果，Avg_lable表示相应的能力标签的平均权重。

(3)对指定话题，选取(2)结果中排名靠前的前20％能力标签下能力用户所发布的含有该话题的博文，统计对其有转发、评论、赞、浏览行为的用户的能力标签，归一化后给出对标签的排名。

(4)对话题文本进行文本特征提取。

(5)根据以上特征，基于一批已知的话题标签作为训练集，使用贝叶斯分类器或标签传播算法(LPA)，对新的话题分类，找到最有可能的标签并进行标注。对话题标签标注后示例结果如下：

话题名称	能力标签	综合权重
			#上证快讯#	财经	88.14
#北京田径世锦赛#	体育	94.31

表2：话题到能力标签的映射表

三、短话题文本分类识别

接收基于一社交网络的短话题文本；获取所述短话题文本的话题关键词；根据所述短话题文本的话题关键词，利用预设的所述社交网络的话题关键词与能力标签的映射关系，获取所述短话题文本对应的能力标签；为所述短话题文本打上对应的能力标签。

对传统短文本分类结果的基础上，引入用户的能力标签和话题的标签信息进行加权或降权，下表3列出了医疗领域两条博文的领域相关度计算结果：

表3：短话题文本相关度结果

与现有技术相比，针对短话题文本分类识别，如果采用传统的短文本分类，由于内容有限，会造成准确率和覆盖率偏低，本发明实施例引入话题，并将话题同能力标签映射后，同时引入发布者的能力标签，能有效提高短话题文本分类的准确率和覆盖率。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrativelogicalblock)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrativecomponents)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于社交网络的短话题文本识别方法，其特征在于，包括：

接收基于社交网络的短话题文本；

获取所述短话题文本的话题关键词；

根据所述短话题文本的话题关键词，利用预设的所述社交网络的话题关键词与能力标签的映射关系，确定所述短话题文本对应的能力标签；

为所述短话题文本设置对应的能力标签。

2.如权利要求1所述基于社交网络的短话题文本识别方法，其特征在于，所述为短话题文本设置对应的能力标签，具体包括：

利用预先构建的所述短话题文本所对应用户具备的能力标签及其对应的权重，对确定出的所述短话题文本对应的能力标签进行加权或降权修正；其中，用户具备的能力标签对应的权重的计算公式为：count为短话题文本所对应用户被分到能力标签映射集中相关分组的总次数，所述能力标签映射集是指与所述短话题文本所对应用户的能力标签具有关联关系的标签集合；

为所述短话题文本设置对应的加权或降权修正后的能力标签。

3.如权利要求2所述基于社交网络的短话题文本识别方法，其特征在于，构建所述短话题文本所对应用户具备的能力标签及其对应的权重的方法，具体包括：

利用能力标签映射集、以及其他用户对所述短话题文本所对应用户的分组信息，构建出所述短话题文本所对应用户具备的能力标签及其对应的权重。

4.如权利要求1所述基于社交网络的短话题文本识别方法，其特征在于，所述为短话题文本设置对应的能力标签，具体包括：

利用确定出的能力标签所对应用户的话题标签及其对应的权重，对所述短话题文本对应的能力标签进行加权或降权修正；其中，话题标签对应的权重的计算公式为：Weight_lable＝0.4*C_lable+0.6*Avg_lable，其中，Weight_lable表示话题标签对应的能力标签集中相应的能力标签的权重值，C_lable表示每个话题标签对应能力标签频次归一化到0—100的结果，Avg_lable表示相应的能力标签的平均权重；

为所述短话题文本设置对应的加权或降权修正后的能力标签。

5.如权利要求4所述基于社交网络的短话题文本识别方法，其特征在于，所述利用确定出的能力标签所对应用户的话题标签及其对应的权重，对所述短话题文本对应的能力标签进行加权或降权修正，具体包括：

利用确定出的所述能力标签所对应用户的话题标签作为训练集，使用贝叶斯分类器或标签传播算法LPA，对所述短话题文本对应的能力标签进行加权或降权修正。

6.一种基于社交网络的短话题文本识别装置，其特征在于，包括：

接收单元，用于接收基于社交网络的短话题文本；

获取单元，用于获取所述短话题文本的话题关键词；

映射单元，用于根据所述短话题文本的话题关键词，利用预设的所述社交网络的话题关键词与能力标签的映射关系，确定所述短话题文本对应的能力标签；

标签单元，用于为所述短话题文本设置对应的能力标签。

7.如权利要求6所述基于社交网络的短话题文本识别装置，其特征在于，所述基于社交网络的短话题文本识别装置还包括：

第一修正单元，用于利用预先构建的所述短话题文本所对应用户具备的能力标签及其对应的权重，对确定出的所述短话题文本对应的能力标签进行加权或降权修正；其中，用户具备的能力标签对应的权重的计算公式为：count为短话题文本所对应用户被分到能力标签映射集中相关分组的总次数，所述能力标签映射集是指与所述短话题文本所对应用户的能力标签具有关联关系的标签集合；以及，

所述标签单元，具体用于为所述短话题文本设置对应的加权或降权修正后的能力标签。

8.如权利要求7所述基于社交网络的短话题文本识别装置，其特征在于，所述基于社交网络的短话题文本识别装置还包括：

构建单元，用于利用能力标签映射集、以及其他用户对所述短话题文本所对应用户的分组信息，构建出所述短话题文本所对应用户具备的能力标签及其对应的权重。

9.如权利要求6所述基于社交网络的短话题文本识别装置，其特征在于，所述基于社交网络的短话题文本识别装置还包括：

第二修正单元，还用于利用确定出的能力标签所对应用户的话题标签及其对应的权重，对所述短话题文本对应的能力标签进行加权或降权修正；其中，话题标签对应的权重的计算公式为：Weight_lable＝0.4*C_lable+0.6*Avg_lable，其中，Weight_lable表示话题标签对应的能力标签集中相应的能力标签的权重值，C_lable表示每个话题标签对应能力标签频次归一化到0—100的结果，Avg_lable表示相应的能力标签的平均权重；以及，

所述标签单元，具体用于为所述短话题文本设置对应的加权或降权修正后的能力标签。

10.如权利要求9所述基于社交网络的短话题文本识别装置，其特征在于，所述第二修正单元，具体用于利用确定出的所述能力标签所对应用户的话题标签作为训练集，使用贝叶斯分类器或标签传播算法LPA，对所述短话题文本对应的能力标签进行加权或降权修正。