CN103258002A - 一种社交网络的有效信息提取方法 - Google Patents

Abstract

本发明基于社交网络的内在特性，提出了基于有效性过滤的真实信息提取方法，检测处理中基于用户信息建立了有效的二次特征，并经多层规则评判。计算时都采用线性复杂度的算法进行分析，计算资源需求小，具有较低的时间和空间代价；提取过程采用基于线性的计算方式对数据进行快速计算，计算代价很低，最终转发记录的用有效性得分来度量是否保留此记录，有很强的可说明性。此信息提取方式在现实中更具实用价值。本发明有效实现了对社交网络的海量的评论信息的有效性分析，能够过滤各主题的低质量信息，并保留真实有效的信息以供后续分析使用。

Description

一种社交网络的有效信息提取方法

技术领域

本发明涉及一种多入度多出度的网络信息转发的真实信息提取方法，属于社交网络数据挖掘的技术应用领域。

背景技术

随着信息技术的发展，社交网络作为一种重要高效的信息传递平台，参与其中的人员越来越多。通过这个平台，个人可在网络中拓展人脉、获取信息，而企业主要关注点在于找到消费者，并能分析消费者，了解消费者，与消费者达到最简洁快速的沟通。企业通过数据分析找到消费者所在的圈子，倾听这个圈子的声音，并通过意见领袖让企业想传达的信息进一步扩大，辐射整个圈子，最终从而吸纳更多的忠实消费者。

企业进行信息评估时，主要基于社交网络上的各种转发和评论信息，这些对企业的价值是巨大的，对这些数据加以分析，可助于改进现有产品及更好的定位未来的产品走向。然而对社交网络的信息分析存在固有的难题，首先是社交网络中充斥着虚假信息与低质量信息，统一的对所有信息进行观测理解，无法反映真实的问题；其次由于参与的人员众多，导致信息是无界的，信息可以在网络中无限扩展，甚至最后影响到现实，如此海量的原始信息难以完全理解和有效抽取，最终用以辅助决策。如何去找到这些信息点位，用以扩大品牌正面声量、减少并消除负面声量成为企业在社会化营销中制胜的关键，而实际可用的社交网络有效信息的提取方法能给企业带来确实的帮助。

发明内容

本发明是为了解决现有社交网络低质量信息过多的难题，提供了一种社交网络的有效信息的提取方法。

本发明所述低质信息过滤方法，它包括以下步骤：

步骤一：获取欲分析的某条已发布的微博信息的所有G个的转发及评论的相关记录，P_k表示第k个转发的相关记录，G为大于或等于800的整数，k＝1，2，3……G；P_k＝{id_k，ct_k，prg_k，prf_k，prw_k}，即P_k中包含了id_k，ct_k，prg_k，prf_k，prw_k，分别为此第k个转发的转发人的id，评论的文字内容，此转发用户的关注总人数、粉丝总人数、自己发布的微博总条数；同时设定单信息重复阈值系数β，0＜β＜0.005；

步骤二：根据G个转发的相关记录信息，提取所有转发记录的特征量集合，用PF_k(l)表示第k个转发记录的第l个的特征量，其中l＝1，2，3，4，具体各PF_k(l)计算如下：

$P{F}_k\left(l\right)=\left\{\begin{array}{c}{\mathrm{prf}}_k,l=1\\ {\mathrm{prg}}_k,l=2\\ \frac{{\mathrm{prf}}_k}{\mathrm{pr}{g}_k},l=3\\ \frac{{\mathrm{prw}}_k}{\mathrm{pr}{f}_k},l=4\end{array}\right.$

步骤三：根据所有转发的记录的特征量集合PF_p，p＝1，2，3，...，G，对这些记录进行质量判定，得出质量评分Sc(p)，p＝1，2，3，...，G；

P_k的质量得分Sc(k)计算方式如下所示：

步骤四：对所有转发的记录，根据转发的用户id，分析各记录的重复规避评分Ss(p)，p＝1，2，3，...，G；

P_k的Ss(k)得分计算方式如下：

$\mathrm{Ss}\left(k\right)=\left\{\begin{array}{c}0,\&Exists;({\mathrm{id}}_k={\mathrm{id}}_a={\mathrm{id}}_b={\mathrm{id}}_c={\mathrm{id}}_d),1\&le;a<b<c<d\&le;G\\ \text{1,other}\end{array}\right.$

步骤五：对所有转发记录的评论内容，根据评论的字面内容ct_k，分析各记录的独立性评分St(p)，p＝1，2，3，...，G；

P_k的St(k)得分计算方式如下：

步骤六：根据所有记录的质量评分、重复规避评分、独立评分，计算各记录的有效性S(p)，p＝1，2，3，...，G。

P_k的有效性S(k)计算方式如下：

S(k)＝Sc(k)*Ss(k)*St(k)

步骤七：将S(k)为0的转发和评论记录P_k删除，剩余记录即为抽取出来的有效信息。

本发明的优点是：本发明基于社交网络的内在特性，提出了基于有效性过滤的真实信息提取方法，检测处理中基于用户信息建立了有效的二次特征，并经多层规则评判。计算时都采用线性复杂度的算法进行分析，计算资源需求小，具有较低的时间和空间代价；提取过程采用基于线性的计算方式对数据进行快速计算，计算代价很低，最终转发记录的用有效性得分来度量是否保留此记录，有很强的可说明性。此信息提取方式在现实中更具实用价值。

本发明有效实现了对社交网络的海量的评论信息的有效性分析，能够过滤各主题的低质量信息，并保留真实有效的信息以供后续分析使用。

附图说明

图1为本发明检测方法的流程图。

具体实施方式

具体实施方式一：下面结合图1说明本实施方式，本实施方式所述一种社交网络的有效信息提取的方法，它包括以下步骤：

步骤一：获取欲分析的某条已发布的微博信息的所有G个的转发及评论的相关记录，P_k表示第k个转发的相关记录，G为大于或等于800的整数，k＝1，2，3……G；P_k＝{id_k，ct_k，prg_k，prf_k，prw_k}，即P_k中包含了id_k，ct_k，prg_k，prf_k，prw_k，分别为此第k个转发的转发人的id，评论的文字内容，此转发用户的关注总人数、粉丝总人数、自己发布的微博总条数；同时设定单信息重复阈值系数β，0＜β＜0.005；

步骤二：根据G个转发的相关记录信息，提取所有转发记录的特征量集合，用PF_k(l)表示第k个转发记录的第l个的特征量，其中l＝1，2，3，4，具体各PF_k(l)计算如下：

$P{F}_k\left(l\right)=\left\{\begin{array}{c}{\mathrm{prf}}_k,l=1\\ {\mathrm{prg}}_k,l=2\\ \frac{{\mathrm{prf}}_k}{\mathrm{pr}{g}_k},l=3\\ \frac{{\mathrm{prw}}_k}{\mathrm{pr}{f}_k},l=4\end{array}\right.;$

步骤三：根据所有转发的记录的特征量集合PF_p，p＝1，2，3，...，G，对这些记录进行质量判定，得出质量评分Sc(p)，p＝1，2，3，...，G；

P_k的质量得分Sc(k)计算方式如下所示：

步骤四：对所有转发的记录，根据转发的用户id，分析各记录的重复规避评分Ss(p)，p＝1，2，3，...，G；

P_k的Ss(k)得分计算方式如下：

$\mathrm{Ss}\left(k\right)=\left\{\begin{array}{c}0,\&Exists;({\mathrm{id}}_k={\mathrm{id}}_a={\mathrm{id}}_b={\mathrm{id}}_c={\mathrm{id}}_d),1\&le;a<b<c<d\&le;G\\ \text{1,other}\end{array}\right.$

步骤五：对所有转发记录的评论内容，根据评论的字面内容ct_k，分析各记录的独立性评分St(p)，p＝1，2，3，...，G；

P_k的St(k)得分计算方式如下：

步骤六：根据所有记录的质量评分、重复规避评分、独立评分，计算各记录的有效性S(p)，p＝1，2，3，...，G。

P_k的有效性S(k)计算方式如下：

S(k)＝Sc(k)*Ss(k)*St(k)

步骤七：将S(k)为0的转发和评论记录P_k删除，剩余记录即为抽取出来的有效信息。

Claims (3)

1.一种社交网络有效信息的提取方法，其特征在于：它包括以下步骤： 

步骤一：获取欲分析的某条已发布的微博信息的所有G个的转发及评论的相关记录，P_k表示第k个转发的相关记录，G为大于或等于800的整数，k＝1，2，3……G；P_k＝{id_k，ct_k，prg_k，prf_k，prw_k}，即P_k中包含了id_k，ct_k，prg_k，prf_k，prw_k，分别为此第k个转发的转发人的id，评论的文字内容，此转发用户的关注总人数、粉丝总人数、自己发布的微博总条数；同时设定单信息重复阈值系数β，0＜β＜0.005； 

步骤二：根据G个转发的相关记录信息，提取所有转发记录的特征量集合，用PF_k(l)表示第k个转发记录的第l个的特征量，其中l＝1，2，3，4； 

步骤三：根据所有转发的记录的特征量集合PF_p，p＝1，2，3，...，G，对这些记录进行质量判定，得出质量评分Sc(p)，p＝1，2，3，...，G； 

P_k的质量得分Sc(k)计算方式如下所示： 

步骤四：对所有转发的记录，根据转发的用户id，分析各记录的重复规避评分Ss(p)，p＝1，2，3，...，G； 

P_k的Ss(k)得分计算方式如下： 

步骤五：对所有转发记录的评论内容，根据评论的字面内容ct_k，分析各记录的独立性评 分St(p)，p＝1，2，3，...，G； 

P_k的St(k)得分计算方式如下： 

步骤六：根据所有记录的质量评分、重复规避评分、独立评分，计算各记录的有效性S(p)，p＝1，2，3，...，G。 

步骤七：将S(k)为0的转发和评论记录P_k删除，剩余记录即为抽取出来的有效信息。 

2.根据权利要求1所述的社交网络有效信息的提取方法，其特征在于：所述步骤二中用PF_k(l)表示第k个转发记录的第l个的特征量，其中l＝1，2，3，4，PF_k(l)的获得方法为： 

。

3.根据权利要求2所述的社交网络有效信息的提取方法，其特征在于：所述步骤六中每个P_k的有效性S(k)的获得方法如下： 

S(k)＝Sc(k)*Ss(k)*St(k) 。

Images