CN103544289A - 基于布控数据挖掘实现特征提取的方法 - Google Patents

Abstract

本发明涉及一种基于布控数据挖掘实现特征提取的方法，所述的方法包括获取即时通讯工具中的布控数据；对具有同一IP地址的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系；对各个即时通讯帐号的密码数据进行分析得到帐号之间的密码关系；对各个即时通讯帐号的行为数据进行分析得到帐号之间的行为关系；根据各个即时通讯帐号的IP地址、帐号之间的时间关系、密码关系和行为关系进行综合分析得出各个即时通讯帐号之间的同人关系值。采用该种基于布控数据挖掘实现特征提取的方法，可以实现有效识别多个即时通讯帐号是否属于一个人，关联分析聊天记录数据，在海量数据中进行特征提取，方法应用简便，具有更广泛的应用范围。

Description

基于布控数据挖掘实现特征提取的方法

技术领域

本发明涉及计算机领域，尤其涉及计算机数据分析领域，具体是指一种基于布控数据挖掘实现特征提取的方法。

背景技术

目前即时聊天工具已经成为人们生活中不可或缺的一部分，即时聊天工具已经成为人们远程沟通交流的主要手段。即时通信工具的历史记录里内含的各种数据，可以使用数据挖掘的方法进行特征提取。通过对特征提取的数据进行关联分析，可以挖掘出相关人物之间的特征关系。现有技术中针对即时聊天内容的分析主要还是以人工查看为主，不仅耗时费力而且还很容易遗漏重要相关信息，没有成熟的技术方法来解决这个问题。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现有效识别多个即时通讯帐号是否属于一个人、关联分析聊天记录数据、在海量数据中进行特征提取的基于布控数据挖掘实现特征提取的方法。

为了实现上述目的，本发明的基于布控数据挖掘实现特征提取的方法具有如下构成：

该基于布控数据挖掘实现特征提取的方法，其主要特点是，所述的布控数据包括即时通讯帐号以及各个即时通讯帐号的IP地址、在线时间、密码数据和行为数据，所述的方法包括以下步骤：

（1）获取即时通讯工具中的布控数据；

（2）对具有同一IP地址的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系；

（3）对各个即时通讯帐号的密码数据进行分析得到帐号之间的密码关系；

（4）对各个即时通讯帐号的行为数据进行分析得到帐号之间的行为关系；

（5）根据各个即时通讯帐号的IP地址、帐号之间的时间关系、密码关系和行为关系进行综合分析得出各个即时通讯帐号之间的同人关系值。

较佳地，所述的对具有同一IP地址的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系，包括以下步骤：

（21）从所述的布控数据中过滤出具有相同IP地址的不同即时通讯帐号；

（22）对同一IP地址具有的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系。

更佳地，所述的对同一IP地址具有的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系，包括以下步骤：

（221）对同一IP地址具有的任两个即时通讯帐号的登录时间和退出时间区间的重合度分析得到支持度，所述的支持度为两个即时通讯帐号都发生过登录状态在给定天数内的数据集的频繁程度值；

（222）对同一IP地址具有的任两个即时通讯帐号的登录时间和退出时间区间的重合度分析得到重合可信度，所述的重合可信度为两个帐号同时登录的频繁程度值；

（223）根据同一IP地址的不同即时通讯账号的支持度和重合可信度分析得出帐号之间的时间关系。

更佳地，所述的根据各个即时通讯帐号的IP地址、帐号之间的时间关系、密码关系和行为关系进行综合分析得出各个即时通讯帐号之间的同人关系值，包括以下步骤：

（51）对具有相同IP地址的不同即时通讯帐号之间的时间关系、密码关系和行为关系进行分析得出各个即时通讯帐号之间的同人关系值；

（52）对具有不同IP地址的各个即时通讯帐号之间的IP地址、密码关系和行为关系进行分析得出各个即时通讯帐号之间的同人关系值。

较佳地，所述的各个即时通讯帐号的行为数据包括各个即时通讯帐号的好友数据和聊天记录数据，所述的对各个即时通讯帐号的行为数据进行分析得到帐号之间的行为关系，包括以下步骤：

（41）对各个即时通讯帐号的好友数据进行分析得出帐号之间的好友关系；

（42）对各个即时通讯帐号的聊天记录数据进行分析得出帐号之间的收发内容相似度；

（43）对各个即时通讯帐号之间的好友关系和收发内容相似度进行分析得出帐号之间的行为关系。

更佳地，所述的对各个即时通讯帐号的聊天记录数据进行分析得出帐号之间的收发内容相似度，包括以下步骤：

（421）对各个即时通讯帐号的聊天记录数据进行文本挖掘并提取关键词；

（422）对各个即时通讯帐号的聊天记录数据中关键词之间的相关度进行分析得出帐号之间的收发内容相似度。

采用了该发明中的基于布控数据挖掘实现特征提取的方法，可以实现通过即时通信通讯软件的登录信息和登录轨迹来判断登录的多个虚拟账户是否属于同一人员，提出STFFS（同人，时间，朋友，频率，序列）数据挖掘的人物特征提取方法，快速的在海量数据中进行特征提取，方法应用简便，具有更广泛的应用范围。

附图说明

图1为本发明的基于布控数据挖掘实现特征提取的方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明进行分析的基础为布控数据，而布控数据即为虚拟身份在即时通讯工具中登录的如下轨迹信息项：

虚拟身份ID，即即时通讯帐号；

虚拟身份口令，即即时通讯帐号对应的密码；

ADSL IP地址，即各个即时通讯帐号登录的IP地址；

ADSL地理地址；

登录时间；

在线时长；

登出时间；

好友列表和聊天记录，即即时通讯帐号的行为数据。

本发明的同人登录判断问题定义及数据格式如下：

从布控数据上来看，许多被布控人员人会申请多个即时通讯工具（Instant Messaging，IM）账号来方便与不同的人员进行通信。因此识别出多个IM账号是否属于同一个人员可以有效关联聊天记录内容，协同定位布控人员，帮助分析布控人员行为。

本实施例中目前收集到布控数据有：IM登录日志、IM聊天记录。

IM登录日志格式：

布控IM号码

登录IP

登录时间

退出时间

在线时长（小时）

好友列表

IM聊天记录格式：

源号码

源昵称

源IP

目的号码

目的昵称

目的IP

时间

内容

为了判断同人登录多个IM账号，如图1所示，本实施例中分为两种情况来分别讨论：

相同IP登录多个IM账号和不同IP登录不同的IM账号。

首先对布控收集到的数据进行二元化处理，即将每条数据的用二元形式表示，其中每行对应一个事务，而每列对应一个项。项可以用二元变量表示，如果项在事务中出现则它的值为1，否则为0。因为通常项在事务中出现比不出现更重要，因此像是非对称二元变量。

1、相同IP登录多个IM账号方法描述：该情况即在相同IP登录多个IM账号，通过以下几个步骤来分析：

（1）获取即时通讯工具中的布控数据；

（21）IP地址过滤，从所述的布控数据中过滤出具有相同IP地址的不同即时通讯帐号。

根据布控IM登录日志的IP地址，过滤出含有相同IP地址的不同IM账号，获取每个IP地址包含的IM账户。算法新建一个键（Key）-数组（Array）对应的数据结构。其中键为IP地址，数组中存放了在该IP地址登录过的IM账号。

｛Key,Array｝→｛IP地址，IM账号数组｝；

（22）登录时间匹配，对同一IP地址具有的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系。

考虑到目前通过ADSL联网的用户可以通过路由器路由实现多人上网，而对外IP是同一个IP，因此单纯对该登录时间的匹配建立的同人关系是弱的。

通过分析IM账号登录和退出时间区间的重合度，建立支持度（Support）、时间重合可信度（Confidence）来确定弱同人关系（Weak-Relation）。

假定I=｛i₁，i₂，…，i_d｝是IM每天登录该IP地址的时间段的集合，T=｛t₁，t₂，…，t_N｝是所有该IP登录的IM的集合，定义X的支持度技术б（X）表示为：

∪∈б（X）=|｛t_i|X属于t_i，t_i∈T｝|

符号|·|表示集合中元素的个数。假定有对应IP地址有一个有A和B这2个IM账号，他们的登录日志情况如下（1表示登录过，0表示当天没登录过）：

TID（N天）	IM账号A	IM账号B
			1	1	0
2	0	1
			3	1	1
4	1	0

5	1	1
			6	1	1
7	1	1

支持度（S）定义为相同2个IM都发生过登录状态在给定天数内的数据集的频繁程度，公式定义如下：

$S(A\→B)=\frac{\mathrm{\σ}(A\∪B)}{N}$

重合可信度（C）定义为账号B在账号A登录中出现的频繁程度，公式定义如下：

$C(A\→B)=\frac{\mathrm{\σ}(A\∪B)}{\mathrm{\σ}\left(A\right)}$

考虑上图数据，支持度为4/7=0.57，重合可信度为4/6=0.67。

考虑到某些版本IM是支持多重登录的，所以可以考虑当2个账号同时登录时，是相同人员或仅在一个内网的（是同人还是同网不同人可以通过后续算法判断）的概率比较大。

现在再加入每天登录时间段重叠区间次数作为权重值来计算重叠登录的频繁公式，以如下表格为例。

TID（N天）	IM账号A登录次数	IM账号B登录次数	重叠登录次数
				1	3	0	0
2	0	3	0
				3	5	4	3
4	4	0	0
				5	2	2	2
6	3	5	3
				7	3	4	2

增加权重以后支持度为10/28=0.36，重合可信度为10/13=0.77

（3）登录密码匹配，对各个即时通讯帐号的密码数据进行分析得到帐号之间的密码关系。

通过过滤布控的IM登录密码，过滤含有相同密码的不同IM账号。因为在相同的IP登录，所以将这些密码重复的IM建立强同人关系（Strong-Relation）。

（41）好友匹配，对各个即时通讯帐号的好友数据进行分析得出帐号之间的好友关系。

通过分析IM好友列表中的相同好友频繁项，来建立好友关系网，来建立弱同人关系（Weak-Relation）。考虑到该步骤的结果比较弱，本步骤分析的结果可以通过下面的聊天内容分析做进一步支持。

（42）聊天内容分析，对各个即时通讯帐号的聊天记录数据进行分析得出帐号之间的收发内容相似度。

根据在以上步骤获取到的IM账号及好友列表，查找对应的聊天记录内容。建立关键词分词表，通过文本挖掘来确立行为关系。以下假设几种常见的聊天场景。

场景一：同人传给多人

在这种场景下，我们以传播银行帐号为例，有如下传播路径：

账户A发送给账户B的聊天内容包括关键词:银行帐号，汇款；

账户A发送给账户C的聊天内容包括关键词:银行帐号，汇款。

则我们可以假设账户A是一个经济诈骗或者是骗子在实施诈骗受害者，提供银行账号给账户B和账户C，引诱B和C汇款。此时B和C属于受害人的可能性比较高。

推断出账户A是上游、主犯、受害人或其他；账户B和账户C是平等关系，是受害人、同伙、或是其他。

我们列出可能的几种情况：

关键词	发送账户A	接收账户B	接收账户C
				银行帐号、汇款	主犯	受害人	受害人
卖毒品	上游主犯	从犯同伙	从犯同伙
				小额贷款	主犯	受害人	受害人

场景二：上下游连续传递

在这种场景下，我们以传播黑话为例，有如下传播路径：

账户A发送给账户B的聊天内容包括关键词:黑话；

账户B发送给账户C的聊天内容包括关键词:黑话。

则我们可以假设账户A到账户B到账户C出于某种目的在传达一个事件，因此他们存在上下游关系。

场景三：陌生人传递

在这种场景下，我们以传播相同的一个银行账户为例，有如下传播路径：

账户A发送给账户B的聊天内容包括关键词:银行账户；

账户C发送给账户D的聊天内容包括关键词:银行账户。

则可以假设推断出账户A和账户C可能是同伙，或者可能是同人。

通过好友匹配和聊天内容传播关系的弱同人关系可以得到一个强同人关系（Strong-Relation），综合评估以上三种同人关系来得出判定结果。

本方法的伪代码实现如下：

算法1相同IP登录多个IM账号算法的频繁项集产生

函数apriori-gen通过如下2个操作来产生候选项集：

候选项集的产生。该操作由前一次迭代发现的频繁（k-1）-项集产生新的候选k-项集。

候选项集的剪枝。该操作采用基于支持度的剪枝策略，删除一些候选k-项集。

算法2相同IP登录多个IM账号算法

2、不同IP登录不同的IM账号算法描述

在不同IP登录的不同IM账号，要判断是否属于同一个用户，主要通过以下步骤分析：

（1）获取即时通讯工具中的布控数据；

（3）通过过滤布控的IM登录密码，过滤含有相同密码的不同IM账号。因为在不同的IP登录，所以将这些密码重复的IM建立弱同人关系（Weak-Relation）；

（41）通过分析IM好友列表中的相同好友频繁项，来建立好友关系网，来建立弱同人关系（Weak-Relation）。考虑到该步骤的结果比较弱，本步骤分析的结果可以通过下面的聊天内容分析做进一步支持。

（42）根据在步骤1获取到的IM账号，查找对应的聊天记录内容。建立关键词分词表，通过文本挖掘来确立行为关系。

通过步骤（41）和步骤（42）的弱同人关系可以得到一个强同人关系（Strong-Relation），综合评估以上两种同人关系来得出判定结果。

伪代码实现如下：

算法3不同IP登录不同IM账号算法

采用了该发明中的基于布控数据挖掘实现特征提取的方法，可以实现通过即时通信通讯软件的登录信息和登录轨迹来判断登录的多个虚拟账户是否属于同一人员，提出STFFS数据挖掘的人物特征提取方法，快速的在海量数据中进行特征提取，方法应用简便，具有更广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种基于布控数据挖掘实现特征提取的方法，其特征在于，所述的布控数据包括即时通讯帐号以及各个即时通讯帐号的IP地址、在线时间、密码数据和行为数据，所述的方法包括以下步骤：

（1）获取即时通讯工具中的布控数据；

（2）对具有同一IP地址的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系；

（3）对各个即时通讯帐号的密码数据进行分析得到帐号之间的密码关系；

（4）对各个即时通讯帐号的行为数据进行分析得到帐号之间的行为关系；

（5）根据各个即时通讯帐号的IP地址、帐号之间的时间关系、密码关系和行为关系进行综合分析得出各个即时通讯帐号之间的同人关系值。

2.根据权利要求1所述的基于布控数据挖掘实现特征提取的方法，其特征在于，所述的对具有同一IP地址的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系，包括以下步骤：

（21）从所述的布控数据中过滤出具有相同IP地址的不同即时通讯帐号；

（22）对同一IP地址具有的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系。

3.根据权利要求2所述的基于布控数据挖掘实现特征提取的方法，其特征在于，所述的对同一IP地址具有的不同即时通讯帐号的在线时间进行分析得到帐号之间的时间关系，包括以下步骤：

（221）对同一IP地址具有的任两个即时通讯帐号的登录时间和退出时间区间的重合度分析得到支持度，所述的支持度为两个即时通讯帐号都发生过登录状态在给定天数内的数据集的频繁程度值；

（222）对同一IP地址具有的任两个即时通讯帐号的登录时间和退出时间区间的重合度分析得到重合可信度，所述的重合可信度为两个帐号同时登录的频繁程度值；

（223）根据同一IP地址的不同即时通讯账号的支持度和重合可信度分析得出帐号之间的时间关系。

4.根据权利要求2所述的基于布控数据挖掘实现特征提取的方法，其特征在于，所述的根据各个即时通讯帐号的IP地址、帐号之间的时间关系、密码关系和行为关系进行综合分析得出各个即时通讯帐号之间的同人关系值，包括以下步骤：

（51）对具有相同IP地址的不同即时通讯帐号之间的时间关系、密码关系和行为关系进行分析得出各个即时通讯帐号之间的同人关系值；

（52）对具有不同IP地址的各个即时通讯帐号之间的IP地址、密码关系和行为关系进行分析得出各个即时通讯帐号之间的同人关系值。

5.根据权利要求1所述的基于布控数据挖掘实现特征提取的方法，其特征在于，所述的各个即时通讯帐号的行为数据包括各个即时通讯帐号的好友数据和聊天记录数据，所述的对各个即时通讯帐号的行为数据进行分析得到帐号之间的行为关系，包括以下步骤：

（41）对各个即时通讯帐号的好友数据进行分析得出帐号之间的好友关系；

（42）对各个即时通讯帐号的聊天记录数据进行分析得出帐号之间的收发内容相似度；

（43）对各个即时通讯帐号之间的好友关系和收发内容相似度进行分析得出帐号之间的行为关系。

6.根据权利要求5所述的基于布控数据挖掘实现特征提取的方法，其特征在于，所述的对各个即时通讯帐号的聊天记录数据进行分析得出帐号之间的收发内容相似度，包括以下步骤：

（421）对各个即时通讯帐号的聊天记录数据进行文本挖掘并提取关键词；

（422）对各个即时通讯帐号的聊天记录数据中关键词之间的相关度进行分析得出帐号之间的收发内容相似度。