CN104866558B - 一种社交网络账号映射模型训练方法及映射方法和系统 - Google Patents
一种社交网络账号映射模型训练方法及映射方法和系统 Download PDFInfo
- Publication number
- CN104866558B CN104866558B CN201510252840.1A CN201510252840A CN104866558B CN 104866558 B CN104866558 B CN 104866558B CN 201510252840 A CN201510252840 A CN 201510252840A CN 104866558 B CN104866558 B CN 104866558B
- Authority
- CN
- China
- Prior art keywords
- account
- accounts
- mapping
- combination
- microblog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 105
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 25
- 238000013145 classification model Methods 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 239000000843 powder Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 230000002411 adverse Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 244000097202 Rathbunia alamosensis Species 0.000 description 1
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000010154 cross-pollination Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种社交网络账号映射模型训练方法,包括:1)将映射关系已知的微博s账号集合中的任一个账号与微博t账号集合中的任一个账号进行两两组合构成训练集;2)对每一个账号组合提取账号组合特征向量,包括:该账号组合中两个账号各自的文本特征,两个账号在各自所属微博中的社交关系特征,以及两个账号的扩展共同邻居特征,扩展共同邻居是两个账号各自的邻居账号中,那些已知属于同一个自然人的邻居账号对;3)基于机器学习技术进行训练得到社交网络账号映射模型。本发明还提供了相应的社交网络账号映射方法及系统。本发明能够减少关系数据稀疏性对映射结果的不利影响,有效地提高社交网络账号映射的准确率。
Description
技术领域
本发明涉及社会计算领域,具体地说,本发明涉及一种社交网络账号映射方法及系统。
背景技术
如今,全球使用社交网络的人越来越多,人们通常会通过多个社交网络展开发布信息、联系他人等社交行为。不同的社交网络中,属于同一用户的多个账号大多彼此隔离,它们之间一般没有任何的连接。而这些社交网络没有统一的组织或者连通数据的合作,因此导致难以获取属于同一用户的账号集合。如果能够获取不同社交网络中属于同一用户的账号集合,就可以在如链路推荐和基于多个社交网络数据的社区分析等方面提供更有价值的服务。
目前,对账号映射问题的相关研究中,数据特征主要包括账号属性、账号社交关系和账号的操作行为三个方面的特征。其中多数相关研究依赖的数据是账号的文本数据与属性。但仅以文本或属性作为研究的数据来源是不够的,会造成数据严重的稀疏性。而作为一种新的互动工具,微博上拥有大量的互粉关系数据,可以作为账号的相关数据进行研究,不仅可以改善数据的稀疏性,还引入账号的社交特点,更易发现账号区别他人的特征。然而,如果将现有的账号映射方案直接用于跨社交网络的账号对齐中,其准确率和映射概率均存在不足。
综上所述,当前迫切需要一种能够准确实现跨社交网络的账号映射(即找出属于同一个自然人的在不同社交网络中的不同账号的映射关系)的解决方案。
发明内容
因此,本发明的任务是克服上述现有技术的缺陷,提出一种社交网络账号映射解决方案。
根据本发明的一个方面,提供了一种社交网络账号映射模型训练方法,包括下列步骤:
1)将已知映射的微博s账号集合中的任一个账号与微博t账号集合中的任一个账号进行组合,得到的h*h个账号组合构成训练集;
2)对于训练集中的每一个账号组合,提取账号组合特征向量,所述账号组合特征向量包括:该账号组合中两个账号各自的文本特征,两个账号在各自所属微博中的社交关系特征,以及两个账号的扩展共同邻居特征,扩展共同邻居是两个账号各自的邻居账号中,那些已知属于同一个自然人的邻居账号对;
3)基于机器学习技术构建分类模型,根据训练集中各个账号组合特征向量,以及训练集中各账号组合已知的映射关系正负例,对分类模型进行训练得到社交网络账号映射模型。
其中,所述两个账号的扩展共同邻居特征包括:两个账号的扩展共同邻居数量,反映两个账号的扩展共同邻居数量与两个账号的总邻居数量的比例的特征,以及反映扩展共同邻居的度的特征中的一项或多项。
其中,反映两个账号的扩展共同邻居数量与两个账号的总邻居数量的比例的特征为扩展共同邻居的Jaccard相似性系数。
其中,所述反映扩展共同邻居的度的特征为两个账号的Adamic/Adar Measure系数。
其中,所述账号组合特征向量中的文本特征包括:账号自身的发言中的高频词组特征。
其中,所述账号组合特征向量中的社交关系特征包括:以账号的互粉账号为等权值元素所构建的特征向量。
根据本发明的另一方面,提供了一种社交网络账号映射方法,包括下列步骤:
a)将两个不同微博中未映射的账号集合以及中的账号两两配对构成测试集;
b)对于测试集中的每个账号组合,提取其账号组合特征向量,所述账号组合特征向量包括:该账号组合中两个账号各自的文本特征,两个账号在各自所属微博中的社交关系特征,以及两个账号的扩展共同邻居特征,扩展共同邻居是两个账号各自的邻居账号中,那些已知属于同一个自然人的邻居账号对;
c)将所提取的账号组合特征向量输入预先训练的社交网络账号映射模型,得到分类结果,进而得出一个微博中的账号是否与另一微博中的账号映射,以及所映射的账号。
其中,所述步骤c)中,所述社交网络账号映射模型按照前述社交网络账号映射模型训练方法训练得到。
其中,所述步骤c)还包括:基于预先设定的阈值,根据账号组合的分类结果判断每个账号是否与另一微博中的账号映射以及所映射的账号。
根据本发明的又一方面,提供了一种社交网络账号映射系统,包括:
数据收集模块,用于将两个不同微博中未映射的账号集合以及中的账号两两配对构成测试集;
特征提取模块,用于提取测试集中的每一个账号组合的账号组合特征向量,所述账号组合特征向量包括:该账号组合中两个账号各自的文本特征,两个账号在各自所属微博中的社交关系特征,以及两个账号的扩展共同邻居特征,扩展共同邻居是两个账号各自的邻居账号中,那些已知属于同一个自然人的邻居账号对;
分类模块,用于将所提取的账号组合特征向量输入预先训练的社交网络账号映射模型,得到分类结果,进而得出一个微博中的账号是否与另一微博中的账号映射,以及所映射的账号。
根据本发明的又一方面,还提供了另一种社交网络账号映射系统,包括:
数据收集模块,用于将映射关系已知的微博s账号集合中的任一个账号与微博t账号集合中的任一个账号进行两两组合构成训练集;以及将映射关系未知的微博s账号集合以及微博t账号集合中的账号两两配对构成测试集;
特征提取模块,用于提取训练集和测试集中的每一个账号组合的账号组合特征向量,所述账号组合特征向量包括:该账号组合中两个账号各自的文本特征,两个账号在各自所属微博中的社交关系特征,以及两个账号的扩展共同邻居特征,扩展共同邻居是两个账号各自的邻居账号中,那些已知属于同一个自然人的邻居账号对;
训练及分类模块,用于基于机器学习技术构建分类模型,根据训练集中各个账号组合特征向量,以及训练集中各账号组合已知的映射关系正负例,对分类模型进行训练得到社交网络账号映射模型;以及将所提取的账号组合特征向量输入预先训练的社交网络账号映射模型,得到分类结果,进而得出一个微博中的账号是否与另一微博中的账号映射,以及所映射的账号。
与现有技术相比,本发明具有下列技术效果:
1、本发明能够有效提高账号映射的概率,即减少漏检率。
2、本发明能够减少关系数据稀疏性对映射结果的不利影响,有效地提高社交网络账号映射的准确率。
附图说明
以下,结合附图来详细说明本发明的实施例,其中:
图1示出了本发明一个实施例的社交网络账号映射模型训练方法的流程图;
图2示出了本发明一个实施例的社交网络账号映射方法的流程图;
图3示出了本发明一个实施例的社交网络账号映射系统的结构示意图。
具体实施方式
本发明首次提出了一种对属于同一个自然人的跨微博(即跨社交网络)的不同账号映射关系的识别方案,针对跨多个异构的社交网络特征缺乏和关系特征稀疏的问题,发明人将链路预测技术引入,通过扩展已有关系特征,综合文本特征,结合机器学习算法,实现了一种跨微博的账号映射方法和系统。
下面结合附图和实施例对本发明做进一步地描述。
图1示出了本发明一个实施例的社交网络账号映射模型训练方法的流程图,该流程包括步骤100至300:
步骤100:将跨微博的账号映射关系已知的微博数据集合作为训练集,账号映射关系未知的微博数据集合作为测试集(即待映射的数据集合)。在训练集和测试集的每个账号的微博数据中,对表征该账号与其邻居的关联关系的关系数据(即反映账号在本社交网络的社交关系的数据,例如互粉关系数据及回复数据等)与该账号的发言的文本数据进行统计,然后将训练集内的账号分别两两组合生成账号组合。现以基于两个微博所构建的账号集合的输入为例,说明本发明的微博账号的映射方法。
假设接收到两个微博待映射账号集合,其中包括n个微博s的账号,ID集合为m个微博t的账号,ID集合为在两个微博中,已知映射的账号h对,ID集合为和通过步骤100,向微博服务器采集相关数据,并将数据按账号进行整理;训练集账号组合为已知映射的账号中的一个账号与中的一个账号进行组合所得到的h*h个账号组合。
在一个实施例中,所述步骤100包括下列子步骤:
步骤101:从微博服务器的微博数据中分离出每个账号的发言的文本数据和表征该账号与其邻居的关联关系的关系数据;
步骤102:对文本数据按照账号进行重组(即每个账号的文本分别整理到该账号下),清除文本数据中干扰后续处理的噪声数据。噪声数据是指不是账号自身发言的数据,如转发的文本内容就属于噪声数据。
步骤103:从文本数据中提取有效的文本特征,并按一定规则筛选、得到文本特征向量。在一个实施例中,所提取的文本特征为文本的字的二元词条(bi-gram,即2-gram,可参考文献Brown P F,Desouza P V,Mercer R L,et al.Class-based n-gram models ofnatural language[J].Computational linguistics,1992,18(4):467-479.),统计发言文本的字bi-gram的频数后,从中选择高频的词组作为特征,低频的词组删除。将所有特征的频数归一化,得到一组文本特征,构成账号的文本特征向量。
上述的将统计的词频归一化使用下面的公式计算:
其中,tft,d表示特征t在文本d中的词频归一化后的数值,同时也是在特征向量空间中,表征文本d的向量的维度t的数值;nt表示特征t在文本d中出现的次数;Nd表示文档d中一共有的特征数量,包括特征选择筛除的特征。
步骤104:从关系数据中提取账号的社交关系特征,统计后得到关系特征向量。本文中,关系数据是指互粉关系数据。在一个实施例中,一个账号的社交关系特征是:对于该账号,将每个互粉账号分别作为一个特征,这些特征组合后得到账号的关系特征向量,其中各个互粉账号特征所对应的权值均为单位1。
步骤200:对于每对账号组合,基于社交关系数据计算账号组合内部的关联性,得出关联性特征,再结合步骤100所得的社交关系特征向量与文本特征向量,构造训练集和测试集特征向量空间。
其中,账号组合内部的具有两个来自不同微博的账号,本实施例中,这两个账号的关联性特征就是用于描述两个账号的扩展共同邻居的特征,扩展共同邻居是两个账号各自的邻居账号(即具有互粉关系的账号,下文中有时简称为邻居)中,那些已知的属于同一个自然人的邻居账号对。扩展共同邻居是根据链路预测技术所构建的概念,在账号组合内部,检测两个账号各自的互粉账号中的相同元素,即可反过来通过这些相同元素来帮助推测账号组合内部的两个原始账号之间的链接关系。因此发明人基于链路预测技术,通过从账号对已有的社交关系特征中提取跨社交网络的扩展共同邻居的特征(即关联性特征),解决了跨多个异构的社交网络特征缺乏和关系特征稀疏的问题,从而提高跨社交网络的账号映射的准确性。
在一个实施例中,所述步骤200包括下列步骤:
步骤201:基于关系数据计算扩展共同邻居个数。
例如,微博s账号集合中的一账号和微博t账号集合中的一账号构成账号组合计算账号组合扩展共同邻居个数的计算公式为
其中,表示的邻居中存在已知映射的数量,即扩展共同邻居个数,表示在s网络中的邻居集合,表示在t网络中的邻居集合。
步骤202:基于关系数据计算扩展Jaccard相似性系数。
在一个实施例中,计算扩展Jaccard相似性系数的公式为
其中,表示的扩展Jaccard相似性系数,表示两个账号之间不同的邻居的数量,表示即的扩展共同邻居个数,也就是邻居中存在已知映射的数量。
步骤203:基于关系数据计算扩展Adamic/Adar Measure。
在一个实施例中,计算扩展Adamic/Adar Measure的公式为
其中,表示的扩展Adamic/Adar Measure,表示两个账号的各自邻居之间为已知映射的账号对,该特征即是统计账号组合的邻居中所有已知映射的邻居组合中的两个账号的度的特征。
步骤204:对于每个账号组合,基于两个账号各自的文本特征、社交关系特征,以及两个账号之间的账号关联性特征,综合得到该账号组合的特征向量。
在一个实施例中,生成账号组合的特征向量的公式为
其中,表示账号组合的特征向量,表示的文本特征向量,表示的社交关系特征向量,表示的文本特征向量,表示的社交关系特征向量,表示该账号组合的关联性特征。
步骤300:基于步骤200构造的训练集的特征向量空间,利用分类算法进行模型训练。在一个实施例中,可以选择svm算法,基于账号组合的特征向量,构建以该特征向量为输入的模型函数,对于正例,将模型函数赋值为1,对于负例,将模型函数赋值为0,按照上述方法基于训练集中的账号组合对模型进行训练,即可得到跨社交网络的账号映射模型。其中,账号组合中两个账号属于同一个人的,标记该组合为正例,反之则标记为负例。需注意的是,当负例组合的数量比正例组合的数量多很多时,可按分别从训练集的账号组合内的负例组合中随机抽取与正例组合数量相匹配的组合,保证正负例的数量平衡,避免分类模型对负例过拟合。
图2示出了本发明一个实施例的社交网络账号映射方法的流程图,该流程包括步骤100至400:
步骤100:本流程中的步骤100与社交网络账号映射模型训练方法中的步骤100基本一致,区别仅在于用测试集账号组合替换训练集账号组合。仍然假设接收到两个微博待映射账号集合,其中包括n个微博s的账号,ID集合为m个微博t的账号,ID集合为在两个微博中,用中的任一个账号与中的任一个账号进行组合,即可得到m*n个账号组合,这m*n个账号组合构成测试集。
步骤200:本流程中的步骤200与社交网络账号映射模型训练方法中的步骤200一致,此处不再赘述。
步骤300:基于训练好的分类模型(即社交网络账号映射模型),对测试集的特征向量进行分类,得到测试集中每个账号组合的分类结果,分类结果表示每个账号组合被分为正例的概率。本实施例中,分类结果为跨社交网络的账号映射模型输出的分数。
步骤400:对分类结果进行聚合,推测账号映射关系。对于每个账号,根据与它相关的所有账号组合的分类结果得出它是否与另一微博中的账号映射,当它与另一微博中的账号存在映射关系时,进一步得出所映射的账号。
在一个实施例中,所述步骤400包括下列子步骤:
步骤401:将账号组合的分类结果转化为每个账号ui相映射的另一个账号集合{uk1,uk2…ukn}以及对应的映射概率{scorek1,scorek2,…,scorekn}。其中,scorek1为账号组合的分类得分,scorek2为账号组合的分类得分,……,scorekn为账号组合的分类得分。
步骤402:基于映射概率按照设定阈值进行筛选映射的账号集合,即映射概率超过阈值的账号组成的集合为该账号ui的映射账号结果。其中,假设在账号集合{uk1,uk2…ukn}中,有多个账号的映射概率都超过阈值,则映射结果为使映射概率最大的那个账号,如果账号集合{uk1,uk2…ukn}中所有账号的映射概率均小于预设的阈值,则映射失败,即微博t中不存在与微博s中的账号ui映射(属于同一自然人)的账号。
以上就介绍完了社交网络账号映射方法。
另一方面,本发明还提供了相应的社交网络账号映射系统,图3示出了根据本发明一个实施例所提供的社交网络账号映射系统的结构示意图,如图2所示,跨微博账号映射系统1包括:数据收集模块11、特征提取模块12、训练与分类模块13和结果分析模块14。以下分别对系统中的各个模块进行详细描述。
数据收集模块11用于从两个微博服务器2获得微博数据并收集所需数据,其功能包括关系数据和根据设定规则筛选、重组成新数据单元形式的文本数据。在一个实施例中,数据收集模块11包括数据分离重组子模块111和噪声过滤子模块112。数据分离重组子模块111用于分离出微博数据中账号发言的文本数据和社交关系数据,并对文本数据按照账号进行重组,噪声过滤子模块112用于清除文本数据中干扰后续处理的噪声数据。
特征提取模块12用于将文本数据进行一系列的预处理,同时从社交关系数据提取社交关系特征,并对得到的社交关系特征进行扩展,得到跨微博的账号之间的关联性特征,然后综合多种特征构建基于跨微博的账号组合的特征向量空间。在一个实施例中,特征提取模块12包括文本特征提取子模块121、关系特征提取与扩展子模块122和向量空间构建子模块123。文本特征提取子模块121用于分别统计每个账号发言文本的字的二元词条(bi-gram)的频数,从中选择高频的词组作为特征,低频的词组删除。将所有特征的频数归一化,得到一组账号的文本特征向量。关系特征提取与扩展子模块122负责从数据中提取社交关系特征,按照设定方式扩展得到账号组合的一组新的关联性特征,该关联性特征是指跨社交网络的账号之间的扩展共同邻居特征。向量空间构建子模块123用于将三组特征,即账号自身的文本特征、账号在本社交网络内的社交关系特征,以及跨社交网络的账号之间的扩展共同邻居特征组合起来,构建账号组合特征向量空间。
训练与分类模块13包括模型训练子模块131和分类子模块132。在一个实施例中,模型训练子模块131用于将训练集的特征向量构成的向量空间在设定的机器学习分类算法(例如svm算法)下训练得到分类模型,即账号映射模型;分类子模块132用于将测试数据在经过训练的分类模型下分类,输出分类结果。
结果分析模块14包括结果聚合子模块141和结果推测子模块142。在一个实施例中,结果聚合物子模块141用于对账号组合的分类结果按单个账号进行聚合;结果推测子模块142用于在单个账号聚合后的分类结果中按一定规则推测账号映射结果。例如可以设定一个分数阈值,如果一个账号对应的所有账号组合的分类得分均小于该分数阈值,则映射失败,如果该账号对应的账号组合分类得分中存在超过该分数阈值的,则取分类得分最大的账号组合中的另一账号作为映射结果。
与现有技术相比,本发明利用微博账号的文本特征、关系特征和关系扩展后的特征构建账号组合的特征向量,挖掘用户的社交特点与语言风格,较好的解决了跨多个异构的社交网络特征代表性不足的问题,有效的判别账号是否为同一自然人,且准确率和映射概率均显著提高。
为验证本发明的实际效果,发明人设计了如下实验:
从新浪微博和搜狐微博中选出合适的实验账号,一共有2991个两个微博都注册的加v账号,除掉数据量不合格的账号,使得保留的账号集合中,单个账号的互粉关系不少于10个,微博文本总长度不少于1000比特,余下一共2239个账号供后续实验,并收集各账号的所有文本和互粉关系。其中,选用加v账号作为实验对象的原因是此类账号是通过了实名认证,能够通过认证信息来确定是一个自然人注册的两个不同微博里的账号,确保标注数据的可靠性。
采取3折交叉验证方案,将2239对微博账号的三分之二作为训练集,三分之一作为测试集,训练集与测试集中的已知账号映射关系均为训练集中的账号映射关系,以供关系特征的扩展计算使用。训练集与测试集的账号组合均为该集合的一个新浪微博账号与一个搜狐微博账号进行组合,其中一个账号组合中两个账号属于同一个人的,则标记该组合为正例,反之则标记为负例。在此组合方法下,负例组合的数量会比正例组合的数量多很多,因此,分别从训练集和测试集的账号组合内的负例组合中随机抽取与正例组合数量相匹配的组合,保证正负例的数量平衡,避免分类模型对负例过拟合。
使用字的二元词条(bi-gram)作为账号的文本特征,使用回复关系特征作为账号的社交关系特征,使用前文所述的扩展特征向量中的特征组合作为账号组合的关联性特征,构建账号组合的特征向量,训练账号映射模型,并对测试集中的账号组合进行账号映射。为了避免数据采样的偶然性导致实验结果出现偏差,采用5次实验取平均值的方法,每次实验随机选择与正例组合数量一致的负例组合,得到五组实验结果如表1所示
表1
可以看出五次随机采样的实验结果相差不大,且均大于78%,能够充分验证本章节提出的方法的有效性。
进一步地,发明人还对特征有效性做了分析。
为了测试不同特征的有效性,发明人对字bigram、回复关系特征及其扩展特征组合进行了实验对比,跟前面相同,每组实验均对负例样本进行五次随机采样取结果平均值,对比结果如表2和3所示,表2中是单独使用三组特征(关系、文本、关联性特征)中的一种得到的实验结果,表3是使用三组特征的不同组合的特征得到的实验结果。其中r代表关系特征,doc代表文本特征,aa代表扩展Adamic/Adar Measure系数,cn代表扩展共同邻居个数,j代表扩展Jaccard相似性系数。
表2
表3
从表2和表3可以看出,单独使用一种特征效果远比综合使用三组特征的实验结果差。综合三组特征的实验结果比其它特征组合的实验结果提升显著。分析实验得到的实例特征向量具体数值可以得知,关系特征和关联性特征均十分稀疏,因为在账号的互粉关系中,存在已映射账号的数量决定了关联性特征的数值,而有一部分账号是与已映射账号关系很不密切,因而导致该部分的账号的关联性特征十分稀疏,而关系特征和文本特征可以对此进行弥补;同时有一部分账号的互粉账号很少导致了关系特征的稀疏,文本特征可以进行弥补,并且如果与已映射账号关联密切,关联性特征也可对此弥补,从而提升了整体的映射准确率。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种社交网络账号映射模型训练方法,包括下列步骤:
1)将映射关系已知的微博s账号集合中的任一个账号与微博t账号集合中的任一个账号进行两两组合构成训练集;
2)对于训练集中的每一个账号组合,提取账号组合特征向量,所述账号组合特征向量包括:该账号组合中两个账号各自的文本特征,两个账号在各自所属微博中的社交关系特征,以及两个账号的扩展共同邻居特征,扩展共同邻居是两个账号各自的邻居账号中,那些已知属于同一个自然人的邻居账号对;
3)基于机器学习技术构建分类模型,根据训练集中各个账号组合特征向量,以及训练集中各账号组合已知的映射关系正负例,对分类模型进行训练得到社交网络账号映射模型。
2.根据权利要求1所述的社交网络账号映射模型训练方法,其特征在于,所述两个账号的扩展共同邻居特征包括:两个账号的扩展共同邻居数量,反映两个账号的扩展共同邻居数量与两个账号的总邻居数量的比例的特征,以及反映扩展共同邻居的度的特征中的一项或多项。
3.根据权利要求2所述的社交网络账号映射模型训练方法,其特征在于,反映两个账号的扩展共同邻居数量与两个账号的总邻居数量的比例的特征为扩展共同邻居的Jaccard相似性系数。
4.根据权利要求2所述的社交网络账号映射模型训练方法,其特征在于,所述反映扩展共同邻居的度的特征为两个账号的Adamic/Adar Measure系数。
5.根据权利要求1所述的社交网络账号映射模型训练方法,其特征在于,所述账号组合特征向量中的文本特征包括:账号自身的发言中的高频词组特征。
6.根据权利要求1所述的社交网络账号映射模型训练方法,其特征在于,所述账号组合特征向量中的社交关系特征包括:以账号的互粉账号为等权值元素所构建的特征向量。
7.一种社交网络账号映射方法,包括下列步骤:
a)将映射关系未知的微博s账号集合以及微博t账号集合中的账号两两配对构成测试集;
b)对于测试集中的每个账号组合,提取其账号组合特征向量,所述账号组合特征向量包括:该账号组合中两个账号各自的文本特征,两个账号在各自所属微博中的社交关系特征,以及两个账号的扩展共同邻居特征,扩展共同邻居是两个账号各自的邻居账号中,那些已知属于同一个自然人的邻居账号对;
c)将所提取的账号组合特征向量输入社交网络账号映射模型,得到分类结果,进而得出一个微博中的账号是否与另一微博中的账号映射,以及所映射的账号,其中所述社交网络账号映射模型按照权利要求1~6中任意一项所述的社交网络账号映射模型训练方法训练得到。
8.根据权利要求7所述的社交网络账号映射方法,其特征在于,所述步骤c)还包括:基于预先设定的阈值,根据账号组合的分类结果判断每个账号是否与另一微博中的账号映射以及所映射的账号。
9.一种社交网络账号映射系统,包括:
数据收集模块,用于将映射关系已知的微博s账号集合中的任一个账号与微博t账号集合中的任一个账号进行两两组合构成训练集;以及将映射关系未知的微博s账号集合以及微博t账号集合中的账号两两配对构成测试集;
特征提取模块,用于提取训练集和测试集中的每一个账号组合的账号组合特征向量,所述账号组合特征向量包括:该账号组合中两个账号各自的文本特征,两个账号在各自所属微博中的社交关系特征,以及两个账号的扩展共同邻居特征,扩展共同邻居是两个账号各自的邻居账号中,那些已知属于同一个自然人的邻居账号对;
训练及分类模块,用于基于机器学习技术构建分类模型,根据训练集中各个账号组合特征向量,以及训练集中各账号组合已知的映射关系正负例,对分类模型进行训练得到社交网络账号映射模型;以及将所提取的账号组合特征向量输入预先训练的社交网络账号映射模型,得到分类结果,进而得出一个微博中的账号是否与另一微博中的账号映射,以及所映射的账号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510252840.1A CN104866558B (zh) | 2015-05-18 | 2015-05-18 | 一种社交网络账号映射模型训练方法及映射方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510252840.1A CN104866558B (zh) | 2015-05-18 | 2015-05-18 | 一种社交网络账号映射模型训练方法及映射方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104866558A CN104866558A (zh) | 2015-08-26 |
CN104866558B true CN104866558B (zh) | 2018-08-10 |
Family
ID=53912384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510252840.1A Active CN104866558B (zh) | 2015-05-18 | 2015-05-18 | 一种社交网络账号映射模型训练方法及映射方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104866558B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106919549A (zh) * | 2015-12-24 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 业务处理方法和装置 |
CN107070702B (zh) * | 2017-03-13 | 2019-12-10 | 中国人民解放军信息工程大学 | 基于合作博弈支持向量机的用户账号关联方法及其装置 |
CN110083778A (zh) * | 2019-04-08 | 2019-08-02 | 清华大学 | 学习分离表征的图卷积神经网络构建方法及装置 |
CN110009056B (zh) * | 2019-04-15 | 2021-07-30 | 秒针信息技术有限公司 | 一种社交账号的分类方法及分类装置 |
CN110517104A (zh) * | 2019-07-18 | 2019-11-29 | 阿里巴巴集团控股有限公司 | 账户关联发现方法、装置、服务器及介质 |
CN111192154B (zh) * | 2019-12-25 | 2023-05-02 | 西安交通大学 | 一种基于风格迁移的社交网络用户节点匹配方法 |
CN111382366B (zh) * | 2020-03-03 | 2022-11-25 | 重庆邮电大学 | 基于语言和非语言特征的社交网络用户识别方法及装置 |
CN112508408B (zh) * | 2020-12-10 | 2024-01-05 | 北京科技大学 | 一种边缘计算下无线资源管理指标的映射模型构建方法 |
CN113537272B (zh) * | 2021-03-29 | 2024-03-19 | 之江实验室 | 基于深度学习的半监督社交网络异常账号检测方法 |
CN113762423A (zh) * | 2021-11-09 | 2021-12-07 | 北京世纪好未来教育科技有限公司 | 数据处理和模型训练方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102710755A (zh) * | 2012-05-18 | 2012-10-03 | 华为技术有限公司 | 终端用户社交网的数据挖掘方法、相关方法、装置和系统 |
CN102946331A (zh) * | 2012-10-10 | 2013-02-27 | 北京交通大学 | 一种社交网络僵尸用户检测方法及装置 |
CN103412907A (zh) * | 2013-08-01 | 2013-11-27 | 西北工业大学 | 一种改进的视频数据特征映射方法 |
CN104579790A (zh) * | 2015-01-26 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种确定链路预测还原边数量的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9147132B2 (en) * | 2013-09-11 | 2015-09-29 | Digitalglobe, Inc. | Classification of land based on analysis of remotely-sensed earth images |
-
2015
- 2015-05-18 CN CN201510252840.1A patent/CN104866558B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102710755A (zh) * | 2012-05-18 | 2012-10-03 | 华为技术有限公司 | 终端用户社交网的数据挖掘方法、相关方法、装置和系统 |
CN102946331A (zh) * | 2012-10-10 | 2013-02-27 | 北京交通大学 | 一种社交网络僵尸用户检测方法及装置 |
CN103412907A (zh) * | 2013-08-01 | 2013-11-27 | 西北工业大学 | 一种改进的视频数据特征映射方法 |
CN104579790A (zh) * | 2015-01-26 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种确定链路预测还原边数量的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104866558A (zh) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104866558B (zh) | 一种社交网络账号映射模型训练方法及映射方法和系统 | |
CN105912576B (zh) | 情感分类方法及系统 | |
CN109446404B (zh) | 一种网络舆情的情感极性分析方法和装置 | |
CN103914478B (zh) | 网页训练方法及系统、网页预测方法及系统 | |
US10394864B2 (en) | Method and server for extracting topic and evaluating suitability of the extracted topic | |
CN100533441C (zh) | 基于概率主题词的两级组合文本分类方法 | |
Suresh | An unsupervised fuzzy clustering method for twitter sentiment analysis | |
CN102411563A (zh) | 一种识别目标词的方法、装置及系统 | |
CN103473262B (zh) | 一种基于关联规则的Web评论观点自动分类系统及分类方法 | |
US10387805B2 (en) | System and method for ranking news feeds | |
US10019492B2 (en) | Stop word identification method and apparatus | |
CN103955453B (zh) | 一种从文档集中自动发现新词的方法及装置 | |
CN107704558A (zh) | 一种用户意见抽取方法及系统 | |
CN105975491A (zh) | 企业新闻分析方法及系统 | |
CN109033212B (zh) | 一种基于相似度匹配的文本分类方法 | |
BaygIn | Classification of text documents based on Naive Bayes using N-Gram features | |
CN109657011A (zh) | 一种筛选恐怖袭击事件犯罪团伙的数据挖掘方法及系统 | |
CN111597331A (zh) | 一种基于贝叶斯网络的裁判文书分类方法 | |
CN104881399B (zh) | 基于概率软逻辑psl的事件识别方法和系统 | |
CN110909116A (zh) | 一种面向社交媒体的实体集合扩展方法及系统 | |
CN108021667A (zh) | 一种文本分类方法和装置 | |
CN106126495B (zh) | 一种基于大规模语料提词方法和装置 | |
CN109582743B (zh) | 一种针对恐怖袭击事件的数据挖掘系统 | |
CN114065749A (zh) | 一种面向文本的粤语识别模型及系统的训练、识别方法 | |
CN113626604A (zh) | 基于最大间隔准则的网页文本分类系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |