CN109472027A - 一种基于博文相似性的社交机器人检测系统及方法 - Google Patents
一种基于博文相似性的社交机器人检测系统及方法 Download PDFInfo
- Publication number
- CN109472027A CN109472027A CN201811284749.8A CN201811284749A CN109472027A CN 109472027 A CN109472027 A CN 109472027A CN 201811284749 A CN201811284749 A CN 201811284749A CN 109472027 A CN109472027 A CN 109472027A
- Authority
- CN
- China
- Prior art keywords
- blog article
- account
- social
- feature
- similitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000013480 data collection Methods 0.000 claims abstract description 22
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 230000003542 behavioural effect Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 210000003813 thumb Anatomy 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 235000012907 honey Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种基于博文相似性的社交机器人检测系统及方法，属于机器学习和社交网络技术领域。包括：离线数据库、特征提取模块、社交机器人检测模型训练模块、社交账号信息数据收集模块、社交机器人检测模块和检测结果输出模块。对离线数据集中账号使用语言是英语的每条账号数据进行元数据特征提取；对经过处理后的每条账号数据，账号的博文数量大于K条的对博文内容进行特征提取；将前述获取的元数据特征和博文内容提取的特征采用不同机器学习算法进行模型训练，选出最优检测模型作为最终的社交机器人检测模型。本发明通过提取包括博文相似性在内的多维特征，采用机器学习算法建立模型，从而达到检测社交网络中的账号是否为社交机器人的目的。
Description
技术领域
本发明涉及一种基于博文相似性的社交机器人检测系统及方法，属于机器学习和社交网络技术领域。
背景技术
随着互联网的飞速发展，社交网络已经成为绝大多数人们生活中不可或缺的一部分，为人们的生活和交际提供了许多便利。但随着人工智能的逐渐发展，在社交网络中也出现了许多并非真人控制的账号，这些模仿人类行为活跃在社交网络上的账号，被称之为社交机器人。据报道，Facebook认为其用户大约有8300万为虚假使用者；而在推特中，奥巴马的1782万关注者中，有29.9％的人为虚假账户；同样的米特·罗姆尼(Mitt Romney)的814000名关注者中，也有21.9％的用户可能是社交机器人(参考文献[1])。这些社交机器人在政治活动中可以用于摇摆选民，发动政治攻击，操纵公众舆论等，还有一些社交机器人被用于在社交网络中进行市场营销，例如发布广告，制造流行趋势等。这些行为，对社交网络内容的真实性造成了一定的影响。但更需要重视的是，除此之外，社交机器人还带来各种各样的安全风险，其中之一就是通过与社交网络用户建立联系，从而获得网络用户个人详细信息如生日、电子邮件、电话号码、地址等，在获取了这些信息后，社交机器人背后的操作者可以利用网络用户个人信息及建立的信任关系，对目标进行社会工程学攻击(参考文献[2])。
目前国内外对社交机器人检测技术进行了大量的研究工作。从检测方法上可以分为：1.基于蜜罐系统的社交机器人检测(参考文献[3])：这种方法通过设置账号并发布正常用户不会关注的无意义内容来吸引社交机器人的关注。2.基于特征阈值的社交机器人检测(参考文献[4])：通过观察社交机器人的行为，提取特征，通过大量实验得到特征阈值，需要判断的账号与阈值比较后得到结果。3.基于机器学习的社交机器人检测(参考文献[5])：通过提取特征，进行机器学习，得到训练好的模型，将需要判断的账号输入模型即可得到预测结果。
其中，基于机器学习的社交机器人检测方法得到了普遍的应用。但是随着技术的不断发展，机器人账号更加智能，原有的特征已不能很好的反应目前的趋势。并且，已有的方法多着重账号的配置文件以及账号的行为习惯，并未对发布的内容风格进行研究，因此对于可以模仿正常用户的配置文件及行为习惯的社交机器人检测效果不佳，需要提出新的特征。
社交机器人是人工智能飞速发展的产物之一，相比于传统的垃圾账号，社交机器人更加智能。它们可以捕捉热门话题，发布相关信息从而获取更多正常用户的关注。社交机器人还可以在某一领域成为具有影响力的用户，影响公众意见。其次，有不法分子利用社交机器人对用户进行社会工程学攻击。由于社交网络中用户个人信息较为容易获取，所以社交机器人可以通过与用户建立起信任关系，进而对用户进行社会工程学攻击，在社交网络中具有威胁性。现有的社交机器人检测，对新型智能机器人的检测表现一般，需要针对当前社交机器人特点，发现新的特征及方法建立模型来进行检测。
参考文献如下：
1、Shafahi,M.,Kempers,L.,Afsarmanesh,H.:Phishing through social botson twitter.In:IEEE International Conference on Big Data.pp.3703{3712(2017).
2、Hill,K.:The invasion of the twitter bots.http://www.forbes.com/sites/kashmirhill/2012/08/09/the-invasion-of-the-Twitter-bots/(2012).
3、Lee,K.,Eoff,B.D.,Caverlee,J.:Seven months with the devils:A long-term study of content polluters on twitter.In:International Conference onWeblogs and Social Media,Barcelona,Catalonia,Spain,July(2011).
4、Varol,O.,Ferrara,E.,Davis,C.A.,Menczer,F.,Flammini,A.:Online human-bot interactions:Detection,estimation,and characterization.THE 11THINTERNATIONAL AAAI CONFERENCE ON WEB AND SOCIAL MEDIA(2017).
5、Subrahmanian,V.S.,Menczer,F.,Azaria,A.,Durst,S.,Kagan,V.,Galstyan,A.,Lerman,K.,Zhu,L.,Ferrara,E.,Flammini,A.:The darpa twitter botchallenge.Computer 49(6),38{46(2016).
发明内容
本发明针对于现有社交机器人检测对新型智能机器人的检测表现一般，不能很好针对当前社交机器人的特点进行检测的问题，提出一种基于博文相似性的社交机器人检测系统及方法，将博文相似性特征定义为内容相似性，标点符号使用相似性，博文长度相似性及停用词相似性四个方面，并采用潜在语义相似性模型(潜在语义分析，LSA，latentsemantic analysis)来计算博文内容相似性。本发明通过提取包括博文相似性在内的多维特征，采用机器学习算法建立模型，从而达到检测社交网络中的账号是否为社交机器人的目的。
本发明提出一种基于博文相似性的社交机器人检测系统，包括离线数据库、特征提取模块、社交机器人检测模型训练模块、社交账号信息数据收集模块、社交机器人检测模块和检测结果输出模块。
离线数据库存储带标签的离线数据集，离线数据集包含社交机器人账号以及正常用户账号的数据，标签用于标记账号是否为社交机器人。
特征提取模块用于对输入的账号数据进行特征提取，对符合要求1和2的账号数据进行特征提取；要求1是账号使用语言是英语，要求2是账号的原创博文数量大于K条，K为大于等于2的正整数；特征提取模块所提取的特征包括元数据特征和博文内容特征；其中元数据特征包括用户关注数和用户粉丝数的比例、用户点赞数、发布博文的客户端、博文发布的时间间隔和转发博文占总博文的比重；博文内容特征包括账号行为特征和博文相似性特征，其中，账号行为特征包括：平均每条博文的提及人数、平均每条博文的带话题数、以及平均每条博文含URL链接数；博文相似性特征包括：内容相似性、标点符号相似性、博文长度相似性和停用词使用相似性。
社交机器人检测模型训练模块利用特征提取模块进行特征提取后的带标签的离线数据，采用多种机器学习算法进行模型训练，并通过测试数据获得最优检测模型，将该最优检测模型输入社交机器人检测模块。
社交账号信息数据收集模块用于利用网络爬虫技术从社交网络中爬去待检测的账号数据；在社交机器人检测过程中，社交账号信息数据收集模块将爬取的待检测的账号数据输入特征提取模块。
本发明的基于博文相似性的社交机器人检测方法，通过爬虫技术获取社交网络上的账号数据，生成一个带标签的离线数据集，标签用于标记账号是否为社交机器人，所述方法包括如下步骤：
步骤10，对所述的离线数据集中账号使用语言是英语的每条账号数据进行元数据特征提取；所提取的元数据特征包括：用户关注数和用户粉丝数的比例、用户点赞数、发布博文的客户端、博文发布的时间间隔和转发博文占总博文的比重；
步骤20，对经过步骤10处理后的每条账号数据，若账号的博文数量大于K条，则对博文内容进行特征提取，否则对该账号数据终止操作。博文内容提取的特征分为账号行为特征和博文相似性特征两部分，其中，账号行为特征包括：平均每条博文的提及人数、平均每条博文的带话题数、以及平均每条博文含URL链接数；博文相似性特征包括：内容相似性、标点符号相似性、博文长度相似性和停用词使用相似性。
步骤30，将步骤10获得的元数据特征和步骤20获得的博文内容提取的特征用于机器学习算法输入，标签作为输出，利用训练数据中提取好特征的带标签的账号数据，采用不同机器学习算法进行模型训练，然后再输入测试数据进行性能测试，选出最优检测模型作为最终的社交机器人检测模型。
所述的步骤20中，内容相似性通过潜在语义分析LSA模型来计算获得。
本发明与现有技术相比，具有以下明显优势：
(1)目前已有的基于机器学习的检测方法中的特征，与新型的智能机器人的特征吻合度一般。本发明提出了符合新型社交机器人的特征，将博文相似性扩展为内容相似性、博文长度相似性、标点符号使用相似性以及停用词相似性，并率先将LSA模型应用于内容相似性特征的计算中，与其他方法相比，对社交机器人的检测具有更高的准确率，具有创新性。
(2)本方法将LSA模型应用到社交机器人检测特征中的博文相似性计算中，对博文内容中单词向量进行了降维，相比传统相似性计算方法，在提高了检测准确率的同时，还极大节约了博文相似性特征提取的工作量，具有高效性。
附图说明
图1是本发明的基于博文相似性的社交机器人检测系统的结构示意图；
图2是本发明的基于博文相似性的社交机器人检测模型训练方法流程图；
图3是本发明的基于博文相似性特征提取处理流程示意图；
图4是本发明利用LSA模型进行文本相似性计算流程图。
图中：
1-离线数据库；2-特征提取模块；3-社交机器人检测模型训练模块；
4-社交账号信息数据收集模块；5-社交机器人检测模块；6-检测结果输出模块。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述。
本发明提供了一种基于博文相似性的社交机器人检测系统和方法。通过爬虫技术获取社交网络上的账号数据，包括用户配置文件、博文数量、内容及发布时间等，利用社交机器人检测系统对账号进行检测，若检测结果显示为社交机器人账号，则进行提示。
为了达到检测社交网络中的账号是否为社交机器人的目的，如图1所示，为本发明提供的基于博文相似性的社交机器人检测系统的一种实现结构，包括：离线数据库1，特征提取模块2，社交机器人检测模型训练模块3，社交账号信息数据收集模块4，社交机器人检测模块5和检测结果输出模块6。
离线数据库1存储带标签的离线数据集，离线数据集中每个账号都已经标记出是否为社交机器人，离线数据包含社交机器人账号以及正常用户账号。带标签的数据集用来对社交机器人检测模型进行训练和测试。
特征提取模块2用于对输入的账号数据进行特征提取。特征提取模块2所要处理的数据分两类：一是离线数据库1中的带标签的数据，这部分数据用于社交机器人检测模型的训练和测试，以获得最优检测模型；二是社交账号信息数据收集模块4利用爬虫技术从网络中获取的用户账号数据，这部分数据是需要检测的数据。无论哪类数据，特征提取模块2都对符合要求的账号数据进行特征提取，要求1：账号使用语言是英语，要求2：账号的原创博文数量大于K条；K为正整数，本发明实施例取值为10。
特征提取模块2所提取的特征包括元数据特征和博文内容特征；其中元数据特征包括用户关注数和用户粉丝数的比例、用户点赞数、发布博文的客户端、博文发布的时间间隔和转发博文占总博文的比重；博文内容特征包括账号行为特征和博文相似性特征，其中，账号行为特征包括：平均每条博文的提及人数、平均每条博文的带话题数、以及平均每条博文含URL链接数；博文相似性特征包括：内容相似性、标点符号相似性、博文长度相似性和停用词使用相似性。具体各特征在下面再进行具体说明。
社交机器人检测模型训练模块3对经过特征提取处理后的带标签的离线数据，利用多种机器学习算法进行模型训练；输入测试数据对不同模型进行评价，得到最优检测效果模型。将离线数据库1的一部分数据作为训练数据，一部分作为测试数据，将利用特征提取模块2提取的特征作为机器学习算法的输入，输出为对应的标签，即是否为社交机器人。通过对训练好的多个模型进行测试，选取其中最优的模型作为最终的社交机器人检测模型，即将获得的最优模型输入社交机器人检测模块5。
社交账号信息数据收集模块4利用网络爬虫技术，对待检测的社交账号进行网络数据收集。所爬取的用户数据包括用户信息和发布的博文内容等，用户信息如：用户昵称、用户关注人数和用户粉丝人数等；发布的博文数据包括：博文数量、内容、时间和发布博文的客户端等。
社交机器人检测模块5中存储社交机器人检测模型训练模块3训练得到的最优检测模型，社交账号信息数据收集模块4采集的待检测账号数据经过特征提取模块2提取特征后，输入到社交机器人检测模块5中进行账号检测，检测结果输入检测结果输出模块6中。
检测结果输出模块6将机器学习模型预测的账号结果反馈到用户，若模型判定为社交机器人则发出警告提醒。
社交机器人检测模型训练过程中，离线数据库1将已知标签的数据传输给特征提取模块2；特征提取模块2将提取的数据特征传输给社交机器人检测模型训练模块3进行训练获得最优的社交机器人检测模型；社交机器人检测模型训练模块3将经训练得到的最优检测模型输入给社交机器人检测模块5用作检测模型。
社交机器人检测过程中，社交账号信息数据收集模块4将获取的账号信息数据传输给特征提取模块2；特征提取模块2将提取的数据特征输入给社交机器人检测模块5进行检测；社交机器人检测模块5将检测结果输入给检测结果输出模块6，检测结果输出模块6将预测结果反馈到用户，若模型判定为社交机器人则发出警告提醒。
本发明的基于博文相似性的社交机器人检测方法，一个实现流程如图2所示，利用离线数据库1结合多种机器学习算法进行训练，从而建立检测模型，对待检测账号进行检测。该方法主要包括：账号元数据特征提取，博文内容特征提取及社交机器人检测模型训练三个步骤，下面说明各步骤的实现。
步骤10，通过爬虫技术获取社交网络上的账号数据，生成带标签的离线数据集，标签是指是否为社交机器人。首先对带标签的离线数据的账号使用的语言进行判断，若不是英语，对该离线数据结束操作，若是英语，进一步进行账号元数据特征提取。一条账号的离线数据提取的元数据特征包括：用户关注数和用户粉丝数的比例、用户点赞数、发布博文的客户端、博文发布的时间间隔和转发博文占所有博文的比重。
用户粉丝数和用户关注数的比例，即账号被关注人数与关注人数的比例。相对于正常用户而言，社交机器人通常会关注大量的人，来获取他人的注意，以此提高自己的影响力。并且由于其自身没有真实的社会关系网，所以其获得的关注人数相较于正常用户通常较少。
用户点赞数，即用户对其他博文的点赞数。用户的点赞行为，一般发生在浏览自己主页的时间轴timelines时发生，Timeline中会有用户自己关注的人的博文，用户可以通过点赞及转发等操作，来表达自己对此条博文的态度。但是对于由智能程序控制的社交机器人而言，它们很少会产生浏览timeline这种人类特有的行为，进而表现为很少对其他博文点赞。
发布博文的客户端：用户可以通过多种平台来发布博文，常见的有来自官方网站、手机客户端等等。同时推特twitter也像用户提供开放的应用程序编程接口API接口，方便用户的一些个性化定制。社交机器人往往利用API接口来发布博文。
博文发布的时间间隔：正常用户发布博文的时间具有随机性，而一些社交机器人由于程序的设定，具有较为规律的发布时间。因此，本发明先求出发布博文之间的时间间隔，再求发布博文相差时间的方差，以方差来衡量博文发布时间是否具有规律性。
转发博文占所有博文的比重：社交机器人发布的博文内容一般取决于程序的设置，如果转发的话，不好表达机器人自己的目的，所以一般的社交机器人的原创内容较多；还有些社交机器人通过转发博文与正常用户产生交流，建立信任关系。但是此类机器人一般很少存在原创内容。
步骤20，对每个账户的博文内容进行特征提取。首先，判断博文数量是否大于10条，如果是，进行账号博文内容特征提取；如果不是，结束对该账户的操作。博文内容特征包括：平均每条博文的提及人数、平均每条博文的带话题数、平均每条博文含URL(统一资源定位符)链接数、内容相似性、标点符号相似性、博文长度相似性和停用词使用相似性。本发明实施例中K设置为10。
原创博文的数量K的取值，因为要比较相似性，所以K至少大于等于2。并且k应大于等于LSA模型中topic数的数值，也就是说LSA模型中topic数的设置要小于等于K。
博文内容特征可分为账号行为特征和博文相似性特征两大部分。
博文的内容可以反映出账号的行为特征，账号行为特征包括，平均每条博文的提及人数、平均每条博文的带话题数、平均每条博文含URL链接数。
平均每条博文的提及人数，即用户博文中的平均提及人数。对于正常用户而言，社交网络更多作为和朋友交流分享生活的平台。所以正常用户会有更多的互动行为。具体行为体现在发布的博文内容中会出现较多的“@”符号。
平均每条博文的带话题数，即用户博文中平均话题数。一般而言，为了获取更多的关注度，社交机器人博文中会有更多的“#”符号，以期出现在更多的话题中，被更多的人发现关注。
平均每条博文含URL链接数：社交机器人为了达到它的某种目的，常常会在博文中添加url链接，链接可能是图片，文章，网站，也有可能是伪装成正常内容的钓鱼网站。
本发明通过大量数据分析，发现社交机器人所发布的内容具有较为固定的主题，博文内容及词汇的使用都较为集中，因此，在社交机器人的检测中引入博文相似性特征；并首次将博文相似性特征分解为多个维度，博文相似性特征包括：内容相似性、标点符号相似性、博文长度相似性及停用词使用相似性，下面对其中的各特征说明。
内容相似性：计算用户发布的原创博文之间的相似性均值。一般而言机器人发布的博文内容主题较为相似。而正常用户的博文内容较为广泛，词汇相对多变。
标点符号相似性：每个人都有自己的标点符号使用习惯，因此标点使用的相似性也被选为特征。通过计算每个博文帖子中标点使用频率的方差来衡量标点符号使用的相似性。
博文长度相似性：在社交机器人行为分析中，可以发现博文帖子的长度；如：单词的数量，比正常用户的账户博文长度更加固定。本发明选择用户发布的原创博文中单词数量的方差来衡量博文长度的相似度。
停用词使用相似性：停用词通常是指一些最常用的短语功能词，如“is”，“at”，“which”，“on”。停用词通常没有特定含义，但仍可反映用户的写作风格，计算每条博文中常见停用词的频率，然后计算频率方差来衡量停用词的相似度。
如图3所示，为本发明的博文相似性特征的一个提取流程，如下：
步骤21、将爬取到的用户所发布的所有博文进行处理，过滤掉所有转发博文，只对原创博文进行相似性分析；
步骤22、判断过滤后得到的原创博文数量，为了博文相似性的计算，只保留数量大于10条的账号作为数据集；
步骤23、统计每个账号所有原创博文中标点符号的使用频率占比，计算方差后得到标点符号相似性；
步骤24、统计每个账号所有原创博文中停用词的使用频率占比，计算方差后得到停用词使用相似性；
步骤25、以原创博文的单词数量作为长度的衡量标准，计算博文单词数量的方差后得到博文长度相似性；
步骤26、将原创博文进行分词并做去掉停用词处理，然后利用LSA模型计算博文内容的相似性，如图4所示。
在内容相似性检测中本发明采用潜在语义索引LSA模型，LSA是一种博文挖掘技术，可以对词汇进行聚类，达到降维的目的。LSA的出现源自问题：如何从一个搜索中快速找到相关的文档。一般情况下，当本发明试图通过比较词的异同来找到相关的博文时，存在着难以解决的局限性问题。因为，在搜索中本发明实际想要去比较的不是词，而是隐藏在词之后的意义和概念。潜在语义分析试图去解决这个问题，它把词和文档都映射到一个“概念”空间并在这个空间内进行比较。
如图4所示，利用LSA模型计算账号的原创博文的内容相似性特征，即进行文本相似性计算，包括：
271)博文预处理，包括：
a、将一个账号的所有原创博文读入，并以列表方式进行存储。
b、对每一条博文进行分词并对单词进行小写化，并且去掉博文中的停用词及标点符号。
c、分词后的单词需要进行词干化，主要包括将名词的复数变为单数及将动词的其他形态变为基本形态。
272)LSA模型建立，包括；
d、将词干化后的词建立字典，表示这个单词及单词在博文语料库里出现的次数。
e、将训练文档向量组成的矩阵进行SVD分解，并计算出矩阵的一个低维近似矩阵，通过LSA模型将文档映射到一个话题topic维的空间中，本发明的LSA模型中设置topic＝10。Topic的取值要小于等于上文所述的K值。
f、通过建立索引，来比较博文之间的相关度。在博文中随机选取10篇博文作为索引，将其向量化；再用之前训练好的LSA模型将索引映射到topic空间。即可计算索引博文与其他博文之间的余弦相似度，从而得到博文的内容相似性。
步骤30、社交机器人检测模型训练：将提取好特征的带标签的训练数据采用多种不同的机器学习算法进行模型训练；然后输入测试数据进行性能测试，选出最优检测模型。
将提取好特征的带标签的用户账号数据集分为训练数据和测试数据两部分，分别用作模型训练及模型性能测试。
本发明选择了多种机器学习算法进行模型训练，包括KNN(K最近邻)、决策树、随机森林、Adaboost、Gradient Boosting等。得到的模型用测试数据进行测试，发现最优模型为Gradient Boosting模型。
Boosting方法属于机器学习中的集成学习，是一种用来提高弱分类算法准确度的方法，这种方法通过构造一个预测函数系列，然后以一定的方式将他们组合成一个预测函数。Gradient Boosting是一种Boosting的方法，其与传统的Boosting的区别是，每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，可以在残差减少的梯度(Gradient)方向上建立一个新的模型。
本发明在模型训练后，引入皮尔森相关系数计算特征与标签的相关性，证明了本发明提出的博文内容特征的有效性。
皮尔森相关系数：是用来反应两种变量之间相似程度的统计量，在机器学习中可以用来计算特征与标签间的相似度，即可判断所提取到的特征和标签是正相关或负相关。
特征皮尔森相关系数如表1下：
表1特征皮尔森相关系数
| 排名 | 特征 | 皮尔森相关系数 | 是否为新提出特征 |
| 1 | 转发博文占总博文比重 | 0.68 | 否 |
| 2 | 博文长度相似性 | 0.53 | 是 |
| 3 | 标点符号相似性 | 0.51 | 是 |
| 4 | 博文发布平台 | 0.51 | 否 |
| 5 | 用户博文中的平均提及人数 | 0.47 | 否 |
| 6 | 博文内容相似性 | -0.41 | 是 |
| 7 | 用户粉丝数与用户关注数的比例 | 0.31 | 否 |
| 8 | 平均每条博文含URL链接数 | 0.22 | 否 |
| 9 | 停用词使用相似性 | -0.19 | 是 |
| 10 | 用户博文中平均话题数 | 0.18 | 否 |
| 11 | 用户对其他博文的点赞数 | 0.08 | 否 |
| 12 | 发布博文相差时间的方差 | -0.03 | 否 |
新特征(博文相似性特征共4个)的提取是本发明的重要创新点。这个表格是训练模型时所用的所有特征与是否为机器人结果的相关性，皮尔森相关系数的绝对值越大越能证明特征的有效性。通过上面表格可以看出，本发明提出的博文相似性特征(包含博文长度相似性、标点符号相似性、博文内容相似性、停用词使用相似性)在所有的特征中均取得了不错的效果。
为使本发明的技术方案更加清楚，下面对本发明提出的方法进行实验仿真，仿真条件如下所示：
| 操作系统 | Windows 10 |
| 编程语言 | Python 2.7 |
| 硬件条件 | 处理器Intel(R)Xeon(R)CPU E5-2620v3 2.40GHz |
| 检测对象 | 推特网站上的社交用户(已知标签) |
| 系统功能 | 给出系统检测的准确率、召回率以及F1值 |
(1)数据爬取及特征提取：通过网络爬虫技术结合推特网站的官方API获取到原始数据。对数据进行处理，分别提取账号元数据特征及博文内容特征。
(2)机器人检测结果验证：将预测结果与已知标签做对比。计算出准确率、召回率以及F1值。
(3)观察社交机器人检测结果：社交机器人检测模型的准确率、召回率以及F1值分别达到：98.09％，98.01％，98.11％。
Claims (4)
1.一种基于博文相似性的社交机器人检测系统，包括：离线数据库、特征提取模块、社交机器人检测模型训练模块、社交账号信息数据收集模块、社交机器人检测模块和检测结果输出模块；
离线数据库存储带标签的离线数据集，离线数据集包含社交机器人账号以及正常用户账号的数据，标签用于标记账号是否为社交机器人；
特征提取模块用于对输入的账号数据进行特征提取，对符合要求1和2的账号数据进行特征提取；要求1是账号使用语言是英语，要求2是账号的博文数量大于K条，K为大于等于2的正整数；特征提取模块所提取的特征包括元数据特征和博文内容特征；其中元数据特征包括用户关注数和用户粉丝数的比例、用户点赞数、发布博文的客户端、博文发布的时间间隔和转发博文占总博文的比重；博文内容特征包括账号行为特征和博文相似性特征，其中，账号行为特征包括：平均每条博文的提及人数、平均每条博文的带话题数、以及平均每条博文含URL链接数；博文相似性特征包括：内容相似性、标点符号相似性、博文长度相似性和停用词使用相似性；
社交机器人检测模型训练模块利用特征提取模块进行特征提取后的带标签的离线数据，采用多种机器学习算法进行模型训练，并通过测试数据获得最优检测模型，将该最优检测模型输入社交机器人检测模块；
社交账号信息数据收集模块用于利用网络爬虫技术从社交网络中爬去待检测的账号数据；社交账号信息数据收集模块将爬取的待检测的账号数据输入特征提取模块；
社交机器人检测模块中存储最优检测模型；待检测的账号数据经过特征提取模块提取特征后输入社交机器人检测模块，通过最优检测模型进行账号检测，检测结果输出给检测结果输出模块；
检测结果输出模块将预测的账号结果反馈到用户，若模型判定为社交机器人则发出警告提醒。
2.一种基于博文相似性的社交机器人检测方法，通过爬虫技术获取社交网络上的账号数据，生成一个带标签的离线数据集，标签用于标记账号是否为社交机器人，其特征在于，所述方法包括如下步骤：
步骤10，对所述的离线数据集中账号使用语言是英语的每条账号数据进行元数据特征提取；所提取的元数据特征包括：用户关注数和用户粉丝数的比例、用户点赞数、发布博文的客户端、博文发布的时间间隔和转发博文占总博文的比重；若账号使用语言不是英语，则对该账号数据终止操作；
步骤20，对账号博文数量大于K条的账号数据，提取博文内容的特征，K为正整数，若账号博文数量少于或等于K条，则对该账号数据终止操作；
博文内容提取的特征分为账号行为特征和博文相似性特征两部分，其中，账号行为特征包括：平均每条博文的提及人数、平均每条博文的带话题数、以及平均每条博文含URL链接数；博文相似性特征包括：内容相似性、标点符号相似性、博文长度相似性和停用词使用相似性；
步骤30，将步骤10获得的元数据特征和步骤20获得的博文内容提取的特征用于机器学习算法输入，标签作为输出，利用训练数据中提取好特征的带标签的账号数据，采用不同机器学习算法进行模型训练，然后再输入测试数据进行性能测试，选出最优检测模型作为最终的社交机器人检测模型。
3.根据权利要求2所述的方法，其特征在于，所述的步骤20中，博文相似性特征中，内容相似性是计算用户发布的原创博文之间的相似性均值；标点符号相似性是计算每个博文帖子中标点使用频率的方差；博文长度相似性是计算用户发布的原创博文中单词数量的方差；停用词使用相似性是先计算每条博文中停用词的使用频率，再计算频率方差得到。
4.根据权利要求2或3所述的方法，其特征在于，所述的步骤20中，内容相似性通过潜在语义分析LSA模型来计算获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811284749.8A CN109472027A (zh) | 2018-10-31 | 2018-10-31 | 一种基于博文相似性的社交机器人检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811284749.8A CN109472027A (zh) | 2018-10-31 | 2018-10-31 | 一种基于博文相似性的社交机器人检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109472027A true CN109472027A (zh) | 2019-03-15 |
Family
ID=65672468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811284749.8A Pending CN109472027A (zh) | 2018-10-31 | 2018-10-31 | 一种基于博文相似性的社交机器人检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109472027A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009056A (zh) * | 2019-04-15 | 2019-07-12 | 秒针信息技术有限公司 | 一种社交账号的分类方法及分类装置 |
| CN110110079A (zh) * | 2019-03-21 | 2019-08-09 | 中国人民解放军战略支援部队信息工程大学 | 一种社交网络垃圾用户检测方法 |
| CN111428116A (zh) * | 2020-06-08 | 2020-07-17 | 四川大学 | 一种基于深度神经网络的微博社交机器人检测方法 |
| CN112685204A (zh) * | 2020-12-29 | 2021-04-20 | 北京中科闻歌科技股份有限公司 | 一种基于异常检测的社交机器人检测方法及装置 |
| CN113033803A (zh) * | 2021-03-25 | 2021-06-25 | 天津大学 | 一种基于对抗神经网络的跨平台社交机器人检测方法 |
| EP4213044A4 (en) * | 2020-10-14 | 2024-03-27 | Nippon Telegraph & Telephone | COLLECTION DEVICE, COLLECTION METHOD AND COLLECTION PROGRAM |
| EP4231179A4 (en) * | 2020-10-14 | 2024-04-03 | Nippon Telegraph & Telephone | DEVICE, METHOD AND EXTRACTION PROGRAM |
| EP4213048A4 (en) * | 2020-10-14 | 2024-04-03 | Nippon Telegraph & Telephone | DETERMINATION DEVICE, DETERMINATION METHOD AND DETERMINATION PROGRAM |
| EP4213049A4 (en) * | 2020-10-14 | 2024-04-17 | Nippon Telegraph & Telephone | DETECTION DEVICE, DETECTION METHOD AND DETECTION PROGRAM |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102571484A (zh) * | 2011-12-14 | 2012-07-11 | 上海交通大学 | 一种检测网络水军以及找到网络水军的方法 |
| CN102629904A (zh) * | 2012-02-24 | 2012-08-08 | 安徽博约信息科技有限责任公司 | 一种网络水军的探测与判定方法 |
| CN103309957A (zh) * | 2013-05-28 | 2013-09-18 | 华东师范大学 | 一种引入列维飞行的社交网络专家定位方法 |
| CN104901847A (zh) * | 2015-05-27 | 2015-09-09 | 国家计算机网络与信息安全管理中心 | 一种社交网络僵尸账号检测方法及装置 |
| US20170286867A1 (en) * | 2016-04-05 | 2017-10-05 | Battelle Memorial Institute | Methods to determine likelihood of social media account deletion |
-
2018
- 2018-10-31 CN CN201811284749.8A patent/CN109472027A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102571484A (zh) * | 2011-12-14 | 2012-07-11 | 上海交通大学 | 一种检测网络水军以及找到网络水军的方法 |
| CN102629904A (zh) * | 2012-02-24 | 2012-08-08 | 安徽博约信息科技有限责任公司 | 一种网络水军的探测与判定方法 |
| CN103309957A (zh) * | 2013-05-28 | 2013-09-18 | 华东师范大学 | 一种引入列维飞行的社交网络专家定位方法 |
| CN104901847A (zh) * | 2015-05-27 | 2015-09-09 | 国家计算机网络与信息安全管理中心 | 一种社交网络僵尸账号检测方法及装置 |
| US20170286867A1 (en) * | 2016-04-05 | 2017-10-05 | Battelle Memorial Institute | Methods to determine likelihood of social media account deletion |
Non-Patent Citations (1)
| Title |
|---|
| YAHAN WANG等: "Social Bot Detection Using Tweets Similarity", 《14THINTERNATIONAL CONFERENCE》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110079A (zh) * | 2019-03-21 | 2019-08-09 | 中国人民解放军战略支援部队信息工程大学 | 一种社交网络垃圾用户检测方法 |
| CN110009056A (zh) * | 2019-04-15 | 2019-07-12 | 秒针信息技术有限公司 | 一种社交账号的分类方法及分类装置 |
| CN111428116A (zh) * | 2020-06-08 | 2020-07-17 | 四川大学 | 一种基于深度神经网络的微博社交机器人检测方法 |
| CN111428116B (zh) * | 2020-06-08 | 2021-01-12 | 四川大学 | 一种基于深度神经网络的微博社交机器人检测方法 |
| EP4213044A4 (en) * | 2020-10-14 | 2024-03-27 | Nippon Telegraph & Telephone | COLLECTION DEVICE, COLLECTION METHOD AND COLLECTION PROGRAM |
| EP4231179A4 (en) * | 2020-10-14 | 2024-04-03 | Nippon Telegraph & Telephone | DEVICE, METHOD AND EXTRACTION PROGRAM |
| EP4213048A4 (en) * | 2020-10-14 | 2024-04-03 | Nippon Telegraph & Telephone | DETERMINATION DEVICE, DETERMINATION METHOD AND DETERMINATION PROGRAM |
| EP4213049A4 (en) * | 2020-10-14 | 2024-04-17 | Nippon Telegraph & Telephone | DETECTION DEVICE, DETECTION METHOD AND DETECTION PROGRAM |
| CN112685204A (zh) * | 2020-12-29 | 2021-04-20 | 北京中科闻歌科技股份有限公司 | 一种基于异常检测的社交机器人检测方法及装置 |
| CN112685204B (zh) * | 2020-12-29 | 2024-03-05 | 北京中科闻歌科技股份有限公司 | 一种基于异常检测的社交机器人检测方法及装置 |
| CN113033803A (zh) * | 2021-03-25 | 2021-06-25 | 天津大学 | 一种基于对抗神经网络的跨平台社交机器人检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472027A (zh) | 一种基于博文相似性的社交机器人检测系统及方法 | |
| Wu et al. | Tracing fake-news footprints: Characterizing social media messages by how they propagate | |
| CN106980692B (zh) | 一种基于微博特定事件的影响力计算方法 | |
| Vaca et al. | A time-based collective factorization for topic discovery and monitoring in news | |
| CN106354818B (zh) | 基于社交媒体的动态用户属性提取方法 | |
| Papadamou et al. | Understanding the incel community on youtube | |
| CN106104512A (zh) | 用于主动获取社交数据的系统和方法 | |
| CN106682208B (zh) | 基于融合特征筛选与随机森林的微博转发行为预测方法 | |
| Hu et al. | Personalized tag recommendation using social influence | |
| Kaur et al. | News classification and its techniques: a review | |
| Bingol et al. | Rumor Detection in Social Media using machine learning methods | |
| Tsinganos et al. | Utilizing convolutional neural networks and word embeddings for early-stage recognition of persuasion in chat-based social engineering attacks | |
| Daouadi et al. | Real-Time Bot Detection from Twitter Using the Twitterbot+ Framework. | |
| Yao et al. | Online deception detection refueled by real world data collection | |
| Dhillon et al. | Crowdsourcing of hate speech for detecting abusive behavior on social media | |
| Yang et al. | Post-level spam detection for social bookmarking web sites | |
| Abulaish et al. | A layered approach for summarization and context learning from microblogging data | |
| Litou et al. | Pythia: A system for online topic discovery of social media posts | |
| Wibawa et al. | Classification Analysis of MotoGP Comments on Media Social Twitter Using Algorithm Support Vector Machine and Naive Bayes | |
| Hu et al. | Research on long tail recommendation algorithm | |
| Rozario et al. | Community detection in social network using temporal data | |
| Singh | Predicting the popularity of online news using social features | |
| Preetham et al. | Offensive Language Detection in Social Media Using Ensemble Techniques | |
| Benkhelifa et al. | A demographic-based approach for improved content categorization in social networking | |
| Gaba et al. | Sentiment Analysis of Twitter Data Using Machine Learning Approaches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190315 |