CN111680059A

CN111680059A - 基于特定区域的活跃人员、常驻人员的分析方法及系统

Info

Publication number: CN111680059A
Application number: CN202010356697.1A
Authority: CN
Inventors: 张旭; 梁汝锋; 刘春阳; 刘正阳; 刘巨安
Original assignee: Beijing Blue Light Wit Network Technology Co ltd; National Computer Network and Information Security Management Center
Current assignee: Beijing Blue Light Wit Network Technology Co ltd; National Computer Network and Information Security Management Center
Priority date: 2020-04-29
Filing date: 2020-04-29
Publication date: 2020-09-18
Anticipated expiration: 2040-04-29
Also published as: CN111680059B

Abstract

本发明公开了一种基于特定区域的活跃人员、常驻人员的分析方法，其包括：S1、采集特定区域内的账户信息；S2、对账户信息进行去重；根据人员记录库中的账户信息更新人员统计库中的账户ID、账户的出现时间、账户所在地的经纬度以及账户的出现次数；S3、基于人员统计库，将出现次数排名靠前的账户标识为活跃人员；S4、基于人员记录库，从活跃人员中分别过滤出有效人员、稳定人员，有效人员和稳定人员的并集为常驻人员。本发明可有效地统计和识别出某个特定区域的社交渠道上的活跃人员和常驻人员，进而实现更加高效和多方面的支持网络舆情的分析工作。

Description

基于特定区域的活跃人员、常驻人员的分析方法及系统

技术领域

本发明涉及计算机信息技术领域。更具体地说，本发明涉及一种基于特定区域的活跃人员、常驻人员的分析方法及系统。

背景技术

当今社会，互联网发展十分迅速，导致网民的数量急剧上升。随着网民数量的上升，互联网越来越成为人们获取信息的主要途径，一些有影响力的门户网站，博客，社交工具逐渐变得越来越受欢迎。

众多社交工具成为受人们欢迎的交流方式之一。在互联网上，世界各地的信息每天都在以惊人的速度增长，如何实现对特定区域互联网上海量信息的抓取和分析成为人们研究网络舆情的重要难题。在技术领域上，目前特定区域社交工具信息的采集技术已趋于成熟，而对于特定区域活跃人员以及其中常驻人员的分析却缺乏比较科学的方法，所以需要一种关于特定区域活跃用户以及其中常驻人员分析的方法。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种基于特定区域的活跃人员、常驻人员的分析方法及装置，其可以有效地统计和识别出某个特定区域的社交渠道上的活跃人员和常驻人员，进而实现更加高效和多方面的支持网络舆情的分析工作。

为了实现根据本发明的这些目的和其它优点，提供了一种基于特定区域的活跃人员、常驻人员的分析方法，其包括：

S1、采集特定区域内的社交渠道上的所有出现的账户信息；

S2、对账户信息进行去重，并将去重后的账户信息存储至人员记录库中；根据人员记录库中的账户信息更新人员统计库中的账户ID、账户的出现时间、账户所在地的经纬度以及账户的出现次数；账户信息至少包括账户ID、账户所在地的经纬度以及被采集时间；

S3、基于人员统计库，将账户按出现次数从高到低的顺序进行排名；将出现次数排名靠前的账户标识为活跃人员；

S4、基于人员记录库，从活跃人员中分别过滤出有效人员、稳定人员，有效人员和稳定人员的并集为常驻人员；

有效人员、稳定人员的过滤具体为：

S41、统计活跃人员对应的账户的每天出现的最早时间和最晚时间，计算最早时间和最晚时间的时间间隔，并记为停留时长；

S42、对于任一活跃人员：若一定时间段内平均每天的停留时长大于第一预设值时，则将该活跃人员标识为有效人员；

S43、若一定时间段内每天停留时长大于第一预设值的天数大于第二预设值时，则将该活跃人员标识为稳定人员；有效人员和稳定人员的并集为常驻人员。

优选的是，基于特定区域的活跃人员、常驻人员的分析方法，还包括：计算常驻人员在一定时间段内出现的平均最早时间a和平均最晚时间b，若a与b形成的时间区间位于同一天的上午7时到下午19时之间的时长，和a与b形成的时间区间的总时长的比值大于0.5时，则将该常驻人员标识为白天人员。

优选的是，基于特定区域的活跃人员、常驻人员的分析方法，对账户信息进行去重，并将去重后的账户信息存储至人员记录库中具体为：将特定区域的ID、每条账户信息的账户ID和被采集时间组合成一个特征字符一，利用MurmurHash算法计算特征字符一的哈希值，记为唯一标识一；利用Bloomfilter算法查找内存记录中是否存在唯一标识一，若内存记录中不存在该唯一标识一时，则将该唯一标识一存储至内存记录中，并将该唯一标识一对应的账户信息存储至人员记录库中；若内存记录中存在该唯一标识一时，则该唯一标识一对应的账户信息不存储。

优选的是，基于特定区域的活跃人员、常驻人员的分析方法，根据人员记录库中的账户信息更新人员统计库中的账户ID、账户的出现时间、账户所在地的经纬度以及账户的出现次数具体为：将特定区域的ID、账户ID组合成一个特征字符二，利用MurmurHash算法计算特征字符二的哈希值，记为唯一标识二；利用Bloomfilter算法查找内存记录中是否存在唯一标识二，若内存记录中不存在该唯一标识二时，则将该唯一标识二存储至内存记录中，将该唯一标识二对应的账户信息中的账户ID、被采集时间和账户所在地的经纬度存储至人员记录库中，并将给被采集时间标识为账户的出现时间，并将该账户的出现次数记为1；若内存记录中存在该唯一标识二，则根据该唯一标识二对应的账户信息更新人员统计库中对应的账户的出现时间、账户所在地的经纬度，并将该账户的出现次数增加1。

优选的是，基于特定区域的活跃人员、常驻人员的分析方法，一定时间段为一个月；第一预设值为5小时；第二预设值为5天。

优选的是，基于特定区域的活跃人员、常驻人员的分析方法步骤S3中出现次数排名前200的账户标识为活跃人员。

本发明还提供一种基于特定区域的活跃人员、常驻人员的分析系统，其包括：

采集模块，其用于采集特定区域内的社交渠道上的所有出现的账户信息；

账户信息去重模块，其用于对账户信息进行去重，并将去重后的账户信息存储至人员记录库中；

人员统计库更新模块，其根据人员记录库中账户信息更新人员统计库中账户ID、账户的出现时间、账户所在地的经纬度以及账户的出现次数；账户信息包括账户ID、账户账号、账户所在地的经纬度以及被采集时间；

排序模块，其基于人员统计库，将账户按出现次数从高到低的顺序进行排名；将出现次数排名靠前的账户标识为活跃人员；

过滤模块，其用于基于人员记录库，从活跃人员中分别过滤出有效人员、稳定人员，有效人员和稳定人员的并集为常驻人员。

本发明还提供一种电子设备，包括：

至少一个处理器；

与所述至少一个处理器通信连接的存储器，其存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述方法。

本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述方法。

本发明至少包括以下有益效果：本发明通过定期扫描特定区域内社交渠道上的出现的账户信息，并对账户信息进行去重、统计、分析，从而快速、清晰地识别出特定区域内的活动于社交渠道上的活跃人员，进一步在活跃人员中识别出常驻人员，再经一步的从常驻人员中识别出白天人员，进而实现对社交渠道上的人员的识别与划分，以达到支持网络舆情高效的、多方面的分析工作。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明所述的基于特定区域的活跃人员、常驻人员的分析方法的流程示意图；

图2为本发明所述的基于特定区域的活跃人员、常驻人员的分析系统的结构示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得。

在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明提供一种基于特定区域的活跃人员、常驻人员的分析方法，其包括：

步骤100、采集特定区域内的社交渠道上的所有出现的账户信息；采集的账户信息自动存储至设备内存；定期扫描预设的地理坐标内的社交渠道上的所有出现的账户信息，此处的出现包括在线、隐身、忙碌、正在浏览朋友圈等，即只要在客户端启用了社交渠道应用的都算是出现的账户；

社交渠道包括微信、微博、推特facebook instagramgoogle+等；根据预设的地理坐标值限定特定区域。

步骤200、对账户信息进行处理：

步骤201、对账户信息进行去重，并将去重后的账户信息存储至人员记录库中：将特定区域的ID、每条账户信息的账户ID和被采集时间组合成一个特征字符一，利用MurmurHash算法计算特征字符一的哈希值，记为唯一标识一；利用Bloomfilter算法查找内存记录中是否存在唯一标识一，若内存记录中不存在该唯一标识一时，则将该唯一标识一存储至内存记录中，以为后续入库的账户信息去重使用，并将该唯一标识一对应的账户信息存储至人员记录库中；若内存记录中存在该唯一标识一时，则该唯一标识一对应的账户信息不存储至人员记录库中；

步骤202、根据人员记录库中的账户信息更新人员统计库中的账户ID、账户的出现时间、账户所在地的经纬度以及账户的出现次数：将特定区域的ID、账户ID组合成一个特征字符二，利用MurmurHash算法计算特征字符二的哈希值，记为唯一标识二；利用Bloomfilter算法查找内存记录中是否存在唯一标识二，若内存记录中不存在该唯一标识二时，则将该唯一标识二存储至内存记录中，将该唯一标识二对应的账户信息中的账户ID、被采集时间和账户所在地的经纬度存储至人员记录库中，并将给被采集时间标识为账户的出现时间，并将该账户的出现次数记为1；若内存记录中存在该唯一标识二，则根据该唯一标识二对应的账户信息更新人员统计库中对应的账户的出现时间(将该唯一标识二对应的被采集时间更新为该账户的出现时间)、账户所在地的经纬度(将该唯一标识二对应的账户被采集时所在地的经纬度更新为该账户所在地的经纬度)，并将该账户的出现次数增加1(在该账户原先的出现次数的基础上增加1)；

账户信息至少包括账户ID、账户所在地的经纬度以及被采集时间，还包括账户头像、账户昵称、账户登录状态、账户发布的朋友圈信息等；

利用抽取特征字符的方式，避免大文本计算哈希值导致的性能消耗，避免抽取算法不科学导致特征不明显；利用哈希值算法的"数字指纹"特性，提高信息查找、重复判断等操作的性能。

MurMurHash算法是一种非加密HASH算法，在性能方面与传统的CRC32，MD5，SHA-1等算法相比具备一定优势，且碰撞率比较低。

伪代码：

Bloom filter算法采用的是哈希函数的方法，将一个元素映射到一个m长度的阵列上的一个点，当这个点是1时，那么这个元素在集合内，反之则不在集合内；使用k个哈希函数对应k个点，如果所有点都是1的话，那么元素在集合内，如果有0的话，元素则不在集合内；

步骤300、基于人员统计库，将账户按出现次数从高到低的顺序进行排名；将出现次数排名靠前的账户标识为活跃人员，优选的是排名前200的账户标识为活跃人员；一定时间段内，特定区域范围内出现的账户个数应当多于200；将人员统计库中的多个账户按照出现次数从高到低进行排名，出现次数较高的即为在社交渠道上活动较频繁的账户，并将此账户标识为活跃人员；

步骤400、基于人员记录库中记录的账户信息，从活跃人员中过滤出有效人员、稳定人员，有效人员和稳定人员的并集为常驻人员；

有效人员、稳定人员的过滤具体为：

401、统计活跃人员对应的账户的每天出现的最早时间和最晚时间，计算最早时间和最晚时间的时间间隔，并记为停留时长；

402、对于任一活跃人员：若一定时间段内平均每天的停留时长大于第一预设值时，则将该活跃人员标识为有效人员；

403、若一定时间段内每天停留时长大于第一预设值的天数大于第二预设值时，则将该活跃人员标识为稳定人员；有效人员和稳定人员的并集为常驻人员；

404、计算常驻人员在一定时间段内出现的平均最早时间a和平均最晚时间b，若a与b形成的时间区间位于同一天的上午7时到下午19时之间的时长，和a与b形成的时间区间的总时长的比值大于0.5时，则将该常驻人员标识为白天人员；

一定时间段为一个月；第一预设值为5小时；第二预设值为5天。

如图2所示，本发明还提供一种基于特定区域的活跃人员、常驻人员的分析系统，其包括：

采集模块1，其用于采集特定区域内的社交渠道上的所有出现的账户信息；

账户信息去重模块2，其用于对账户信息进行去重，并将去重后的账户信息存储至人员记录库中；

人员统计库更新模块3，其根据人员记录库中账户信息更新人员统计库中账户ID、账户的出现时间、账户所在地的经纬度以及账户的出现次数；账户信息包括账户ID、账户账号、账户所在地的经纬度以及被采集时间；

排序模块4，其基于人员统计库，将账户按出现次数从高到低的顺序进行排名；将出现次数排名靠前的账户标识为活跃人员；

过滤模块5，其用于基于人员记录库，从活跃人员中分别过滤出有效人员、稳定人员，有效人员和稳定人员的并集为常驻人员。

本发明还提供一种电子设备，包括：

至少一个处理器；

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims

1.基于特定区域的活跃人员、常驻人员的分析方法，其特征在于，其包括：

S1、采集特定区域内的社交渠道上的所有出现的账户信息；

有效人员、稳定人员的过滤具体为：

2.如权利要求1基于特定区域的活跃人员、常驻人员的分析方法，其特征在于，还包括：计算常驻人员在一定时间段内出现的平均最早时间a和平均最晚时间b，若a与b形成的时间区间位于同一天的上午7时到下午19时之间的时长，和a与b形成的时间区间的总时长的比值大于0.5时，则将该常驻人员标识为白天人员。

3.如权利要求1基于特定区域的活跃人员、常驻人员的分析方法，其特征在于，对账户信息进行去重，并将去重后的账户信息存储至人员记录库中具体为：将特定区域的ID、每条账户信息的账户ID和被采集时间组合成一个特征字符一，利用MurmurHash算法计算特征字符一的哈希值，记为唯一标识一；利用Bloom filter算法查找内存记录中是否存在唯一标识一，若内存记录中不存在该唯一标识一时，则将该唯一标识一存储至内存记录中，并将该唯一标识一对应的账户信息存储至人员记录库中；若内存记录中存在该唯一标识一时，则该唯一标识一对应的账户信息不存储。

4.如权利要求3基于特定区域的活跃人员、常驻人员的分析方法，其特征在于，根据人员记录库中的账户信息更新人员统计库中的账户ID、账户的出现时间、账户所在地的经纬度以及账户的出现次数具体为：将特定区域的ID、账户ID组合成一个特征字符二，利用MurmurHash算法计算特征字符二的哈希值，记为唯一标识二；利用Bloom filter算法查找内存记录中是否存在唯一标识二，若内存记录中不存在该唯一标识二时，则将该唯一标识二存储至内存记录中，将该唯一标识二对应的账户信息中的账户ID、被采集时间和账户所在地的经纬度存储至人员记录库中，并将给被采集时间标识为账户的出现时间，并将该账户的出现次数记为1；若内存记录中存在该唯一标识二，则根据该唯一标识二对应的账户信息更新人员统计库中对应的账户的出现时间、账户所在地的经纬度，并将该账户的出现次数增加1。

5.如权利要求1基于特定区域的活跃人员、常驻人员的分析方法，其特征在于，一定时间段为一个月；第一预设值为5小时；第二预设值为5天。

6.如权利要求1基于特定区域的活跃人员、常驻人员的分析方法，其特征在于，步骤S3中出现次数排名前200的账户标识为活跃人员。

7.基于特定区域的活跃人员、常驻人员的分析系统，其特征在于，其包括：

8.电子设备，其特征在于，包括：

至少一个处理器；

与所述至少一个处理器通信连接的存储器，其存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6中任一项所述的方法。

9.存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现权利要求1-6中任一项所述的方法。