CN108011761A - 基于大数据的采集和分析访客数据的方法 - Google Patents

基于大数据的采集和分析访客数据的方法 Download PDF

Info

Publication number
CN108011761A
CN108011761A CN201711274116.4A CN201711274116A CN108011761A CN 108011761 A CN108011761 A CN 108011761A CN 201711274116 A CN201711274116 A CN 201711274116A CN 108011761 A CN108011761 A CN 108011761A
Authority
CN
China
Prior art keywords
data
smart machine
collection
facility information
visitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711274116.4A
Other languages
English (en)
Inventor
肖梦清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
E-House (china) Enterprise Group Ltd By Share Ltd
Original Assignee
E-House (china) Enterprise Group Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by E-House (china) Enterprise Group Ltd By Share Ltd filed Critical E-House (china) Enterprise Group Ltd By Share Ltd
Priority to CN201711274116.4A priority Critical patent/CN108011761A/zh
Publication of CN108011761A publication Critical patent/CN108011761A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于大数据的采集和分析访客数据的方法，包括：步骤1，采集智能设备的设备信息；步骤2，对采集的智能设备的设备信息进行过滤；步骤3，对过滤后的智能设备的设备信息进行整合。本发明基于大数据的采集和分析访客数据的方法利用智能wifi路由器，全自动不间断的采集数据，不需要花费太多人力和时间，即可完成数据采集，本发明覆盖范围更广，所采集生成数据更全面，通过高级算法，对数据进行过滤清洗，分类整合，统计分析，生成实时访客系统，客户画像系统，客户行为系统，为商家提供强大的数据分析情况。

Description

基于大数据的采集和分析访客数据的方法
技术领域
本发明涉及物理领域，尤其涉及信息处理技术，特别是一种基于大数据的采集和分析访客数据的方法。
背景技术
现阶段，人们的消费水平日益提升，外出消费，娱乐的频次也越来越高，很多大型场所，如购物中心，商场，品牌店，售楼处，旅游景点等都是客流聚集区。随着人流量的增加，商家的竞争也在迅速加剧，商家获取有效客户的成本也在增加，针对一些特殊场所，如品牌店、售楼处等，商家对来访客户尤为重视。如何获取来访用户的数据信息，进而基于大数据分析，做出正确的营销活动或重大决策，是商家亟待解决的问题。
现在访客数据的收集和分析依旧依靠传统人工来做，即安排工作人员，填表记录，做表格分析等。这样的数据采集不仅效率低下，覆盖面不全，数据维度不全，后期分析成本也较高。商家只能利用少量数据，做一些简单的图表分析，无法更深度的挖掘数据背后的价值。
发明内容
针对上述技术缺陷，本发明的目的在于提供一种解决上述技术问题的基于大数据的采集和分析访客数据的方法。
为解决上述技术问题，本发明提供的基于大数据的采集和分析访客数据的方法，包括：步骤1，采集智能设备的设备信息；步骤2，对采集的智能设备的设备信息进行过滤；步骤3，对过滤后的智能设备的设备信息进行整合。
步骤1包括：步骤1.1，终端扫描智能设备的无线信号并与智能设备建立连接；步骤1.2，采集智能设备的设备信息；步骤1.3，将终端的设备信息、采集到的智能设备的设备信息及环境信息整合成数据包发送至数据服务器并存储。
步骤1.3中，将终端的设备信息、采集到的智能设备的设备信息及环境信息整合成数据包以csv文件的格式发送至数据服务器并存储。
终端的设备信息为终端的mac标识码；智能设备的设备信息为智能设备的mac标识码；环境信息至少包括当前时间，智能设备进入案场时间及信号通道。
步骤2包括：步骤2.1，对存储的数据包进行处理；步骤2.2，对处理后的数据包进行过滤。
步骤2.1，对存储的数据包进行处理为对存储的数据包以3秒作为间隔进行分割，形成智能设备的mac标识码数据。
步骤2.2包括：步骤2.2.1，过滤路人的智能设备的mac标识码数据；步骤2.1.2，过滤工作人员的智能设备的mac标识码数据。
步骤2.2.1中，若智能设备的mac标识码数据的离开时间-进入时间≤480秒，则判定该智能设备的持有者为路人，该智能设备的mac标识码数据被剔除。
步骤3包括：步骤3.1，整合智能设备持有者的实时流量；步骤3.2，统计智能设备持有者的信息。
步骤3.2中，统计智能设备持有者的信息至少包括：籍贯、居住地、工作地、性别占比、婚姻占比、手机型号占比。
本发明基于大数据的采集和分析访客数据的方法利用智能wifi路由器，全自动不间断的采集数据，不需要花费太多人力和时间，即可完成数据采集，本发明覆盖范围更广，所采集生成数据更全面，通过高级算法，对数据进行过滤清洗，分类整合，统计分析，生成实时访客系统，客户画像系统，客户行为系统，为商家提供强大的数据分析情况。
附图说明
图1为本发明基于大数据的采集和分析访客数据的方法流程图。
具体实施方式
下面结合附图对本发明基于大数据的采集和分析访客数据的方法作进一步详细说明。
如图1所示，本发明基于大数据的采集和分析访客数据的方法包括：
1）数据采集部分
数据采集首先使用的硬件设备是智能wifi路由器，这款路由器比普通家用路由器功能强大，有wifi探针功能。即用户打开无线网后，wifi探针会主动扫描这一区域的无线信号，采集用户设备的mac码。
具体采集步骤：
1、首先把智能wifi路由器通电，并保障网络通畅。
2、路由器自带的wif探针会扫描一定区域范围内的无线信号，即手机无线发出的握手请求，一旦智能wifi路由器和用户设备握手成功，就会分析握手信号数据，采集设备的mac码等相关数据。
3、智能wifi路由器会每隔三分钟扫描这个区域所有wifi打开的手机，并握手采集数据（有可能是之前扫描过的，有可能是新的），然后将收集到的mac数据信息，以csv文件格式回传到数据服务器。回传的数据包括：智能wifi路由器的唯一mac标识码，用户连接设备的唯一mac标识码，当前时间，信号通道等。
4、数据服务器收到智能wifi回传的数据文件，采用程序分割csv文件，并把每条数据存入数据库。
2）数据过滤
智能wifi路由器每隔三分钟就会把采集的数据进行回传，如果用户一直停留在场所，则会一直有该用户的信息回传到服务器，直到用户离开。这里采用的是先入库再清洗的做法。即保留最原始的数据日志，后期对数据进行过滤。
具体过滤步骤和方案：
1、将采集回传的数据，以3秒进行分隔一组，过滤掉重复的用户mac，并保留用户mac的最小的采集时间，和最大采集时间，
2、得出一条完整的用户mac数据，包括：当天时间，用户设备mac，用户进入案场时间，用户离开案场时间，将每天采集的用户数据，以天为单位，存入新的数据表中。
3、过滤路人数据，因为智能wifi路由器扫描范围较大，约半径50米～100米，如果场所所在位置客流较多，会扫描到一些不是目标客户的人群，比如说路人。此时会有一套规则去判断采集到的用户mac信息是否是路人的，如果是，则进行过滤。
路人过滤规则：如果存在一条mac记录，离开时间-进入时间≤480秒，即用户停留时长小余8分钟，则判断为路人。
4、过滤黑名单用户数据，商户工作人员，保洁人员，附近常驻人员这些用户因为会经常出现在商家附近，容易被智能wifi路由器采集到信息，所以对这些人员定义为黑名单用户，进行过滤。
黑名单用户的过滤规则：记录15天内数据，满足以下任意一项视为“黑名单用户”
单天停留时长超过3小时。
15天内任意两天停留时长超过2.5小时。
15天内任意三天停留时长超过2小时。
15天内任意五天停留时长超过1小时。
路人规则和黑名单规则可根据数据采集和分析场景自定义设置。
3）数据整合
数据整合分为访客实时客流和访客行为画像
1、访客实时客流整合，依据采集的用户原始数据为基准，通过一定的算法，计算出当日采集总人数，当日用户平均停留时长，每日整点客流情况，累计采集人数，多次到访人数，每日新老客户数。
2、访客行为画像，因为用户设备的mac地址是唯一的，所以理论上，一条mac数据，对应着一个用户。
把所有用户mac作为一个群体，去请求数据供应商，从而返回这个群体的画像标签。包括籍贯省市top500，居住小区top100，工作大厦top100，线下休闲场所top500，线下看房top500（此处的top100及top500指的是经纬度坐标，可用此经纬度坐标去计算准确的小区及大厦名字等）性别占比，已婚未婚占比，手机型号占比，购物品类占比，手机应用apptop10，购物app应用top10，兴趣爱好top10等画像相关数据。
按照需求，做好城市经纬度坐标库，例如针对房地产开发商，可以做出城市现在正在售卖楼盘的经纬度坐标基础数据库。
利用数据供应商返回的群体行为轨迹，即群体用户所去过的top500的经纬度坐标去和步骤2所做的基础坐标库匹配，可以得出这些群体用户所去过的新开楼盘，可以为地产开发商提供决策支持，针对居住小区 线下休闲场所等可以定点投放广告，做营销活动。
以上已对本发明创造的较佳实施例进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明创造精神的前提下还可作出种种的等同的变形或替换，这些等同的变形或替换均包含在本申请的范围内。

Claims (10)

1.一种基于大数据的采集和分析访客数据的方法，其特征在于包括如下步骤：
步骤1，采集智能设备的设备信息；
步骤2，对采集的智能设备的设备信息进行过滤；步骤3，对过滤后的智能设备的设备信息进行整合。
2.根据权利要求1所述的基于大数据的采集和分析访客数据的方法，其特征在于，步骤1包括：
步骤1.1，终端扫描智能设备的无线信号并与智能设备建立连接；
步骤1.2，采集智能设备的设备信息；
步骤1.3，将终端的设备信息、采集到的智能设备的设备信息及环境信息整合成数据包发送至数据服务器并存储。
3.根据权利要求2所述的基于大数据的采集和分析访客数据的方法，其特征在于，步骤1.3中，将终端的设备信息、采集到的智能设备的设备信息及环境信息整合成数据包以csv文件的格式发送至数据服务器并存储。
4.根据权利要求2或3所述的基于大数据的采集和分析访客数据的方法，其特征在于，终端的设备信息为终端的mac标识码；智能设备的设备信息为智能设备的mac标识码；环境信息至少包括当前时间，智能设备进入案场时间及信号通道。
5.根据权利要求4所述的基于大数据的采集和分析访客数据的方法，其特征在于，步骤2包括：
步骤2.1，对存储的数据包进行处理；
步骤2.2，对处理后的数据包进行过滤。
6.根据权利要求5所述的基于大数据的采集和分析访客数据的方法，其特征在于，步骤2.1，对存储的数据包进行处理为对存储的数据包以3秒作为间隔进行分割，形成智能设备的mac标识码数据。
7.根据权利要求6所述的基于大数据的采集和分析访客数据的方法，其特征在于，步骤2.2包括：
步骤2.2.1，过滤路人的智能设备的mac标识码数据；
步骤2.1.2，过滤工作人员的智能设备的mac标识码数据。
8.根据权利要求7所述的基于大数据的采集和分析访客数据的方法，其特征在于，步骤2.2.1中，若智能设备的mac标识码数据的离开时间-进入时间≤480秒，则判定该智能设备的持有者为路人，该智能设备的mac标识码数据被剔除。
9.根据权利要求7所述的基于大数据的采集和分析访客数据的方法，其特征在于，步骤3包括：
步骤3.1，整合智能设备持有者的实时流量；
步骤3.2，统计智能设备持有者的信息。
10.根据权利要求9所述的基于大数据的采集和分析访客数据的方法，其特征在于，步骤3.2中，统计智能设备持有者的信息至少包括：籍贯、居住地、工作地、性别占比、婚姻占比、手机型号占比。
CN201711274116.4A 2017-12-06 2017-12-06 基于大数据的采集和分析访客数据的方法 Withdrawn CN108011761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711274116.4A CN108011761A (zh) 2017-12-06 2017-12-06 基于大数据的采集和分析访客数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711274116.4A CN108011761A (zh) 2017-12-06 2017-12-06 基于大数据的采集和分析访客数据的方法

Publications (1)

Publication Number Publication Date
CN108011761A true CN108011761A (zh) 2018-05-08

Family

ID=62056854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711274116.4A Withdrawn CN108011761A (zh) 2017-12-06 2017-12-06 基于大数据的采集和分析访客数据的方法

Country Status (1)

Country Link
CN (1) CN108011761A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188069A (zh) * 2019-05-21 2019-08-30 广东和新科技有限公司 一种csv文件存储方法、装置及计算机设备
CN110223110A (zh) * 2019-05-27 2019-09-10 浙江华坤道威数据科技有限公司 一种基于大数据的dsp广告分析系统
CN111126736A (zh) * 2018-11-01 2020-05-08 百度在线网络技术（北京）有限公司 企业客流量确定方法、装置、服务器及存储介质
CN111163490A (zh) * 2019-12-13 2020-05-15 南京华苏软件有限公司 一种基于手机mac进行家庭住户分析方法
CN112188478A (zh) * 2020-09-29 2021-01-05 浙江新再灵科技股份有限公司 基于大数据分析的常驻人口数据采集方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458456A (zh) * 2013-08-27 2013-12-18 中国科学院信息工程研究所 基于移动终端Wi-Fi数据的用户行为检测方法及装置
CN104778642A (zh) * 2015-03-20 2015-07-15 北京邮电大学 基于WiFi的校园用户数据处理方法、服务器和监测系统
CN106230653A (zh) * 2016-07-21 2016-12-14 深圳奇迹智慧网络有限公司 一种以mac码为主键的数据整合方法
CN106651437A (zh) * 2016-11-15 2017-05-10 武汉璞华大数据技术有限公司 一种基于大数据营销拓客的方法
CN106792456A (zh) * 2016-12-21 2017-05-31 浙江省公众信息产业有限公司 数据分析系统和方法
CN106982411A (zh) * 2017-03-20 2017-07-25 华南理工大学 一种基于wifi探针数据的实时客流统计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458456A (zh) * 2013-08-27 2013-12-18 中国科学院信息工程研究所 基于移动终端Wi-Fi数据的用户行为检测方法及装置
CN104778642A (zh) * 2015-03-20 2015-07-15 北京邮电大学 基于WiFi的校园用户数据处理方法、服务器和监测系统
CN106230653A (zh) * 2016-07-21 2016-12-14 深圳奇迹智慧网络有限公司 一种以mac码为主键的数据整合方法
CN106651437A (zh) * 2016-11-15 2017-05-10 武汉璞华大数据技术有限公司 一种基于大数据营销拓客的方法
CN106792456A (zh) * 2016-12-21 2017-05-31 浙江省公众信息产业有限公司 数据分析系统和方法
CN106982411A (zh) * 2017-03-20 2017-07-25 华南理工大学 一种基于wifi探针数据的实时客流统计方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126736A (zh) * 2018-11-01 2020-05-08 百度在线网络技术（北京）有限公司 企业客流量确定方法、装置、服务器及存储介质
CN111126736B (zh) * 2018-11-01 2023-09-01 百度在线网络技术（北京）有限公司 企业客流量确定方法、装置、服务器及存储介质
CN110188069A (zh) * 2019-05-21 2019-08-30 广东和新科技有限公司 一种csv文件存储方法、装置及计算机设备
CN110188069B (zh) * 2019-05-21 2021-06-29 广东和新科技有限公司 一种csv文件存储方法、装置及计算机设备
CN110223110A (zh) * 2019-05-27 2019-09-10 浙江华坤道威数据科技有限公司 一种基于大数据的dsp广告分析系统
CN111163490A (zh) * 2019-12-13 2020-05-15 南京华苏软件有限公司 一种基于手机mac进行家庭住户分析方法
CN112188478A (zh) * 2020-09-29 2021-01-05 浙江新再灵科技股份有限公司 基于大数据分析的常驻人口数据采集方法
CN112188478B (zh) * 2020-09-29 2023-04-07 浙江新再灵科技股份有限公司 基于大数据分析的常驻人口数据采集方法

Similar Documents

Publication Publication Date Title
CN108011761A (zh) 基于大数据的采集和分析访客数据的方法
CN105007171B (zh) 基于通信领域大数据的用户数据分析系统及方法
CN105657666B (zh) 一种基于手机定位数据的商务就业人群居住地识别方法
CN104050589B (zh) 一种社交公众平台广告点击转化率评估的方法及系统
JP4364936B1 (ja) 流動性人口推定システム、流動性人口推定方法及び流動性人口推定プログラム
CN111222744A (zh) 基于信令数据的建成环境与轨道客流分布关系确定方法
CN105208528B (zh) 一种用于识别同行人员的系统及方法
CN102849382A (zh) 一种社区垃圾分类数字化智能处理方法
TR201909349T4 (tr) Ampirik uzman belirleme ve soru yönlendirme sistemi ve yöntemi.
CN105451234B (zh) 一种基于信令交互数据的可疑号码分析方法及装置
CN108632746A (zh) 一种确定区域人流量的方法
CN106998262A (zh) 一种识别上网用户的系统与方法
CN107169805A (zh) 一种广告投放方法、装置及系统
CN108696420A (zh) 通讯网络中的消息推送方法和装置
CN102075850B (zh) 确定移动用户职业信息的方法及其装置
CN109151780A (zh) 一种基于wifi探针的数据采集方法、装置及系统
CN107637098B (zh) 后验估计一个或多个人群中的人数的方法和系统
CN115409434B (zh) 基于信令大数据的区域人口统计方法、系统及存储介质
EP3241367B1 (en) Method and system for real-time computing of origin-destination matrices relating to attendees at a public happening through analysis of mobile communication network data
CN103810623A (zh) 一种实时的自动营销方法及系统
CN103701693A (zh) 通讯过程中的消息处理方法和系统
CN114741612B (zh) 一种基于大数据的消费习惯分类方法、系统和存储介质
CN101557582B (zh) 一种移动通信用户信息统计方法及装置
CN106357742A (zh) 一种营销系统
CN102594966A (zh) 一种在手机上显示未知来电号码信息的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180508

WW01 Invention patent application withdrawn after publication