CN116887339B - 一种基于WiFi探针的实时客流统计系统及方法 - Google Patents

一种基于WiFi探针的实时客流统计系统及方法 Download PDF

Info

Publication number
CN116887339B
CN116887339B CN202311150210.4A CN202311150210A CN116887339B CN 116887339 B CN116887339 B CN 116887339B CN 202311150210 A CN202311150210 A CN 202311150210A CN 116887339 B CN116887339 B CN 116887339B
Authority
CN
China
Prior art keywords
data
attribute
mac
passenger flow
wifi probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311150210.4A
Other languages
English (en)
Other versions
CN116887339A (zh
Inventor
黄昊权
胡聪浩
陈爱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongke Isen Technology Co ltd
Original Assignee
Shenzhen Zhongke Isen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongke Isen Technology Co ltd filed Critical Shenzhen Zhongke Isen Technology Co ltd
Priority to CN202311150210.4A priority Critical patent/CN116887339B/zh
Publication of CN116887339A publication Critical patent/CN116887339A/zh
Application granted granted Critical
Publication of CN116887339B publication Critical patent/CN116887339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/1396—Protocols specially adapted for monitoring users' activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于WiFi探针的实时客流统计系统及方法，涉及客流统计技术领域，所述系统包括：WiFi探针设备以及客流统计设备，WiFi探针设备上设置有WiFi探针采集模块、数据处理模块，客流统计设备采用服务器；WiFi探针采集模块实时扫描监测范围内的客流，以采集周边设备的MAC地址信息，周边设备包括移动终端和无线路由器，数据处理模块对WiFi探针采集模块采集到的数据包进行解包处理，将处理后的数据去重后，按照上传周期发送到客流统计的服务器，服务器基于特定的算法对接收到的数据进行客流统计；本发明通过多个通信信道切换的采集方式，提高了采集效率，节省了硬件成本，并通过解包处理获取有效数据，去除重复数据，实现对客流高效、准确的统计。

Description

一种基于WiFi探针的实时客流统计系统及方法
技术领域
本发明涉及客流统计技术领域，特别是涉及一种基于WiFi探针的实时客流统计系统及方法。
背景技术
在商场或者景区等人流量较大的地方，商户或者景区管理部门会有对每天客流量统计的需求。现有客流统计技术的缺点：（1）人工计数法，消耗较高的人力成本，容易出错；（2）红外线计数法，同一个人在同一个位置进出会被反复统计，导致统计误差，同时需要部署在出入口处，位置上有限制；（3）摄像头计数法，人脸信息比较敏感，容易导致隐私问题；同时因为需要对图像进行分析处理，需要较大的计算资源。
WiFi通信的无线信号是在空中传播的，通过相应的硬件和软件工具，可以监听到在空中传输的数据包，对这些数据包解析之后，可以拿到手机等智能设备的MAC地址，其可应用于信息安全、客流统计、商场热点区域分析、考勤打卡等领域中。
基于个人隐私的考虑，移动设备如手机，在没有连接上WiFi热点，进行热点探测的时候，发出的探测请求信号携带的MAC地址并非手机本身的真实MAC地址，而是伪造的随机MAC地址。由于这个原因，现有的探测设备在手机没有连接热点的状态下探测不到手机真实的MAC地址。目前智能手机的最新系统在上述随机伪MAC机制上进行了进一步的提升，在手机等终端连接热点的情况下，用户依然可以选择使用伪MAC地址而非真实MAC进行通信，也可以选择使用真实MAC进行通信。
因为WiFi MAC地址的唯一性，且如今生活中几乎人手一台手机，可以认为一台手机代表了一个人。通过对出现的手机等无线设备进行去重的统计，能够得到较为准确的人数估计；同时又因为手机伪MAC地址的存在，需要对短时间内持续变化的伪MAC地址进行过滤，避免因为这类MAC引起较大的统计误差。因此，加强WiFi探针技术在客流量统计方面的应用具有重要的应用价值，是值得研究的重要课题。
发明内容
本发明的目的是提供一种基于WiFi探针的实时客流统计系统及方法，通过多个通信信道切换的采集方式，提高采集效率，节省硬件成本，并通过解包处理获取有效数据，去除重复数据，实现对客流高效、准确的统计。
为实现上述目的，本发明提供了如下方案：
一种基于WiFi探针的实时客流统计系统，包括：WiFi探针设备以及客流统计设备，所述WiFi探针设备上设置有WiFi探针采集模块、数据处理模块；所述客流统计设备采用服务器，所述客流统计设备与所述WiFi探针设备通信连接；
所述WiFi探针采集模块用于实时扫描监测范围内的客流，以采集周边设备的MAC地址信息形成数据包，所述周边设备包括移动终端和无线路由器；
所述数据处理模块对所述WiFi探针采集模块采集到的数据包进行解包处理，将处理后的数据去重后，按照上传周期发送到所述服务器，所述服务器基于接收到的数据进行客流统计；
其中，所述WiFi探针采集模块包括至少两个不同频段的采集子模块，每个采集子模块支持多个通信信道，所述WiFi探针采集模块实时扫描监测范围内的客流时，多个通信信道按编号从小到大的顺序进行定时切换，其中，在编号最大的通信信道完成数据采集后，切换到编号最小的通信信道继续进行数据采集，如此循环往复。
进一步地，所述WiFi探针采集模块包括两个不同频段的采集子模块，分别为1个2.4G采集模块、1个5G采集模块，分别在2.4G和5G频段上进行数据采集。
进一步地，所述2.4G采集模块和5G采集模块均支持13个通信信道。
进一步地，所述定时切换的时间间隔为200毫秒。
进一步地，所述上传周期为1分钟。
本发明还提供一种基于WiFi探针的实时客流统计方法，应用于上述的基于WiFi探针的实时客流统计系统，包括以下步骤：
S1，WiFi探针采集模块实时扫描监测范围内的客流，以采集周边设备的MAC地址信息形成数据包，所述周边设备包括移动终端和无线路由器，其中，WiFi探针采集模块实时扫描监测范围内的客流时，WiFi探针的多个通信信道按编号从小到大的顺序进行定时切换，在编号最大的通信信道完成数据采集后，切换到编号最小的通信信道继续进行数据采集，如此循环往复；
S2，数据处理模块对WiFi探针采集模块采集到的数据包进行解包处理，将处理后的数据去重后，按照上传周期发送到服务器（即客流统计设备）；其中，所述解包处理包括：通过拆包解析得到数据包的多项基础属性，增加设备身份属性、时间戳属性，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据包进行数据去重处理，得到解包后的有效数据；
S3，服务器基于数据处理模块上传的有效数据进行客流统计。
进一步地，所述步骤S2中，通过拆包解析得到数据包的多项基础属性，增加设备身份属性、时间戳属性，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据包进行数据去重处理，得到解包后的有效数据，具体包括：
S201，将所述数据包拆包解析得到数据包的基础属性，包括信号发射源MAC（TxMAC）、信号接收目的MAC（Rx MAC）、802.11协议中的帧主类型（Type）、802.11协议中的帧子类型（Subtype）、通信信道编号（Channel）、数据包信号强度（Rssi）；
S202，从数据包中拆包解析出基础属性后，增加设备身份（DeviceId）属性，用于标识获取所述数据包的WiFi探针，增加通过网络时间同步的时间戳（Timestamp）属性，用于描述采集到所述数据包的时间；
S203，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据包进行数据去重处理，得到待上传的有效数据。
进一步地，所述步骤S203，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据包进行数据去重处理，得到待上传的有效数据，具体包括：
S2031，每个数据包的基础属性以及增加的设备身份属性、时间戳属性组装为一条记录，多条记录组成一批待上传的数据记录组合。定义用于存储所有待上传数据记录的数据缓存集合为DS，定义DS中的单条记录为CR，定义当前采集到的记录为NR；
S2032，判断NR中的信号发射源MAC属性有没有在DS中，若没有，则将NR加入到DS，结束处理；若有，设DS中有NR中的信号发射源MAC属性的记录为CR1，进入下一步；
S2033，判断NR中的数据包信号强度属性是否大于CR1中的数据包信号强度属性，如果是，则用NR中的数据包信号强度属性覆盖CR1中的数据包信号强度属性，然后进行下一步；如果否，直接进行下一步；
S2034，判断是否CR1中帧主类型为0且帧子类型为8；如果是，确定CR1是一个beacon帧（即信标帧）记录，则丢弃NR不做覆盖处理，结束处理；如果否，进行下一步；
S2035，判断是否CR1中帧主类型为0且帧子类型为4，如果是，确定NR是一个移动终端的probe request帧（探测请求帧）记录，则丢弃NR，结束处理；如果否，进行下一步；
S2036，判断是否CR1中帧主类型为2，如果是，则用NR中的信号接收目的MAC（RxMAC）、802.11协议中的帧主类型（Type）、802.11协议中的帧子类型（Subtype）、通信信道编号（Channel）、时间戳（Timestamp）属性覆盖CR1中对应的属性，结束处理；如果否，丢弃NR，结束处理。
进一步地，所述步骤S3，服务器基于数据处理模块上传的有效数据进行客流统计，具体包括：
S301，定义用于存储无线路由器MAC的缓存集合为APS，定义用于存储随机伪MAC的缓存集合为RMS，定义随机伪MAC为RM，定义特定随机伪MAC的出现次数为RM_CNT，定义接收到的当前正在处理的数据记录为NR’，定义客流MAC集合为CMS；
S302，若NR’中帧主类型为0且帧子类型为8，即NR’为beacon帧，将NR’中的信号发射源MAC（Tx MAC）和设备身份（DeviceId）作为一个组合属性，如果APS中存在相同的组合属性则将该组合属性的有效时间重置为1个小时，否则新增该组合属性，同时将该组合属性的有效时间设置为1个小时，超过有效时间后，会将此组合属性从APS中移除，进入下一步；
S303，若NR’的帧主类型为0且帧子类型为4，即NR’为probe request帧，将NR’中的信号发射源MAC（Tx MAC）和设备身份（DeviceId）作为一个组合属性，如果RMS中不存在该组合属性，则新增该组合属性到RMS中，并将该组合属性的RM_CNT设置为1，同时将该属性的有效时间设置为11分钟；如果RMS中存在该组合属性，则将该组合属性的RM_CNT加1，同时将该属性的有效时间设置为4小时，超过有效时间后，会将此组合属性从RMS中移除，进入下一步；
S304，若NR’中的信号发射源MAC（Tx MAC）不在APS中，同时不在RMS中；或者在RMS中的话RM_CNT大于1；当满足其中任意一个条件时，并且数据包信号强度（Rssi）的值大于用户设置的阈值的情况下，如果信号发射源MAC（Tx MAC）在CMS中则重新设置Tx MAC的超时时间为10分钟，否则新增信号发射源MAC（Tx MAC）记录，客流总数加1，同时设置Tx MAC的超时时间为10分钟，如果Tx MAC超过10分钟没有再次被统计为客流，将其从CMS中移除，客流总数减1。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于WiFi探针的实时客流统计系统及方法，（1）通过WiFi探针采集模块的多个通信信道定时切换的方式，可以节省硬件的成本，不需要每个通信信道使用1个模块来采集，同时降低硬件设计的复杂度，减小采集硬件的体积，提高采集效率；（2）在WiFi探针采集模块采集到数据后，通过数据处理模块进行解包处理，包括拆包解析得到数据包的多项基础属性，增加设备身份属性、时间戳属性，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据记录进行数据去重处理等等，减少数据的重复上传，以及更好的分辨出采集到的是手机的MAC还是WiFi路由器的MAC，从而得到待上传的有效数据，确保数据的有效性，减轻服务器进行客流统计的运算负担，提高运算处理效率；（3）为了能够有效的统计出较为准确的客流数据，本发明还可以过滤掉WiFi探针采集模块采集到的无线路由器的MAC，过滤掉手机等无线终端设备快速变化的随机伪MAC，最终实现对客流高效、准确的统计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于WiFi探针的实时客流统计方法的流程图；
图2为本发明数据处理模块进行解包处理的流程图；
图3为本发明客流统计设备进行客流统计的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于WiFi探针的实时客流统计系统及方法，通过多个通信信道切换的采集方式，提高采集效率，节省硬件成本，并通过解包处理获取有效数据，去除重复数据，实现对客流高效、准确的统计。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的基于WiFi探针的实时客流统计系统，包括：
WiFi探针设备以及客流统计设备，所述WiFi探针设备上设置有WiFi探针采集模块、数据处理模块；所述客流统计设备采用服务器，所述客流统计设备与所述WiFi探针设备通信连接；
示例地，数据处理模块也就是WiFi探针设备的核心处理器，具体可以采用Xtensa® 32-bit LX6双核处理器，具备520KB的内存，也可以使用Arm系列的处理器等等；
所述WiFi探针采集模块用于实时扫描监测范围内的客流，以采集周边设备的MAC地址信息，形成数据包，所述周边设备包括移动终端和无线路由器，所述数据处理模块对所述WiFi探针采集模块采集到的数据包进行解包处理，将处理后的数据去重后，按照上传周期发送到服务器（即客流统计设备），所述服务器基于特定的算法对接收到的数据进行客流统计；
其中，所述WiFi探针采集模块包括至少两个不同频段的采集子模块，每个采集子模块支持多个通信信道， WiFi探针采集模块实时扫描监测范围内的客流时，多个通信信道按编号从小到大的顺序进行定时切换，在信道编号最大的通信信道完成采集后，接下来会切换到信道编号最小的通信信道，如此循环往复。
所述WiFi探针采集模块包括两个不同频段的采集子模块，分别为1个2.4G采集模块、1个5G采集模块，分别在2.4G和5G频段上进行数据采集，从而提升采集的效率。
2.4G频段在国内有1到13总计13个有效的信道，WiFi探针的采集策略是按信道号从小到大的顺序进行切换，信道切换的间隔为 200毫秒，在13信道采集完成后，再次切换回1信道进行采集，如此循环往复。在5G频段上的采集策略和2.4G频段类似。通过信道定时切换的方式，可以节省硬件的成本，不需要每个信道使用1个采集模块来采集，同时降低硬件设计的复杂度，减小采集硬件的体积。之所以选用200毫秒，是因为在信道切换时间为200毫秒的情况下，在所有信道上采集一遍需要花费2.6秒，时间跨度较短，对于快速路过的设备也有较大概率能抓取到，同时由于信道切换操作需要消耗采集模块的系统资源，从开始切换到可以采集到数据会有一定的延迟，如果切换频率过高，那么实际用于采集的时间就会更少，导致采集效率变低。在实际对比测试中，使用了100毫秒、200毫秒、500毫秒、1000毫秒等值进行对比测试，发现200毫秒的采集效率较其他的测试值有一定优势，所以确定了信道的切换时间为200毫秒。
本发明还提供一种基于WiFi探针的实时客流统计方法，应用于上述的基于WiFi探针的实时客流统计系统，包括以下步骤：
S1，WiFi探针采集模块实时扫描监测范围内的客流，以采集周边设备的MAC地址信息，所述周边设备包括移动终端和无线路由器，其中，WiFi探针采集模块实时扫描监测范围内的客流时，WiFi探针的多个通信信道按编号从小到大的顺序进行定时切换，在信道编号最大的通信信道完成采集后，接下来会切换到信道编号最小的通信信道，如此循环往复；
S2，数据处理模块对WiFi探针采集模块上传的数据包进行解包处理，将处理后的数据去重后，按照上传周期发送到服务器；其中，所述解包处理包括：通过拆包解析得到数据包的多项基础属性，增加设备身份属性、时间戳属性，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据包进行数据去重处理，得到解包后的有效数据；
S3，服务器基于数据处理模块上传的有效数据进行客流统计。
其中，所述步骤S2中，
在WiFi探针采集模块采集到数据后，数据处理模块对数据包进行拆包解析，拆包解析的属性的中英文对照如下：
Tx MAC：信号发射源MAC；
Rx MAC：信号接收目的MAC；
Type：802.11协议中的帧主类型，有管理帧、控制帧、数据帧三大类；
Subtype：802.11协议中的帧子类型，比如帧主类型为0，帧子类型为8的情况下，表示的是一个无线路由器发出来的信标帧，即beacon帧，这个帧可以用于区分路由和非路由设备；
Channel：WiFi设备通信的信道；
Rssi：探针设备接收到的数据包的信号强度，可以用于反映无线设备距离WiFi探针的距离远近。
从数据包中提取出上述属性后，增加一个DeviceId属性，用于标识获取所述数据包的WiFi探针，增加一个通过网络时间同步的Timestamp属性，用于描述采集到所述数据包的时间，每个数据包提取的属性组装为1条记录，每条记录之间采用\n换行符进行分隔，这样多条记录就组成了一批待上报的数据记录组合。
本案例采用的数据采集和处理硬件是小型化的硬件，采用了Xtensa® 32-bitLX6双核处理器，内存520KB，从硬件的内存容量限制、降低服务器并行处理硬件上报数据的计算压力、反映客流状态变化实时性的手机MAC是否被采集到等因素考虑，数据上报的周期设置为1分钟，上传周期内的重复数据会进行去重，节省网络带宽和降低计算消耗，1分钟内采集到的数据在有限的硬件内存中可以完全缓存，客流采集硬件即使达到上万台，平均每秒的数据上报请求量也就几百，不会给服务器造成太大压力，有效手机MAC从被采集到被统计的延时最多在1分钟。
为了减少数据的重复上传，以及更好的分辨出采集到的是手机的MAC还是WiFi路由器的MAC，会对上传周期内的数据记录进行数据去重等额外处理。
定义用于存储所有待上传的数据缓存集合为DS（Data Set），定义DS中的单条记录为CR（Cached Record，缓存的记录)，定义当前采集到的记录为NR(New Record，新记录），定义信号发射源MAC为Tx MAC，定义信号接收目的MAC为Rx MAC。具体的处理步骤如图2所示，包括：
1，判断NR中的信号发射源MAC属性有没有在DS中，若没有，则将NR加入到DS，结束处理；若有，设DS中有NR中的信号发射源MAC属性的记录为CR1，进入下一步；
2，判断NR中的数据包信号强度属性是否大于CR1中的数据包信号强度属性，如果是，则用NR中的数据包信号强度属性覆盖CR1中的数据包信号强度属性，然后进行下一步；如果否，直接进行下一步；
3，判断是否CR1中帧主类型为0且帧子类型为8；如果是，确定CR1是一个beacon帧（即信标帧）记录，则丢弃NR不做覆盖处理，结束处理；如果否，进行下一步；
4，判断是否CR1中帧主类型为0且帧子类型为4，如果是，确定NR是一个移动终端的probe request帧（即探测请求帧）记录，则丢弃NR，结束处理；如果否，进行下一步；
5，判断是否CR1中帧主类型为2，如果是，则用NR中的信号接收目的MAC（Rx MAC）、802.11协议中的帧主类型（Type）、802.11协议中的帧子类型（Subtype）、通信信道编号（Channel）、时间戳（Timestamp）属性覆盖CR1中对应的属性，结束处理；如果否，丢弃NR，结束处理。
上述处理步骤的目的：
第2步，拿到周期内的最强信号强度，方便服务端业务估算被采集到的无线设备距离探针最近时的距离。
第3步，优先保留能够明确判别为路由器MAC的记录，剩下的就是非路由器的记录，便于后续进行的客流统计。
第4步，通过实验发现影响客流统计的随机伪MAC只出现在probe request帧中（即探测请求帧），在缓存中有其他相同Tx MAC的记录的情况下，丢弃掉该条NR，可以减少服务端额外处理该类型帧，减少服务端的计算量。
第5步，允许被NR覆盖的数据，使用最新的属性替换旧属性。
使用上述步骤对数据记录进行去重处理后，DS中的数据按周期上传至服务器进行客流统计，每次数据上传完成后，清空掉DS中的数据。
WiFi探针采集的是周边所有的MAC数据，而客流统计需要统计的是非无线路由器的MAC数据，比如手机、ipad等终端的MAC数据，由于探针硬件的存储能力、计算能力有限，同时在服务器做处理算法逻辑的更新比较灵活，不用每次有策略更改的时候就需要升级所有的探针硬件，所以数据过滤和客流统计的算法部分放在服务器处理。
为了能够有效的统计出较为准确的客流数据，需要解决以下几个问题：
需要过滤掉WiFi探针采集到的无线路由器的MAC；
需要过滤掉手机等无线终端设备快速变化的随机伪MAC 。
因此，所述步骤S3，服务器基于数据处理模块上传的有效数据进行客流统计，具体包括：
S301，定义用于存储无线路由器MAC的缓存集合为APS(AP Set)，定义用于存储随机伪MAC的缓存集合为RMS(Random Mac Set)，定义随机伪MAC为RM(Random Mac)，定义特定随机伪MAC的出现次数为RM_CNT，定义接收到的当前正在处理的数据记录为NR’，定义客流MAC集合为CMS(Customer Mac Set)；
S302，若NR’中帧主类型为0且帧子类型为8，即NR’为beacon帧，将NR’中的信号发射源MAC（Tx MAC）和设备身份（DeviceId）作为一个组合属性，如果APS中存在相同的组合属性则将该组合属性的有效时间重置为1个小时，否则新增该组合属性，同时将该组合属性的有效时间设置为1个小时，超过有效时间后，会将此组合属性从APS中移除，进入下一步；
S303，若NR’的帧主类型为0且帧子类型为4，即NR’为probe request帧，将NR’中的信号发射源MAC（Tx MAC）和设备身份（DeviceId）作为一个组合属性，如果RMS中不存在该组合属性，则新增该组合属性到RMS中，并将该组合属性的RM_CNT设置为1，同时将该属性的有效时间设置为11分钟；如果RMS中存在该组合属性，则将该组合属性的RM_CNT加1，同时将该属性的有效时间设置为4小时，超过有效时间后，会将此组合属性从RMS中移除，进入下一步；
S304，若NR’中的信号发射源MAC（Tx MAC）不在APS中，同时不在RMS中；或者在RMS中的话RM_CNT大于1；当满足其中任意一个条件时，并且数据包信号强度（Rssi）的值大于用户设置的阈值的情况下，如果信号发射源MAC（Tx MAC）在CMS中则重新设置Tx MAC的超时时间为10分钟，否则新增信号发射源MAC（Tx MAC）记录，客流总数加1，同时设置Tx MAC的超时时间为10分钟，如果Tx MAC超过10分钟没有再次被统计为客流，将其从CMS中移除，客流总数减1。
上述处理步骤的目的：
第S302步，将Tx MAC和DeviceId作为一个组合属性，而不是直接将Tx MAC作为属性放入APS中，是因为探针上报的Tx MAC数据能匹配到DeviceId，特定探针采集到的beacon帧只需要在该探针采集到的数据集里面进行匹配，避免因为其他探针采集到错误数据而导致统计结果错误；属性的有效时间设置为1个小时，是为了防止APS无限增长，可以将不再提供服务的无线路由器MAC移出APS，比如手机开的移动热点，从而降低服务资源消耗。有效时间不设置太短，是为了防止APS出现频繁的移出和写入操作，也是为了降低服务资源消耗。
第S303步，由于发现部分手机在未连接热点时发射的probe request帧的Tx MAC地址的第2个字符是0、4、8、C这4个字符中的一个，而且也是会随机变化的，所以一般的做法根据第2个字符是0、4、8、C就判断为非随机伪MAC的处理逻辑就会失效，从而导致统计错误，所以本发明对判断随机伪MAC的机制进行了优化。
这里先对MAC地址以及一般的判断随机MAC的机制进行说明：MAC地址由48个bit组成，第2个字符代表的是第5到第8个bit。第7个bit为1表示本地地址，随机MAC一般会把第7个bit置为1；第8个bit为1表示广播地址，手机等终端一般不会使用广播地址，所以一般真实的非随机MAC第7、8bit都为0，此时第5到第8bit的组合情况有0000、0100、1000、1100这4种，将其转换为16进制的表示就是0、4、8、C，所以MAC第2个字符为0、4、8、C其中的一个一般会判断为非随机MAC。
以下面的2个MAC为例：
CCDBA7538F50
C2DBA7538F50
一般会认为第1个MAC为非随机MAC，第2个字符为C；
第2个MAC为随机MAC，第2个字符为2。
未连接热点的手机在2.4G和5G的所有信道上面发射一轮probe request帧（探测请求帧）的耗时在10秒钟左右，绝大部分手机同一轮次内的Tx MAC不变，到下一轮次时TxMAC会随机改变，又因为上传的周期是1分钟，所以probe request中的Tx MAC只要在2个上传周期中都存在，那么就说明该Tx MAC不会在10秒左右就发生一次变化，而是在发射多轮probe request后依然保持稳定，可以作为一个稳定的唯一ID记为1个客流。由于未连接WiFi热点的手机产生的RM会很多，所以RM_CNT为1的RM过期时间设置的较短，减少需缓存的RM数量；RM_CNT大于1的RM过期时间设置的较长，因为这类数据被认为是有效客流，短时间内不会频繁变化，该策略可以避免频繁的移出和写入操作，降低服务资源消耗。
第S304步，满足不是无线路由器MAC和随机伪MAC条件的MAC并且Rssi值大于客户设置的阈值的MAC会被统计为客流，因为探针在空旷环境下的采集半径可能会达到100米以上，有些店铺的面积没有这么大，只关心在店内采集到的MAC的话，需要把Rssi强度值比较弱的数据过滤掉，Rssi强度值较弱说明被采集到的无线设备离WiFi探针相对比较远。CMS中存在的客流MAC超时时间设置为10分钟，这是目前采用的值，这个值也可以修改以符合不同的需求。CMS中新增Tx MAC会使客流总数加1，CMS中移除Tx MAC会使客流总数减1，覆盖写入的话只更新特定Tx MAC的超时时间。对于10分钟内没有被再次统计为客流的客流MAC，会将其从实时客流中移除，视为该客流已经离开，客流总数减1。比如移动到别处离开探针采集范围超过10分钟的手机就会触发该条策略。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于WiFi探针的实时客流统计系统，其特征在于，包括：WiFi探针设备以及客流统计设备，所述WiFi探针设备上设置有WiFi探针采集模块、数据处理模块；所述客流统计设备采用服务器，所述客流统计设备与所述WiFi探针设备通信连接；
所述WiFi探针采集模块用于实时扫描监测范围内的客流，以采集周边设备的MAC地址信息形成数据包，所述周边设备包括移动终端和无线路由器；
所述数据处理模块对所述WiFi探针采集模块采集到的数据包进行解包处理，将处理后的数据去重后，按照上传周期发送到所述服务器，所述服务器基于接收到的数据进行客流统计；所述解包处理包括：通过拆包解析得到数据包的多项基础属性，增加设备身份属性、时间戳属性，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据记录进行数据去重处理，得到待上传的有效数据；所述服务器基于接收到的数据进行客流统计，具体为：服务器基于数据处理模块上传的有效数据进行客流统计，具体包括：
S301，定义用于存储无线路由器MAC的缓存集合为APS，定义用于存储随机伪MAC的缓存集合为RMS，定义随机伪MAC为RM，定义特定随机伪MAC的出现次数为RM_CNT，定义接收到的当前正在处理的数据记录为NR’，定义客流MAC集合为CMS；
S302，若NR’中帧主类型为0且帧子类型为8，即NR’为信标帧，将NR’中的信号发射源MAC和设备身份作为一个组合属性，如果APS中存在相同的组合属性则将该组合属性的有效时间重置为1个小时，否则新增该组合属性，同时将该组合属性的有效时间设置为1个小时，超过有效时间后，会将此组合属性从APS中移除，进入下一步；
S303，若NR’的帧主类型为0且帧子类型为4，即NR’为探测请求帧，将NR’中的信号发射源MAC和设备身份作为一个组合属性，如果RMS中不存在该组合属性，则新增该组合属性到RMS中，并将该组合属性的RM_CNT设置为1，同时将该属性的有效时间设置为11分钟；如果RMS中存在该组合属性，则将该组合属性的RM_CNT加1，同时将该属性的有效时间设置为4小时，超过有效时间后，会将此组合属性从RMS中移除，进入下一步；
S304，若NR’中的信号发射源MAC不在APS中，同时不在RMS中；或者在RMS中的话RM_CNT大于1；当满足其中任意一个条件时，并且数据包信号强度的值大于用户设置的阈值的情况下，如果信号发射源MAC在CMS中则重新设置信号发射源MAC的超时时间为10分钟，否则新增信号发射源MAC记录，客流总数加1，同时设置信号发射源MAC的超时时间为10分钟，如果信号发射源MAC超过10分钟没有再次被统计为客流，将其从CMS中移除，客流总数减1；
其中，所述WiFi探针采集模块包括至少两个不同频段的采集子模块，每个采集子模块支持多个通信信道，所述WiFi探针采集模块实时扫描监测范围内的客流时，多个通信信道按编号从小到大的顺序进行定时切换，其中，在编号最大的通信信道完成数据采集后，切换到编号最小的通信信道继续进行数据采集，如此循环往复。
2.根据权利要求1所述的基于WiFi探针的实时客流统计系统，其特征在于，所述WiFi探针采集模块包括两个不同频段的采集子模块，分别为1个2.4G采集模块、1个5G采集模块，分别在2.4G和5G频段上进行数据采集。
3.根据权利要求2所述的基于WiFi探针的实时客流统计系统，其特征在于，所述2.4G采集模块和5G采集模块均支持13个通信信道。
4.根据权利要求1-3任一所述的基于WiFi探针的实时客流统计系统，其特征在于，所述定时切换的时间间隔为200毫秒。
5.根据权利要求1-3任一所述的基于WiFi探针的实时客流统计系统，其特征在于，所述上传周期为1分钟。
6.一种基于WiFi探针的实时客流统计方法，其特征在于，应用于权利要求1-5任一所述的基于WiFi探针的实时客流统计系统，包括以下步骤：
S1，WiFi探针采集模块实时扫描监测范围内的客流，以采集周边设备的MAC地址信息形成数据包，所述周边设备包括移动终端和无线路由器，其中，WiFi探针采集模块实时扫描监测范围内的客流时，WiFi探针的多个通信信道按编号从小到大的顺序进行定时切换，在编号最大的通信信道完成数据采集后，切换到编号最小的通信信道继续进行数据采集，如此循环往复；
S2，数据处理模块对WiFi探针采集模块采集到的数据包进行解包处理，将处理后的数据去重后，按照上传周期发送到服务器；其中，所述解包处理包括：通过拆包解析得到数据包的多项基础属性，增加设备身份属性、时间戳属性，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据记录进行数据去重处理，得到待上传的有效数据；
S3，服务器基于数据处理模块上传的有效数据进行客流统计，具体包括：
S301，定义用于存储无线路由器MAC的缓存集合为APS，定义用于存储随机伪MAC的缓存集合为RMS，定义随机伪MAC为RM，定义特定随机伪MAC的出现次数为RM_CNT，定义接收到的当前正在处理的数据记录为NR’，定义客流MAC集合为CMS；
S302，若NR’中帧主类型为0且帧子类型为8，即NR’为信标帧，将NR’中的信号发射源MAC和设备身份作为一个组合属性，如果APS中存在相同的组合属性则将该组合属性的有效时间重置为1个小时，否则新增该组合属性，同时将该组合属性的有效时间设置为1个小时，超过有效时间后，会将此组合属性从APS中移除，进入下一步；
S303，若NR’的帧主类型为0且帧子类型为4，即NR’为探测请求帧，将NR’中的信号发射源MAC和设备身份作为一个组合属性，如果RMS中不存在该组合属性，则新增该组合属性到RMS中，并将该组合属性的RM_CNT设置为1，同时将该属性的有效时间设置为11分钟；如果RMS中存在该组合属性，则将该组合属性的RM_CNT加1，同时将该属性的有效时间设置为4小时，超过有效时间后，会将此组合属性从RMS中移除，进入下一步；
S304，若NR’中的信号发射源MAC不在APS中，同时不在RMS中；或者在RMS中的话RM_CNT大于1；当满足其中任意一个条件时，并且数据包信号强度的值大于用户设置的阈值的情况下，如果信号发射源MAC在CMS中则重新设置信号发射源MAC的超时时间为10分钟，否则新增信号发射源MAC记录，客流总数加1，同时设置信号发射源MAC的超时时间为10分钟，如果信号发射源MAC超过10分钟没有再次被统计为客流，将其从CMS中移除，客流总数减1。
7.根据权利要求6所述的基于WiFi探针的实时客流统计方法，其特征在于，所述步骤S2中，通过拆包解析得到数据包的多项基础属性，增加设备身份属性、时间戳属性，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据记录进行数据去重处理，得到待上传的有效数据，具体包括：
S201，将所述数据包拆包解析得到数据包的基础属性，包括信号发射源MAC、信号接收目的MAC、帧主类型、帧子类型、通信信道编号、数据包信号强度；
S202，从数据包中拆包解析出基础属性后，增加设备身份属性，用于标识获取所述数据包的WiFi探针，增加通过网络时间同步的时间戳属性，用于描述采集到所述数据包的时间；
S203，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据记录进行数据去重处理，得到待上传的有效数据。
8.根据权利要求7所述的基于WiFi探针的实时客流统计方法，其特征在于，所述步骤S203，基于基础属性以及增加的设备身份属性、时间戳属性，对上传周期内的数据记录进行数据去重处理，得到待上传的有效数据，具体包括：
S2031，每个数据包的基础属性以及增加的设备身份属性、时间戳属性组装为一条记录，多条记录组成一批待上传的数据记录组合，定义用于存储所有待上传数据记录的数据缓存集合为DS，定义DS中的单条记录为CR，定义当前采集到的记录为NR；
S2032，判断NR中的信号发射源MAC属性有没有在DS中，若没有，则将NR加入到DS，结束处理；若有，设DS中有NR中的信号发射源MAC属性的记录为CR1，进入下一步；
S2033，判断NR中的数据包信号强度属性是否大于CR1中的数据包信号强度属性，如果是，则用NR中的数据包信号强度属性覆盖CR1中的数据包信号强度属性，然后进行下一步；如果否，直接进行下一步；
S2034，判断是否CR1中帧主类型为0且帧子类型为8；如果是，确定CR1是一个信标帧记录，则丢弃NR不做覆盖处理，结束处理；如果否，进行下一步;
S2035，判断是否CR1中帧主类型为0且帧子类型为4，如果是，确定NR是一个移动终端的探测请求帧记录，则丢弃NR，结束处理；如果否，进行下一步;
S2036，判断是否CR1中帧主类型为2，如果是，则用NR中的信号接收目的MAC、帧主类型、帧子类型、通信信道编号、时间戳属性覆盖CR1中对应的属性，结束处理；如果否，丢弃NR，结束处理。
CN202311150210.4A 2023-09-07 2023-09-07 一种基于WiFi探针的实时客流统计系统及方法 Active CN116887339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311150210.4A CN116887339B (zh) 2023-09-07 2023-09-07 一种基于WiFi探针的实时客流统计系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311150210.4A CN116887339B (zh) 2023-09-07 2023-09-07 一种基于WiFi探针的实时客流统计系统及方法

Publications (2)

Publication Number Publication Date
CN116887339A CN116887339A (zh) 2023-10-13
CN116887339B true CN116887339B (zh) 2023-11-28

Family

ID=88272170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311150210.4A Active CN116887339B (zh) 2023-09-07 2023-09-07 一种基于WiFi探针的实时客流统计系统及方法

Country Status (1)

Country Link
CN (1) CN116887339B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014201878A1 (zh) * 2013-06-18 2014-12-24 华为技术有限公司 一种无线保真Wi-Fi监测方法及装置
CN106550326A (zh) * 2016-10-20 2017-03-29 华迪计算机集团有限公司 一种基于无线AP和WiFi网络的景区客流侦测系统及方法
WO2018122588A1 (zh) * 2016-12-30 2018-07-05 同济大学 一种使用wi-fi探针检测行人流量的方法
CN109451486A (zh) * 2018-11-30 2019-03-08 南京航空航天大学 基于探测请求帧的WiFi采集系统及WiFi终端探测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783300B2 (en) * 2006-11-22 2010-08-24 Airdefense, Inc. Systems and methods for proactively enforcing a wireless free zone
US9219986B2 (en) * 2014-04-22 2015-12-22 Cisco Technology, Inc. Client device location using synchronized wireless receivers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014201878A1 (zh) * 2013-06-18 2014-12-24 华为技术有限公司 一种无线保真Wi-Fi监测方法及装置
CN106550326A (zh) * 2016-10-20 2017-03-29 华迪计算机集团有限公司 一种基于无线AP和WiFi网络的景区客流侦测系统及方法
WO2018122588A1 (zh) * 2016-12-30 2018-07-05 同济大学 一种使用wi-fi探针检测行人流量的方法
CN109451486A (zh) * 2018-11-30 2019-03-08 南京航空航天大学 基于探测请求帧的WiFi采集系统及WiFi终端探测方法

Also Published As

Publication number Publication date
CN116887339A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
JP2005523616A5 (zh)
CN109451486B (zh) 基于探测请求帧的WiFi采集系统及WiFi终端探测方法
US20140146687A1 (en) Method and apparatus for remotely locating wireless network fault
US10348510B2 (en) Switching device and packet discarding method
US7301926B1 (en) Automatic coverage hole detection in computer network environments
KR20140054245A (ko) 무선 자원 최적화 방법, 장치 및 시스템
CN106961693B (zh) 一种确定无线接入设备工作信道的方法
WO2014188064A2 (en) Method and system for utilizing spectrum data in a cognitive wireless access system
CN110191024B (zh) 网络流量监控方法和装置
CN111182577B (zh) 一种适用于5g路测仪的cdr合成监测系统及方法
CN107135088A (zh) 云计算系统中处理日志的方法和装置
CN112335203B (zh) 处理局域网诊断数据
CN116887339B (zh) 一种基于WiFi探针的实时客流统计系统及方法
WO2011140874A1 (zh) 一种用户设备待机状态行为评估方法及装置
CN109963292B (zh) 投诉预测的方法、装置、电子设备和存储介质
CN109996254A (zh) 语音业务单通原因定位方法、装置、设备和介质
CN110972199B (zh) 一种流量拥塞监测方法及装置
KR20060063544A (ko) 플로우별 트래픽 측정 장치 및 방법
JP4015963B2 (ja) 位置計算方法、受信装置及び位置計算装置
CN107484199B (zh) 全制式基站信息采集装置
TWI510109B (zh) 遞迴式異常網路流量偵測方法
Wang et al. An entropy-based method for detection of covert channels over LTE
KR102069095B1 (ko) 에너지 효율 와이파이 인원 계수 시스템 및 방법
CN114257526A (zh) 一种带内遥测系统、方法和装置
CN112671670A (zh) 一种vr视频业务识别方法、装置、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant