CN109451486A - 基于探测请求帧的WiFi采集系统及WiFi终端探测方法 - Google Patents

Abstract

本发明公开了一种基于探测请求（Probe Request）帧的WiFi采集系统及WiFi终端探测方法，属于WiFi采集技术领域。该采集系统包括数据采集模块、数据预处理模块、数据存储模块和数据分析模块，其中数据采集模块、数据预处理模块和数据存储模块顺序连接，数据存储模块和数据分析模块双向连接。本发明能实现对WiFi终端的准确统计。

Description

基于探测请求帧的WiFi采集系统及WiFi终端探测方法

技术领域

本发明涉及一种基于探测请求（Probe Request）帧的WiFi采集系统及WiFi终端探测方法，属于WiFi采集技术领域。

背景技术

随着智能手机的普及与迭代，人们需要越来越多的移动带宽来支持各种流行应用。相比于手机网络，WiFi（一种基于IEEE 802.11标准的无线局域网技术）因成本低、功耗低、稳定性高、配置简单等特点，成为人们首选的上网方式。

由于WiFi终端会不断向周围发送数据包，因此产生一些应用。根据人们随身携带手机的特点，利用WiFi信号来统计周围WiFi终端的数量，从而推算出人流量、终端位置等信息，为销售、交通、安防等分析策划提供数据基础。

在目前主流网络协议中，MAC地址（Media Access Control Address，媒体访问控制地址，即网络设备的物理地址）在底层的协议中发挥了重要的作用，它是网络终端（包括但不限于以太网、蓝牙、WiFi）全球唯一的网络编号，在底层的网络协议中，数据包根据MAC地址发送到对应的设备。

但随着人们隐私意识的提升，越来越多的终端在扫描周围WiFi信号时，不再使用出厂MAC地址、而是使用随机MAC地址来发送数据包，外加上在户外等场合，多数人的WiFi终端没有与接入点关联，发送带随机MAC地址的数据包，导致传统利用MAC地址来统计终端数量的方法会产生较大的偏差，从而影响上层的数据分析的效果。

发明内容

为了克服随机化MAC地址对终端数量的统计造成的偏差，针对主流WiFi终端在扫描接入点时发送带有随机MAC地址的Probe Request帧的特点，本发明提出一种基于探测请求帧的WiFi采集系统及WiFi终端探测方法，实现对WiFi终端的准确统计。

本发明为解决其技术问题采用如下技术方案：

一种基于探测请求帧的WiFi采集系统，包括数据采集模块、数据预处理模块、数据存储模块和数据分析模块，其中数据采集模块、数据预处理模块和数据存储模块顺序连接，数据存储模块和数据分析模块双向连接。

基于探测请求帧的WiFi采集系统的WiFi终端探测方法，包括下列步骤：

①数据采集模块通过监听所有频段的WiFi通信，将WiFi信号转换成计算机识别的数据，校验其合法性，并交由数据预处理模块；

②数据预处理模块对一个地点采集到的数据，过滤出终端、接入点两者的MAC地址、接入点的SSID信息，按阈值去除重复数据，并附加上时间戳、数据采集模块编号，最后将结果发送给数据存储模块；

③数据存储模块对于接收到的数据，使用关系型数据库进行保存和再次提取；

④数据分析模块对于预处理后的数据，按时间片切割，在单个时间片内分析各个SSID、MAC地址之间的关联性，将分析结果保存回数据存储模块。

所述步骤①的具体过程如下：

1）监听WiFi信道，解析信道上加载的所有WiFi数据包，将其转换成计算机能识别的数据结构；

2）将转换结果通过总线的方式，传递给数据预处理模块。

所述的步骤②的具体过程如下：

a、数据预处理模块通过总线获取到所有WiFi信道上的数据包；

b、对获取到的数据包，根据WiFi协议的阶段，进行初步分析和过滤：

b.1、对于WiFi终端与AP关联前所发出的数据包，仅记录下Probe Request帧里的SSID名称以及数据包信号强度，并将其标记为类型A；

b.2、对于WiFi终端与AP关联后所发出的数据包，记录下数据包里终端的MAC地址和信号强度，并将其标记为类型B；

b.3、对于其他数据包，全部舍弃；对过滤的结果，按阈值去除重复的记录，并附加上时间戳、数据采集模块编号，发送给数据存储模块，待进一步分析。

所述的步骤③的具体内容如下：

A、对于数据存储模块里的预处理后的数据，以时间切片的形式，按数据预处理模块的顺序，对该时间片内的数据，用以下步骤分析：

B.1、对于类型A的记录，首先统计出该时间片内所有出现过的SSID的名称，然后依次枚举出所有不足10个SSID名称的组合；

B.2、根据选定的SSID组合，在时间片内过滤出带有其中任一SSID的Probe Request帧记录，然后对两组SSID的记录按时间向量的高斯距离最小的原则，选出相同数量的记录；

B.3、对于过滤出的记录，计算两两SSID之间Probe Request帧信号强度的关联性，如果关联性超过阈值，则判定这些两个SSID的Probe Request帧来自同一个WiFi终端，并将分析结果保存回数据存储模块；

C.1、在类型A的记录处理完后，继续处理类型B的记录，统计该时间片内出现的所有类型B记录内的MAC地址；

C.2、对于每一个类型B记录的MAC地址，计算与类型A终端的关联性；

C.3、根据选定WiFi终端的类型A记录、选定MAC地址的类型B记录，抽取出相同数量、且时间差最小的两组记录，然后计算这两组记录之间信号强度的相关性；如果相关性超过阈值，则判定选定的类型A的WiFi终端与类型B的MAC地址是同一个终端，并将分析结果保存到数据存储模块。

所述的步骤④的具体内容如下：

（1）针对采集的原始数据、分析的结果的字段，构建能存储所需数据的关系型数据库；

（2）按选定的时间片大小，把采集到的原始数据推送到数据分析模块，进行数据分析。

本发明具有以下有益效果：

1、先进性，可以在新型WiFi终端开启MAC地址隐私保护的前提下，对在WiFi终端进行分析。

2、可靠性，利用Probe Requst帧与终端信号强度之间的关联性来判别是否来自同一个终端，比利用单一MAC地址判断更可靠。

3、实用性：目前主流的WiFi手机终端开启了MAC地址随机化，在扫描WiFi时会发送随机MAC地址，影响基于WiFi终端MAC地址的应用，因此通过改善WiFi终端的基于ProbeRequest帧的被动WiFi采集方法具有实用性。

4、可扩展性，在不修改系统架构的前提下，能根据不同需求，将数据与其他应用进行整合。

附图说明

图1是本系统的结构方框图。

具体实施方式

下面结合附图对本发明创造做进一步详细说明。

本WiFi采集系统如图1所示包括数据采集模块、数据预处理模块、数据存储模块和数据分析模块，其交互关系是：单个数据预处理模块与多个数据采集模块依次交互，实现所有WiFi信道上的数据的获取；单个数据存储模块与多个数据预处理模块依次交互，实现WiFi数据的累积和存储；数据分析模块与数据存储模块循环交互，实现原始数据分析、分析结果累积。

数据采集模块：是一种WiFi信道的监听与解析方法：通过监听所有频段的WiFi通信，将WiFi信号转换成计算机能处理的数据，校验其合法性，并交由数据预处理模块。

数据预处理模块：是一种数据处理和输出方法：对一个地点采集到的数据，过滤出终端与接入点两者的MAC地址、接入点的SSID（Service Set Identifier，服务集标识，即无线接入点的名称），按阈值去除重复数据，并附加上时间戳、数据采集模块的编号，最后将结果发送给数据存储模块。

数据存储模块：是一种数据保存和获取方法：对于接收到的数据，使用高效的方法进行保存和再次提取。

数据分析模块：是一种数据分析方法：对于预处理后的数据，按时间片切割，在单个时间片内分析各个Probe Request帧与WiFi终端之间的关联性，将分析结果保存到数据存储模块。

工作机理如下：

首先，数据采集模块监听所有WiFi信道，解析出WiFi的数据包，交由数据预处理模块进行处理，从中提取出核心的信息，过滤掉重复、冗余的数据，附加上元数据后，保存到数据存储模块，待进一步分析处理。

然后，数据分析模块读取数据存储模块中的预处理后的数据，通过分析记录之间的相关性，计算出实际WiFi终端的数量，并将分析结果保存到数据存储模块中。

本终端探测方法由以下4个步骤组成。

步骤①

a、监听WiFi信道，解析信道上加载的所有WiFi数据包，将其转换成计算机能处理的数据结构；

b、将转换结果通过总线的方式，传递给数据预处理模块。

步骤②

a、数据预处理模块通过总线获取到所有WiFi信道上的数据包；

b、对获取到的数据包，根据WiFi协议的阶段，进行初步分析和过滤：

b.1、对于WiFi终端与AP（接入点）关联前所发出的数据包，仅记录下Probe Request帧里的SSID名称以及数据包信号强度，并将其标记为类型A；

b.2、对于WiFi终端与AP关联后所发出的数据包，记录下数据包里终端的MAC地址和信号强度，并将其标记为类型B；

b.3、对于其他数据包，全部舍弃。

对过滤的结果，按阈值去除重复的记录，然后附加上时间戳、数据采集模块编号，发送给数据存储模块。

步骤③

A、对于数据存储模块里的预处理后的数据，以时间切片的形式，按数据预处理模块的顺序，对该时间片内的数据，用以下步骤分析：

B.1、对于类型A的记录，首先统计出该时间片内所有出现过的SSID的名称，然后依次枚举出所有不足10个SSID名称的组合；

B.2、根据选定的SSID组合，在时间片内查找出带有其中任一SSID的Probe Request帧记录，然后对两组SSID的记录按时间向量的高斯距离最小的原则，选出相同数量的记录；

B.3、对于过滤出的记录，计算两两SSID之间Probe Request帧信号强度的关联性，如果关联性超过阈值，则判定这些两个SSID的Probe Request帧来自同一个WiFi终端，并将分析结果保存回数据存储模块；

C.1、在类型A的记录处理完后，继续处理类型B的记录，统计该时间片内出现的所有类型B记录内的MAC地址；

C.2、对于每一个类型B记录的MAC地址，计算与类型A终端的关联性；

C.3、根据选定WiFi终端的类型A记录、选定MAC地址的类型B记录，抽取出相同数量、且时间差最小的两组记录，然后计算这两组记录之间信号强度的相关性。如果相关性超过阈值，则判定选定的类型A的WiFi终端与类型B的MAC地址是同一个终端，并将分析结果保存到数据存储模块。

步骤④

i、针对采集的原始数据、分析的结果的特征，构建高效的数据结构来存储数据；

ii、按选定的时间片大小，把采集到的原始数据推送到数据分析模块，进行数据分析。

Claims (6)

1.一种基于探测请求帧的WiFi采集系统，其特征在于：包括数据采集模块、数据预处理模块、数据存储模块和数据分析模块，其中数据采集模块、数据预处理模块和数据存储模块顺序连接，数据存储模块和数据分析模块双向连接。

2.根据权利要求1所述的基于探测请求帧的WiFi采集系统的WiFi终端探测方法，其特征在于，包括下列步骤：

①数据采集模块通过监听所有频段的WiFi通信，将WiFi信号转换成计算机识别的数据，校验其合法性，并交由数据预处理模块；

②数据预处理模块对一个地点采集到的数据，过滤出终端、接入点两者的MAC地址、接入点的SSID信息，按阈值去除重复数据，并附加上时间戳、数据采集模块编号，最后将结果发送给数据存储模块；

③数据存储模块对于接收到的数据，使用关系型数据库进行保存和再次提取；

④数据分析模块对于预处理后的数据，按时间片切割，在单个时间片内分析各个SSID、MAC地址之间的关联性，将分析结果保存回数据存储模块。

3.根据权利要求2所述的基于探测请求帧的WiFi采集系统的WiFi终端探测方法，其特征在于，所述步骤①的具体过程如下：

1）监听WiFi信道，解析信道上加载的所有WiFi数据包，将其转换成计算机能识别的数据结构；

2）将转换结果通过总线的方式，传递给数据预处理模块。

4.根据权利要求2所述的基于探测请求帧的WiFi采集系统的WiFi终端探测方法，其特征在于，所述的步骤②的具体过程如下：

a、数据预处理模块通过总线获取到所有WiFi信道上的数据包；

b、对获取到的数据包，根据WiFi协议的阶段，进行初步分析和过滤：

b.1、对于WiFi终端与AP关联前所发出的数据包，仅记录下Probe Request帧里的SSID名称以及数据包信号强度，并将其标记为类型A；

b.2、对于WiFi终端与AP关联后所发出的数据包，记录下数据包里终端的MAC地址和信号强度，并将其标记为类型B；

b.3、对于其他数据包，全部舍弃；对过滤的结果，按阈值去除重复的记录，并附加上时间戳、数据采集模块编号，发送给数据存储模块，待进一步分析。

5.根据权利要求4所述的基于探测请求帧的WiFi采集系统的WiFi终端探测方法，其特征在于，所述的步骤③的具体内容如下：

A、对于数据存储模块里的预处理后的数据，以时间切片的形式，按数据预处理模块的顺序，对该时间片内的数据，用以下步骤分析：

B.1、对于类型A的记录，首先统计出该时间片内所有出现过的SSID的名称，然后依次枚举出所有不足10个SSID名称的组合；

B.2、根据选定的SSID组合，在时间片内过滤出带有其中任一SSID的Probe Request帧记录，然后对两组SSID的记录按时间向量的高斯距离最小的原则，选出相同数量的记录；

B.3、对于过滤出的记录，计算两两SSID之间Probe Request帧信号强度的关联性，如果关联性超过阈值，则判定这些两个SSID的Probe Request帧来自同一个WiFi终端，并将分析结果保存回数据存储模块；

C.1、在类型A的记录处理完后，继续处理类型B的记录，统计该时间片内出现的所有类型B记录内的MAC地址；

C.2、对于每一个类型B记录的MAC地址，计算与类型A终端的关联性；

C.3、根据选定WiFi终端的类型A记录、选定MAC地址的类型B记录，抽取出相同数量、且时间差最小的两组记录，然后计算这两组记录之间信号强度的相关性；如果相关性超过阈值，则判定选定的类型A的WiFi终端与类型B的MAC地址是同一个终端，并将分析结果保存到数据存储模块。

6.根据权利要求2所述的基于探测请求帧的WiFi采集系统的WiFi终端探测方法，其特征在于，所述的步骤④的具体内容如下：

（1）针对采集的原始数据、分析的结果的字段，构建能存储所需数据的关系型数据库；

（2）按选定的时间片大小，把采集到的原始数据推送到数据分析模块，进行数据分析。