CN107623754A - 基于真伪MAC识别的WiFi采集系统及其方法 - Google Patents

Abstract

本发明公开了一种基于真伪MAC识别的WiFi采集系统及其方法，涉及WiFi采集技术领域。本系统是：数据采集模块（100）、数据预处理模块（200）和数据中心模块（500）依次交互，实现WiFi数据的积累和存储；数据预处理模块（200）、真伪MAC过滤规则（300）和数据中心模块（500）依次交互，实现对真伪MAC进行实时判断以及分析应用；数据中心模块（500）、真伪MAC判断大数据模型（400）和数据中心模块（500）循环交互，实现建立真实MAC历史库，并对积累的真MAC进行分析应用。本发明具有下列优点和积极效果：①先进性，可以识别真伪MAC的入侵行为；②数据具有可靠性；③实用性；④可扩展性，能够有效保护已有投资。

Description

基于真伪MAC识别的WiFi采集系统及其方法

技术领域

本发明涉及WiFi采集技术领域，尤其涉及一种基于真伪MAC识别的WiFi采集系统及其方法。

背景技术

随着无线局域网技术的迅猛发展，相比3G/4G代价较高的上网方式，WiFi具有低廉的价格和明显的宽带优势，已经成为互联网海量流量的重要入口之一。近年来，智能手机、平板电脑等终端设备呈现爆发式的增长，截止2017年6月，我国手机网民已达7.24亿，并保持高速增长，WiFi覆盖范围广、接入门槛低，这些特点使得WiFi成为首选上网接入方式。上网过程中会产生大量的用户信息，如终端信息、位置信息、通信信息、网络购物信息、用户上网轨迹信息和用户认证信息等。WiFi采集系统可以实现对WiFi用户上网行为的有效管控。

在TCP/IP的架构中，MAC地址扮演着非常重要的角色。在通信中，由MAC地址标识的主机网卡，作为主机身份的硬件地址。每块网卡被生产出来后，都会有一个全球唯一的编号来标识自己，不会重复，这个编号就是MAC地址，也就是网卡的物理地址。但是随着终端技术的发展，为了保护用户隐私安全，苹果iOS9以上、华为P9等Android 7.0以上的主流智能终端设备开启了MAC伪装功能，在某些特定情况下会发出伪MAC且不唯一，无法对WiFi上网终端用户信息进行有效关联，无法实现信息落地，所以真伪MAC识别是目前WiFi采集领域一个难点，真实MAC数据的积累，可以为数据挖掘和上层业务关联分析等提供数据支撑，为管控用户上网行为提供有力保障。

发明内容

本发明的目的就在于克服现有技术存在的缺点和不足，针对苹果iOS9以上、华为P9等Android 7.0以上的主流智能终端在终端的Wi-Fi开关打开关闭的过程或者和不同的AP信令协商接入的情况下会发出伪MAC且不唯一，针对这个问题进行了一系列的研究和实验进行验证和分析，提供一种基于真伪MAC识别的WiFi采集系统及其方法，实现对终端采集数据中真伪MAC的识别。

实现本发明目的技术方案是：

本发明主要对WiFi采集数据中某些型号或系统的终端数据中出现伪MAC的问题，运用合法MAC的定义结合全球组织唯一标识符OUI库进行甄别区分对真伪MAC进行实时判断存入MAC库中，并通过真伪MAC判断大数据模型对数据中心模块MAC库中累积海量MAC数据进行判断识别，储存到真实MAC历史库中，实现真实MAC数据的积累，可以为数据挖掘和上层业务关联分析提供有力支撑。

本发明通过对WiFi采集，尤其是终端特征数据中真伪MAC的识别进行详细研究，通过以下2种方式实现真伪MAC的识别：

1、根据真伪MAC过滤规则进行判断，是指合法MAC的定义结合全球组织唯一标识符OUI库进行甄别区分，可用于真伪MAC实时判断；其中，通过MAC的定义判断是指MAC地址第一个字节的最低有效位为0，且MAC地址第一个字节的次最低有效位为0的MAC是真MAC；结合全球组织唯一标识符OUI库进行甄别区分是直接跟全球组织唯一标识符OUI库进行比对，区分MAC真伪，因为在该802规则定制以前，在OUI全球组织唯一标识符中已经注册过极少MAC地址第一个字节的次最低有效位为1，也是合法的真MAC。

2、根据真伪MAC判断大数据模型进行判断，是指MAC判断规则2与MAC判断规则3得到的MAC求并集，再与MAC判断规则1求交集，可得出真实的MAC地址，存入真实MAC历史库。其中，MAC判断规则1是终端设备MAC地址对应的品牌的第一个字节的第二位十六进制为{0,4,8,C}的是真MAC；MAC判断规则2是终端MAC地址对应的品牌数据非空且唯一是真MAC；MAC判断规则3是24小时内累积MAC出现的次数大于10次是真MAC。

一、基于真伪MAC识别的WiFi采集系统(简称系统)

本系统包括数据提取模块、数据预处理模块、真伪MAC过滤规则、真伪MAC判断大数据模型和数据中心模块；

其交互关系是：

数据采集模块、数据预处理模块和数据中心模块依次交互，实现WiFi数据的积累和存储；

数据预处理模块、真伪MAC过滤规则和数据中心模块依次交互，实现对真伪MAC进行实时判断以及分析应用；

数据中心模块、真伪MAC判断大数据模型和数据中心模块循环交互，实现建立真实MAC历史库，并对积累的真MAC进行分析应用。

二、基于真伪MAC识别的WiFi采集方法(简称方法)

本方法包括下列步骤：

①数据采集模块完成对覆盖区域内所有频道空口无线WiFi数据的采集，对MAC层以及MAC层之上的协议数据进行解析，并对数据进行分类，将解析数据发送给数据预处理模块；

②数据预处理模块接收解析数据，对解析出的数据进行统一的流式标准化处理，发送给数据中心模块入库，实现WiFi数据的积累和存储，为开展更为复杂的大数据处理业务奠定基础，数据预处理模块处理过的MAC数据发送给真伪MAC识别过滤规则模块；

③真伪MAC过滤规则是通过MAC的定义判断MAC是否合法，并结合全球组织唯一标识符OUI库进行甄别区分，用于实时判断；

④真伪MAC判断大数据模型对通过对局点大量MAC数据进行实验和统计分析，得出真MAC判断模型，用于将真实MAC入库保存；

⑤数据中心模块是系统所有数据的存储资源中心，并实现了对业务数据的挖掘分析，为上层业务提供支撑。

本发明具有下列优点和积极效果：

①先进性：目前WiFi系统可以采集热点信息、终端信息和用户上网信息，但对有MAC伪装功能的终端设备信息无法进行真伪MAC判断，本发明基于结合MAC合法性定义、OUI库和大数据模型可以识别真伪MAC的入侵行为；

②可靠性：系统采用了独创的真伪MAC过滤规则算法和真伪MAC判断大数据模型结合识别，并通过大量数据分析论证，数据具有可靠性；

③实用性：目前苹果iOS9以上、华为P9等Android 7.0以上的主流智能终端设备开启了MAC伪装功能，在某些特定情况下会发出伪MAC且不唯一，无法对WiFi上网用户信息进行有效关联，实现信息落地，所以基于真伪MAC识别的WiFi采集系统及其方法具有实用性；

④可扩展性：在不对系统的结构进行修改的前提下，能够根据不同的数据源、不同的应用需求，扩充成具有海量数据处理能力的应用系统。通过便捷的扩展，能够有效保护已有投资。

附图说明

图1是本系统的结构方框图。

图中：

100—数据采集模块；

200—数据预处理模块；

300—真伪MAC过滤规则；

400—真伪MAC判断大数据模型；

500—数据中心模块。

英译汉

1、WiFi：Wireless Fidelity，无线高保真，是一种允许电子设备连接到一个无线局域网(WLAN)的技术；

2、WLAN：Wireless Local Access Network，无线局域网络；

3、MAC：Media Access Control或者Medium Access Control，媒体访问控制，或称为物理地址、硬件地址；

4、TCP/IP：Transmission Control Protocol/Internet Protocol，传输控制/网络通讯。

5、AP：Wireless Access Point，无线访问接入点。

6、OUI：Organizationally unique identifier，全球组织唯一标识符。

具体实施方式

以下结合附图和实施例详细说明。

一、系统

1、总体

如图1，本系统包括数据提取模块100、数据预处理模块200、真伪MAC过滤规则300、真伪MAC判断大数据模型400和数据中心模块500；

其交互关系是：

数据采集模块100、数据预处理模块200和数据中心模块500依次交互，实现WiFi数据的积累和存储；

数据预处理模块200、真伪MAC过滤规则300和数据中心模块500依次交互，实现对真伪MAC进行实时判断以及分析应用；

数据中心模块500、真伪MAC判断大数据模型400和数据中心模块500循环交互，实现建立真实MAC历史库，并对积累的真MAC进行分析应用。

2、功能模块

①数据采集模块100

数据采集模块100是一种WiFi数据包采集解析方法；

捕获覆盖区域内所有频道空口无线WiFi数据包，对MAC层以及MAC层之上的协议数据进行解析，并对数据进行分类，将解析数据发送给数据预处理模块200。

②数据预处理模块200

数据预处理模块200是一种数据规范化输出方法；

对解析出的数据进行统一的流式标准化处理，发送给数据中心模块500入库，实现WiFi数据的积累和存储，方便开展更为复杂的大数据处理业务；

数据预处理模块200处理过的MAC数据发送给真伪MAC过滤规则模块300。

③真伪MAC过滤规则300

真伪MAC过滤规则300是一种伪MAC过滤规则和算法；

真伪MAC过滤规则300是指通过MAC的定义判断MAC是否合法，并结合全球组织唯一标识符OUI库进行甄别区分，可用于真伪MAC实时判断；

通过真伪MAC过滤规则300判断出的真MAC保存到数据中心模块500的MAC库中。

④真伪MAC判断大数据模型400

真伪MAC判断大数据模型400是一种真MAC判断模型，实现真实MAC的累积；

通过对大量MAC数据进行实验和统计分析，得出真MAC判断模型，用于将真实MAC保存到真实MAC历史库；读取数据中心模块500的MAC库中数据，通过真伪MAC判断大数据模型400，保存到到数据中心模块500的真实MAC历史库中，实现真实MAC的累积。

⑤数据中心模块500

数据中心模块500是一种数据存储和分析方法；

数据中心模块500是系统所有数据的存储资源中心，并实现了对业务数据的挖掘分析，为上层业务提供支撑。

3、本系统的工作机理

首先，数据采集模块100捕获捕获覆盖区域内所有频道空口无线WiFi数据包，对WiFi数据进行解析分类，发送给数据预处理模块200进行标准化处理，分类生成文件为入库做准备，数据中心模块500将解析采集数据存入数据库，写入到不同的表中，并对业务数据进行挖掘分析。

其次，数据预处理模块200解析出的MAC数据发送给真伪MAC过滤规则300，对真伪MAC进行实时判断，通过真伪MAC过滤规则300判断出的真MAC保存到数据中心模块500的MAC库中。

最后，真伪MAC判断大数据模型400读取数据中心模块500的MAC库中数据，通过真伪MAC判断大数据模型400，保存到到数据中心模块500的真实MAC历史库中，实现真实MAC的累积，为上层业务分析以及信息落地奠定基础。

二、方法

1、步骤①：

a、捕获WiFi数据包包括捕获采集热点、终端以及用户上网数据包；

b、解析数据是解析被采集热点信息、终端信息和用户上网信息，并根据不同数据类型进行数据传输约束；

c、数据采集模块作为SOCKET客户端，与作为SOCKET服务端的数据预处理模块建立连接，以数据流的方式进行传输。

2、步骤②：

a、数据预处理模块作为SOCKET服务端，与作为SOCKET客户端的数据采集模块建立连接；

b、标准化处理是按照标准规范化，包括热点数据、终端数据和用户上网数据，分类生成文件为入库做准备。

3、步骤③：

a、通过MAC的定义判断MAC是否合法是指MAC地址用来表示互联网上每一个站点的标识符，采用十六进制表示，共六个字节，48位；MAC地址分成两部分，前24位是组织唯一标识符OUI，后24位由厂商自行分配；MAC地址第一个字节的最低有效位用来标识Unicast和Mulcast，即单播和多播，因为网卡的物理地址一定是单播地址，0代表单播地址，1代表组播地址；而最低有效位则用来标识Universally Administered Address和LocallyAdministered Address；其中，Universally Administered Address是指烧录在固件中由厂商指定的地址，也即MAC地址；而Locally Administered Address则是指由网络管理员为了加强自己对网络管理而指定的地址，此类型MAC地址第一个字节的最低有效位为1；经检验，伪MAC符合该方法特征，可成功区别真伪MAC；

b、结合全球组织唯一标识符OUI库进行甄别区分是因为通过MAC的定义判断真伪的规则基本符合真MAC的判断条件，但有一小部分不符合该条件,可直接跟全球组织唯一标识符OUI库进行比对，区分MAC真伪，因为在该802规则定制以前，在OUI全球组织唯一标识符中已经注册过极少MAC地址第一个字节的次最低有效位为1，但是合法的MAC；为追求数据准确、真实性，对数据和小部分特例MAC进行甄别区分，用该方法过滤区别真伪MAC。

4、步骤④：

a、从数据中心模块中的MAC库读取MAC累积数据，通过真伪MAC判断大数据模型判断出真实MAC，存放入数据中心模块的真实MAC历史库中，用于真实MAC数据的积累，为数据挖掘和上层业务关联分析提供有力支撑。

b、真伪MAC判断大数据模型是指MAC判断规则2与MAC判断规则3得到的MAC求并集，再与MAC判断规则1求交集，可得出真实的MAC地址，存入真实MAC历史库；其中，MAC判断规则1是终端设备MAC地址对应的品牌的第一个字节的第二位十六进制为{0,4,8,C}的是真MAC；MAC判断规则2是终端MAC地址对应的品牌数据非空且唯一是真MAC；MAC判断规则3是24小时内累积MAC出现的次数大于10次是真MAC。

5、步骤⑤：

a、针对采集数据构建海量数据的存储、分析和查询架构，解析采集数据存入数据库，写入到不同的表中；

b、定时对数据做统计分析，并解析海量数据。

Claims (8)

1.一种基于真伪MAC识别的WiFi采集系统，其特征在于：

包括数据提取模块（100）、数据预处理模块（200）、真伪MAC过滤规则（300）、真伪MAC判断大数据模型（400）和数据中心模块（500）；

其交互关系是：

数据采集模块（100）、数据预处理模块（200）和数据中心模块（500）依次交互，实现WiFi数据的积累和存储；

数据预处理模块（200）、真伪MAC过滤规则（300）和数据中心模块（500）依次交互，实现对真伪MAC进行实时判断以及分析应用；

数据中心模块（500）、真伪MAC判断大数据模型（400）和数据中心模块（500）循环交互，实现建立真实MAC历史库，并对积累的真MAC进行分析应用。

2.按权利要求1所述的WiFi采集系统，其特征在于：

所述的数据采集模块（100）是一种WiFi数据包采集解析方法；

所述的数据预处理模块（200）是一种数据规范化输出方法；

所述的真伪MAC过滤规则（300）是一种伪MAC过滤规则和算法；

所述的真伪MAC判断大数据模型（400）是一种真MAC判断模型，实现真实MAC的累积；

所述的数据中心模块（500）是一种数据存储和分析方法。

3.按权利要求1-2所述系统的WiFi采集方法，其特征在于包括下列步骤：

①数据采集模块完成对覆盖区域内所有频道空口无线WiFi数据的采集，对MAC层以及MAC层之上的协议数据进行解析，并对数据进行分类，将解析数据发送给数据预处理模块；

②数据预处理模块接收解析数据，对解析出的数据进行统一的流式标准化处理，发送给数据中心模块入库，实现WiFi数据的积累和存储，为开展更为复杂的大数据处理业务奠定基础，数据预处理模块处理过的MAC数据发送给真伪MAC识别过滤规则模块；

③真伪MAC过滤规则是通过MAC的定义判断MAC是否合法，并结合全球组织唯一标识符OUI库进行甄别区分，用于实时判断；

④真伪MAC判断大数据模型对通过对局点大量MAC数据进行实验和统计分析，得出真MAC判断模型，用于将真实MAC入库保存；

⑤数据中心模块是系统所有数据的存储资源中心，并实现了对业务数据的挖掘分析，为上层业务提供支撑。

4.按权利要求2所述的WiFi采集方法，其特征在于所述的步骤①：

a、捕获WiFi数据包包括捕获采集热点、终端以及用户上网数据包；

b、解析数据是解析被采集热点信息、终端信息和用户上网信息，并根据不同数据类型进行数据传输约束；

c、数据采集模块作为SOCKET客户端，与作为SOCKET服务端的数据预处理模块建立连接，以数据流的方式进行传输。

5.按权利要求2所述的WiFi采集方法，其特征在于所述的步骤②：

a、数据预处理模块作为SOCKET服务端，与作为SOCKET客户端的数据采集模块建立连接；

b、标准化处理是按照标准规范化，包括热点数据、终端数据和用户上网数据，分类生成文件为入库做准备。

6.按权利要求2所述的WiFi采集方法，其特征在于所述的步骤③：

a、通过MAC的定义判断MAC是否合法是指MAC地址用来表示互联网上每一个站点的标识符，采用十六进制表示，共六个字节，48位；MAC地址分成两部分，前24位是组织唯一标识符OUI，后24位由厂商自行分配；MAC地址第一个字节的最低有效位用来标识 Unicast和Mulcast，即单播和多播，因为网卡的物理地址一定是单播地址，0代表单播地址，1代表组播地址；而最低有效位则用来标识Universally Administered Address和LocallyAdministered Address；其中，Universally Administered Address是指烧录在固件中由厂商指定的地址，也即MAC地址；而Locally Administered Address则是指由网络管理员为了加强自己对网络管理而指定的地址，此类型MAC地址第一个字节的最低有效位为1；经检验，伪MAC符合该方法特征，可成功区别真伪MAC；

b、结合全球组织唯一标识符OUI库进行甄别区分是因为通过MAC的定义判断真伪的规则基本符合真MAC的判断条件，但有一小部分不符合该条件,可直接跟全球组织唯一标识符OUI库进行比对，区分MAC真伪，因为在该802规则定制以前，在OUI全球组织唯一标识符中已经注册过极少MAC地址第一个字节的次最低有效位为1，但是合法的MAC；为追求数据准确、真实性，对数据和小部分特例MAC进行甄别区分，用该方法过滤区别真伪MAC。

7.按权利要求2所述的WiFi采集方法，其特征在于所述的步骤④：

a、从数据中心模块中的MAC库读取MAC累积数据，通过真伪MAC判断大数据模型判断出真实MAC，存放入数据中心模块的真实MAC历史库中，用于真实MAC数据的积累，为数据挖掘和上层业务关联分析提供有力支撑；

b、真伪MAC判断大数据模型是指MAC判断规则2与MAC判断规则3得到的MAC求并集，再与MAC判断规则1求交集，可得出真实的MAC地址，存入真实MAC历史库；其中，MAC判断规则1是终端设备MAC地址对应的品牌的第一个字节的第二位十六进制为{0,4,8,C}的是真MAC；MAC判断规则2是终端MAC地址对应的品牌数据非空且唯一是真MAC；MAC判断规则3是24小时内累积MAC出现的次数大于10次是真MAC。

8.按权利要求2所述的WiFi采集方法，其特征在于所述的步骤⑤：

a、针对采集数据构建海量数据的存储、分析和查询架构，解析采集数据存入数据库，写入到不同的表中；

b、定时对数据做统计分析，并解析海量数据。