CN111542083A - 一种通过工业无线网空口采集和分析的方法 - Google Patents

Abstract

本发明涉及一种通过工业无线网空口采集和分析的方法，为方便系统建设，工控网无线空口采集和分析技术从功能上划分为三个模块：空口采集模块、数据清洗模块和流量分析模块。空口采集模块采用空口技术监听场区流量，数据清洗模块负责对异常流量进行过滤和流量的格式化操作。流量分析模块分析和展示场区内无线环境变化所产生的影响。本发明具有领域创新性，在工控领域内做无线流量的采集和分析，分析过程具备针对性，本方案中更是针对卷烟生产环境做特定的分析，如运载西门子小车、AGV小车与AP通讯的实时跟踪分析。

Description

一种通过工业无线网空口采集和分析的方法

技术领域

本发明属于无线网络流量采集和分析技术领域，具体涉及一种通过工业无线网空口采集和分析的方法。

背景技术

随着无线控制网络在工业环境下的普及和应用，无线网络流量监控面临新的需求和挑战：无线网络本身动态拓扑、开放链路、资源有限等特点，更容易产生通讯中断、信息泄露、信道干扰，为加强生产环境下的无线安全监测，保障控制设备和通讯终端的正常通讯、信息保密、通讯数据可溯，一种有效的采集和分析技术应运而生。

发明内容

为了解决上述的技术问题，本发明的目的是提供一种通过工业无线网空口采集和分析的方法，该方法能对生产场区内无线流量进行有效采集和分析，对无线流量进行回溯，对通讯小车进行通讯的追踪，对场区内的非法接入设备进行预警，对各信道内流量使用情况做汇总和分析。

为了实现上述目的，本发明采用了以下的技术方案：

一种通过工业无线网空口采集和分析的方法，包括以下步骤，

1）、空口采集：

空口为AP和STA上的虚拟逻辑口，利用嵌入式设备对工业无线网流量进行采集,嵌入式设备采用混杂模式对空中的无线数据包流量进行采集,且嵌入式设备将网卡设置为监听模式，同时支持固定信道模式和扫描模式采集，实时监听AP和STA通讯的通讯流量；

2）、数据清洗：

2. 1）定义和确定错误的类型

检测步骤1）中采集的数据中的错误或不一致情况，使用分析程序来获得关于数据属性的元数据从而发现数据集中存在的质量问题；

定义清洗转换规则：根据上一步进行数据分析得到的结果来定义清洗转换规则与工作流，根据数据源的个数，数据源中不一致数据和“脏数据”多少的程度，需要执行大量的数据转换和清洗步骤；

2.2）搜寻并识别错误的实例

自动检测属性错误，利用基于统计的方法、聚类方法或者关联规则的方法自动检测数据集中的属性错误；

2. 3）纠正所发现的错误

在数据源上执行预先定义好的并且已经得到验证的清洗转换规则和工作流，当直接在源数据上进行清洗时，需要备份源数据，以防需要撤销上一次或几次的清洗操作，清洗时根据“脏数据”存在形式的不同，执行一系列的转换步骤来解决模式层和实例层的数据质量问题；

2.4）干净数据回流：

当数据被清洗后，干净的数据应该替换数据源中原来的“脏数据”；

3）、数据分析：

原始数据包经过数据清洗后，对存储的“干净数据”进行检测，系统对如下四个场景做告警：

a)对通讯小车做重点分析：通过在“干净数据”中识别目的MAC地址，匹配小车MAC，识别出通讯小车与AP的连接情况、切换情况、以及心跳情况交互延迟情况，动态监测AP和小车的通信信号强度，对产生的中断及时告警；

b)对AP通讯做分析：识别出“干净数据”中的AP的MAC地址，关联出连接AP的所有终端MAC，对接入AP的所有终端做基准，对新增终端、终端突然消失进行告警；

c)对厂区的SSID做监测：识别出AP与SSID的对应关系，SSID对应的信道信息，实时监测SSID的动态情况，对场区内出现的伪AP进行监测和告警；

d)监测场区内所有无线数据包的信号强度，当出现信号强度过大的数据包时，可能是强干扰源的出现，并告警。

作为优选方案：所述数据清洗中根据数据不同给出下列相应的数据清理方法：

（1）解决不完整数据（即值缺失）的方法

某些缺失值可以从本数据源或其它数据源推导出来，这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值，从而达到清理的目的；

（2）错误值的检测及解决方法

用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值，也可以用简单规则库（常识性规则、业务特定规则等）检查数据值，或使用不同属性间的约束、外部的数据来检测和清理数据；

（3）重复记录的检测及消除方法

数据库中属性值相同的记录被认为是重复记录，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录（即合并/清除)。合并/清除是消重的基本方法。

作为优选方案：在数据清洗中为处理单数据源问题并且为其与其他数据源的合并做好准备，一般在各个数据源上应该分别进行几种类型的转换，主要包括：

a)从自由格式的属性字段中抽取值即属性分离

自由格式的属性一般包含着很多的信息，而这些信息有时候需要细化成多个属性，从而进一步支持后面重复记录的清洗；

b)确认和改正

这一步骤处理输入和拼写错误，并尽可能地使其自动化，基于字典查询的拼写检查对于发现拼写错误是很有用的；

c)标准化

为了使记录实例匹配和合并变得更方便，应该把属性值转换成一个一致和统一的格式。

与现有技术相比，本发明的优点是：

第一，本发明具有领域创新性，在工控领域内做无线流量的采集和分析，与传统互联网不同，工控无线环境具备“干净、简洁”的特征，分析过程具备针对性，本方案中更是针对卷烟生产环境做特定的分析，如运载西门子小车、AGV小车与AP通讯的实时跟踪分析。

第二，本发明具有科技创新性，利用空口采集技术抓取无线数据,既避免了生产环境下复杂布线，又消除了采集设备对生产环境的影响。本方案中的嵌入式采集设备，具备“体型小”、“隐蔽性”、“被动监听”的特征，非常适合生产环境下的采集工作。

第三、面对海量流量数据、系统采用NoSQL型数据库Elasticsearch数据库，大大提高了查询速率。ES具备对所存储的海量数据进行快速回溯的能力，决策者可以应对原有数据进行快速查询，分析错误产生机制，对产生环境进行客观分析，列出原有条件下问题产生过程并究其原因，完善网络环境。

附图说明

图1为本发明的工控网无线采集模块分层示意图；

图2为本发明的工控网无线流量采集原理示意图；

图3为本发明的工控网无线告警分类图；

图4为本发明的空口采集流程图；

图5为本发明的数据清洗流程图；

图6为本发明的数据分析流程图。

具体实施方式

为了相关技术人员更清晰的了解本发明的技术方案，现结合附图对本发明做进一步的详细说明。

如图1至图6所示，本发明提供一种通过工业无线网空口采集和分析的方法，如图1所示，为方便系统建设，工控网无线空口采集和分析技术从功能上划分为三个模块：空口采集模块、数据清洗模块和流量分析模块。空口采集模块采用空口技术监听场区流量，数据清洗模块负责对异常流量进行过滤和流量的格式化操作。流量分析模块分析和展示场区内无线环境变化所产生的影响。

空口采集模块，主要用来利用嵌入式设备实现对工业无线网流量进行采集。空口即AP和STA上的虚拟逻辑口，空口是看不见摸不着的，空口之间建立的链路称为无线链路，STA和AP之间可以通过无线链路互通，空口传输不依赖于线缆，信号能够360度传播。

嵌入式设备采用混杂模式对空中的无线数据包流量进行采集。混杂模式监听原理：以太网(Ethernet)具有共享介质的特征,信息是以明文的形式在网络上传输,当网络适配器设置为监听模式(混杂模式,Promiscuous)时,由于采用以太网广播信道争用的方式,使得监听系统与正常通信的网络能够并联连接,并可以捕获任何一个在同一冲突域上传输的数据包。IEEE802.3 标准的以太网采用的是持续 CSMA 的方式,正是由于以太网采用这种广播信道争用的方式,使得各个站点可以获得其他站点发送的数据。运用这一原理使信息捕获系统能够拦截的我们所要的信息,这是捕获数据包的物理基础。

混杂模式下，设备能够接受所有经过它的数据流，不论这个数据流的目的地址是不是它，它都会接受这个数据包。也就是说，混杂模式下，网卡会把所有的发往它的数据包全部都接收。在这种情况下，可以接收同一区域内的所有数据。

在网络中，嵌入式设备（无线采集器）接收所有的分组，而不发送任何非法分组。它不会妨碍网络数据的流动，因此很难对其进行检测。不过，处于混杂模式网卡的状态很显然和处于普通模式下不同。在混杂模式下，被硬件过滤掉的分组文会进入到系统的内核。是否回应这种分组完全依赖于内核。

空口采集相对传统有线采集使用户摆脱了线缆的限制，从而具有以下一系列优势：

a)移动性：用户可以任意移动并保持业务不中断。

b)易部署：例如，在老旧建筑等不允许破坏墙体的场所，无法部署有线网络，只能部署无线网络。

c)易扩展：当需要扩展网络范围时，不需要到处布设线缆，只需要扩大无线信号的覆盖范围。

d)低成本：部署无线网络可以节省大量的布线成本。

方案中采集设备将网卡设置为监听模式，同时支持固定信道模式和扫描模式采集，实时监听AP和STA通讯的通讯流量，采集示意图如图2所示。

数据清洗模块：工控无线环境中存在的大量大型生产设备，对外发送干扰数据包。该模块设计了对数据进行检查和校验的过程，对环境中的“错误包”“干扰包”等进行数据清洗。

数据清洗：数据清洗是将重复、多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除，最后整理成为我们可以进一步加工、使用的数据。

数据清洗方法：数据清理是将数据库精简以除去重复记录，并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是将数据输入到数据清理处理器，通过一系列步骤，然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、唯一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。根据数据不同可以给出相应的数据清理方法：

（1）解决不完整数据（即值缺失）的方法

某些缺失值可以从本数据源或其它数据源推导出来，这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值，从而达到清理的目的。

（2）错误值的检测及解决方法

用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值，也可以用简单规则库（常识性规则、业务特定规则等）检查数据值，或使用不同属性间的约束、外部的数据来检测和清理数据。

（3）重复记录的检测及消除方法

数据库中属性值相同的记录被认为是重复记录，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录（即合并/清除)。合并/清除是消重的基本方法。

数据清洗的步骤：

（1）定义和确定错误的类型

数据分析：数据分析是数据清洗的前提与基础，通过详尽的数据分析来检测数据中的错误或不一致情况，可以使用分析程序来获得关于数据属性的元数据（包含主要属性的数据我们称之为“元数据”，属性包括：时间、包长、源MAC、目的MAC、信号强度、SSID、会话、摘要等信息），从而发现数据集中存在的质量问题。

定义清洗转换规则：根据上一步进行数据分析得到的结果来定义清洗转换规则与工作流。根据数据源的个数，数据源中不一致数据和“脏数据”多少的程度，需要执行大量的数据转换和清洗步骤。

（2）搜寻并识别错误的实例

自动检测属性错误

检测数据集中的属性错误，需要花费大量的人力、物力和时间，而且这个过程本身很容易出错，所以需要利用高的方法自动检测数据集中的属性错误，方法主要有：基于统计的方法，聚类方法，关联规则的方法。

（3）纠正所发现的错误

在数据源上执行预先定义好的并且已经得到验证的清洗转换规则和工作流。当直接在源数据上进行清洗时，需要备份源数据，以防需要撤销上一次或几次的清洗操作。清洗时根据“脏数据”存在形式的不同，执行一系列的转换步骤来解决模式层和实例层的数据质量问题。为处理单数据源问题并且为其与其他数据源的合并做好准备，一般在各个数据源上应该分别进行几种类型的转换，主要包括：

a)从自由格式的属性字段中抽取值（属性分离）

自由格式的属性一般包含着很多的信息，而这些信息有时候需要细化成多个属性，从而进一步支持后面重复记录的清洗。

b)确认和改正

这一步骤处理输入和拼写错误，并尽可能地使其自动化。基于字典查询的拼写检查对于发现拼写错误是很有用的。

c)标准化

为了使记录实例匹配和合并变得更方便，应该把属性值转换成一个一致和统一的格式。

干净数据回流：

当数据被清洗后，干净的数据应该替换数据源中原来的“脏数据”。这样可以提高原系统的数据质量，还可避免将来再次抽取数据后进行重复的清洗工作。

数据分析模块对“干净数据”做分析。

原始数据包经过数据清洗后，对存储的“干净数据”进行检测，对出现的突发流量和异常流量，能够进行回溯分析；对数据中的重发字段进行标记，出现重发包的数量做统计，当短期内出现大量重发包时，进行告警；工控环境下AP、小车的MAC地址固定，且具备一定特征，对小车和AP的MAC做重点跟踪，监测AP和小车的异常流量波动，快速检索历史信息并进行精细的二次分析并查找产生问题的原因。

系统对如下四个场景做告警：

a)对通讯小车做重点分析：通过在“干净数据”中识别目的MAC地址，匹配西门子小车MAC，识别出通讯小车与AP的连接情况、切换情况、以及心跳情况交互延迟情况，动态监测AP和小车的通信信号强度，对产生的中断及时告警。

b)对AP通讯做分析：识别出“干净数据”中的AP的MAC地址，关联出连接AP的所有终端MAC，对接入AP的所有终端做基准，对新增终端、终端突然消失进行告警。

c)对厂区的SSID做监测：识别出AP与SSID的对应关系，SSID对应的信道信息，实时监测SSID的动态情况，对场区内出现的伪AP进行监测和告警。

d)监测场区内所有无线数据包的信号强度，当出现信号强度过大的数据包时，可能是强干扰源的出现，并告警。

针对上述四个场景设计了四类告警：如图3所示。

本发明提供了一种工控无线网空口采集分析方法，具体执行方法如下：

第一阶段，空口采集模块，如图4所示，其执行方法如下：

1.1配置采集设备信道，支持固定信道模式和扫描模式；

1.2开始空口抓包，7*24小时不间断采集；

1.3将抓到的数据包读入缓存文件中，进入数据清洗模块；

第二阶段，数据清洗模块，如图5所示，其执行方法如下

2.1读取缓存文件、分析数据包是否正常，不正常直接抛弃；

2.2对正常的数据包进行格式化操作，形成元数据；

2.3进行本地存储；

2.4进行远程数据存储，如果网络异常，则进入等待状态，待网络恢复后继续回传到远程服务器。

第三阶段，数据分析模块，如图6所示，其执行体方法如下：

3.1、读取格式化数据，对每条数据所占用信道做统计分析；

3.2、手动录入AP MAC地址，筛选出AP和终端的通讯数据，并监控终端变化；

3.3、根据录入的AP的MAC，监控AP和SSID，对有新增AP、SSID、SSID信号消失进行告警。

以上所述的仅是本发明的优选实施方式。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明原理的情况下，还可以作出若干改进和变型，这也视为本发明的保护范围。

Claims (3)

1.一种通过工业无线网空口采集和分析的方法，其特征在于：包括以下步骤，

1）、空口采集：

空口为AP和STA上的虚拟逻辑口，利用嵌入式设备对工业无线网流量进行采集,嵌入式设备采用混杂模式对空中的无线数据包流量进行采集,且嵌入式设备将网卡设置为监听模式，同时支持固定信道模式和扫描模式采集，实时监听AP和STA通讯的通讯流量；

2）、数据清洗：

2.1）定义和确定错误的类型

检测步骤1）中采集的数据中的错误或不一致情况，使用分析程序来获得关于数据属性的元数据从而发现数据集中存在的质量问题；

定义清洗转换规则：根据上一步进行数据分析得到的结果来定义清洗转换规则与工作流，根据数据源的个数，数据源中不一致数据和“脏数据”多少的程度，需要执行大量的数据转换和清洗步骤；

2.2）搜寻并识别错误的实例

自动检测属性错误，利用基于统计的方法、聚类方法或者关联规则的方法自动检测数据集中的属性错误；

2.3）纠正所发现的错误

在数据源上执行预先定义好的并且已经得到验证的清洗转换规则和工作流，当直接在源数据上进行清洗时，需要备份源数据，以防需要撤销上一次或几次的清洗操作，清洗时根据“脏数据”存在形式的不同，执行一系列的转换步骤来解决模式层和实例层的数据质量问题；

2.4）干净数据回流：

当数据被清洗后，干净的数据应该替换数据源中原来的“脏数据”；

3）、数据分析：

原始数据包经过数据清洗后，对存储的“干净数据”进行检测，系统对如下四个场景做告警：

a)对通讯小车做重点分析：通过在“干净数据”中识别目的MAC地址，匹配小车MAC，识别出通讯小车与AP的连接情况、切换情况、以及心跳情况交互延迟情况，动态监测AP和小车的通信信号强度，对产生的中断及时告警；

b)对AP通讯做分析：识别出“干净数据”中的AP的MAC地址，关联出连接AP的所有终端MAC，对接入AP的所有终端做基准，对新增终端、终端突然消失进行告警；

c)对厂区的SSID做监测：识别出AP与SSID的对应关系，SSID对应的信道信息，实时监测SSID的动态情况，对场区内出现的伪AP进行监测和告警；

d)监测场区内所有无线数据包的信号强度，当出现信号强度过大的数据包时，可能是强干扰源的出现，并告警。

2.根据权利要求1所述的一种通过工业无线网空口采集和分析的方法，其特征在于：所述数据清洗中根据数据不同给出下列相应的数据清理方法：

（1）解决不完整数据（即值缺失）的方法

某些缺失值可以从本数据源或其它数据源推导出来，这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值，从而达到清理的目的；

（2）错误值的检测及解决方法

用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值，也可以用简单规则库（常识性规则、业务特定规则等）检查数据值，或使用不同属性间的约束、外部的数据来检测和清理数据；

（3）重复记录的检测及消除方法

数据库中属性值相同的记录被认为是重复记录，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录（即合并/清除)，合并/清除是消重的基本方法。

3.根据权利要求1所述的一种通过工业无线网空口采集和分析的方法，其特征在于：在数据清洗中为处理单数据源问题并且为其与其他数据源的合并做好准备，一般在各个数据源上应该分别进行几种类型的转换，主要包括：

a)从自由格式的属性字段中抽取值即属性分离

自由格式的属性一般包含着很多的信息，而这些信息有时候需要细化成多个属性，从而进一步支持后面重复记录的清洗；

b)确认和改正

这一步骤处理输入和拼写错误，并尽可能地使其自动化，基于字典查询的拼写检查对于发现拼写错误是很有用的；

c)标准化

为了使记录实例匹配和合并变得更方便，应该把属性值转换成一个一致和统一的格式。

Images