CN110401642A - 一种工控流量的采集与协议解析方法 - Google Patents

Abstract

本发明公开了一种工控流量的采集与协议解析方法，所述方法包括：基于工控网络交换机的镜像口获取数据；对获取到的数据进行预处理，所述预处理包括还原传输层的网络会话、识别应用协议、抽取结构化的元数据；分别对经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的各类数据进行分类存储；根据设定的规则对各分类存储的数据分别进行监测和分析，找出异常数据。本发明采用镜像方式接入流量数据，避免了串联设备部署时的风险隐患；同时建立了采集、预处理、分析、存储以及回传的五层处理架构，明确各架构层级的作用，对工控流量的采集与解析有明确的指导作用，避免各层角色重叠。

Description

一种工控流量的采集与协议解析方法

技术领域

本发明属于计算机系统技术领域，具体涉及一种工控流量的采集与协议解析方法。

背景技术

近年来，随着行业大力倡导两化(信息化与工业化)融合工作，以MES系统为代表的核心业务系统因自身管理和数据交互要求，已将办公网和工控生产网上下贯通，传统存在于生产车间与高架库的工控网及信息系统已不再封闭和孤立，工控网已逐步融入卷烟厂内部办公网甚至是物理连接到外部广域网网络，成为卷烟厂公司网络重要的组成部分。

随之而来，信息安全管理工作逐渐暴露出一些问题，主要表现在以下几个方面：一是随着“两化”融合工作的深入，生产网(有线与无线)、办公网(有线与无线)和互联网已实现互联互通，工控网及系统已直接面对互联网带来的安全威胁；二是目前工控网核心业务系统主要集中在工控网层(涉及制丝、卷接、库管等系统)，具有高度信息化、多系统交互的特点，且系统作业无法人工替代，一旦发生安全事件，对生产的影响程度显而易见；三是目前工控网层缺乏针对工业生产网络统一有效的技术防护措施，工控安全防御保障水平亟待提升，属于网络信息安全防护的盲区和短板，一旦发生工控网络安全事件，可能会影响全厂生产车间工控网络及信息系统的安全稳定运行。

发明内容

针对上述问题，本发明提出一种工控流量的采集与协议解析方法，从网络数据采集与监测角度出发，提出了利用对卷烟厂工控网络专有协议进行数据的采集与解析，解决工控网络数据采集与分析的难题，实现对工控网流量关键通讯数据的格式化存储与可视化分析能力。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种工控流量的采集与协议解析方法，包括以下步骤：

基于工控网络交换机的镜像口获取数据；

对获取到的数据进行预处理，所述预处理包括还原传输层的网络会话、识别应用协议、抽取结构化的元数据；

分别对经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的各类数据进行分类存储；

根据设定的规则对各分类存储的数据分别进行监测和分析，找出异常数据。

优选地，所述基于工控网络交换机的镜像口获取数据，具体为：

基于嗅探法从工控网络交换机的镜像口捕获数据，并进行无损化本地保存；

所述数据包括TCP、UDP、S7、Modbus、Profinet网络协议数据包，保存格式采用通用格式。

优选地，所述保存格式为.pcap、TCP dump或cspkt。

优选地，对于经过还原传输层的网络会话处理后的数据，其包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息。

优选地，所述元数据是对从工控网络交换机的镜像口获得的原始数据的描述数据，包括一条会话的开始时间、结束时间、源地址、目的地址、源端口、目的端口、协议类型、应用类型、上行流量、下行流量、数据包分布状况。

优选地，在进行元数据分类存储时，自动为全部的元数据建立全索引，并以文件形式进行存储。

优选地，所述分别对经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的数据进行分类存储，具体为：

对于经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的数据，当符合设定的数据存储规则时，才进行保存，反之，则丢弃。

优选地，所述设定的数据存储规则包括：IP、协议类型和数据包大小。

优选地，所述根据设定的规则对各分类存储的数据分别进行监测和分析，具体包括：

基于设定的网络行为异常检测规则库，发现可疑的网络行为；

基于设定的监测规则库，对设定的应用和网络通讯异常进行告警；

对链路的突发流量进行检测，发现异常的流量并产生告警；

基于设定的定义数据包中的特征匹配条件，监测数据采集过程中的特征行为、异常通讯访问；

根据设定的挖掘规则对元数据进行挖掘分析。

优选地，所述方法还包括：

定时检测与外界回传网络的接口通断情况，若检测结果正常，则进行数据回传；若检测结果异常，则将数据转至本地存储，同时持续不断检测网络状况，直至恢复时将本地缓存的数据按照队列机制发送到第三方系统；

其中，每个数据均采用时间戳机制，一旦因网络异常导致数据传输失败，能够利用本地存储空间将发送失败的数据进行缓存，待网络恢复后根据时间戳能够将缓存数据有序回传给相关接口。

与现有技术相比，本发明的有益效果：

第一，本发明对于烟草行业工控流量的安全审计具有独创性，首先工控流量采用镜像方式接入，避免了串联设备部署时的风险隐患；同时建立了采集、预处理、分析、存储以及回传的五层处理架构，明确各架构层级的作用，对工控流量的采集与解析有明确的指导作用，避免各层角色重叠。

第二，本发明中设计的工控流量的采集与协议解析方法，采用的是弹性高性能的快速分析与处理系统，可以分布式部署，支持虚拟化平台，具备高扩展性，可以根据设备性能结合流量分流设备配置多个节点，并搭配消息队列可避免数据源海量事件的输入处理，提供缓存机制，并且采用开放式架构，支持对第三方系统提供标准数据回传接口。

第三，本发明中的工控流量的采集与协议解析方法，具有强大的数据检索与分析能力，即便数据量相当庞大，也能快速分析和查询日志，支持实时的数据分析，后台采用全索引式存储技术，能够在页面上通过简单的数据查询、统计及组合分析来实现海量日志的综合分析，相比与传统的分析技术，其采用全索引以及文件式存储可以实现快速的日志定位和内容检索、分析。

第四、本发明能够自适应的进行数据回传，能够根据网络链路状况自动变化数据回传及缓存方式。当回传链路出现问题时能够自动在本地缓存数据，做到离线存储，链路通畅时再按照已有队列顺序发送数据。

附图说明

图1为本发明一种实施例的工控流量的采集与协议解析方法的流程示意图；

图2为本发明一种实施例的工控网络交换机与流量采集设备的关系示意图；

图3为本发明一种实施例的数据监测和分析流程示意图；

图4为本发明一种实施例的数据回传流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。

下面结合附图对本发明的应用原理作详细的描述。

实施例1

如图1所示，本发明实施例提供了一种工控流量的采集与协议解析方法，包括以下步骤：

步骤(1)数据采集，即基于工控网络交换机的镜像口获取数据；

数据采集的目的是为后续的数据分析提供基础数据源，从而实现通过对工控网络通讯的分析发现异常网络行为。

在本发明实施例的一种具体实施方式中，所述步骤(1)具体为：

(1.1)在工控网络交换机1旁部署流量采集设备2，所述流量采集设备2通过工控网络交换机1的镜像端口进行数据采集，同时将自身的通讯口与管理网络连接用以回传数据；参见图2；

(1.2)基于嗅探法从工控网络交换机的镜像口捕获数据，并进行无损化本地保存；所述数据包括TCP、UDP、S7、Modbus、Profinet网络协议数据包，保存格式采用通用格式，优选地，所述保存格式为.pcap、TCP dump或cspkt，用于第三方协议分析工具如Wireshark、OmniPeek、Sniffer等进行识别；基于嗅探法采集到的信息较SNMP、NetFlow等方式采集的信息更为全面，可以完全复制网络中的数据报文；

进一步地，通过嗅探法获取到数据(即网络流量)后，通过对数据的实时处理，能够保存网络中的所有网络会话信息，包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息，通过对网络会话的存储，用户可以查看和了解任意时间的网络会话信息，及时发现异常的通讯会话，快速查找各种网络问题

步骤(2)数据预处理，即对获取到的数据进行预处理，所述预处理包括还原传输层的网络会话、识别应用协议、抽取结构化的元数据；

在本发明实施例的一种具体实施方式中，所述步骤(2)具体为：

首先，对实时数据进行传输层的会话还原，消除因网络条件造成的乱序、重传、延迟等对后续分析的干扰；

然后，进行应用协议识别，判断数据上所承载的具体应用；

最终从非结构化的数据流中抽取结构化的元数据信息，以便后续的各类统计和关联分析。

所述元数据(Metadata)是对原始报文的描述数据，它不包含原始报文的具体内容，却保存了原始数据流中绝大部分可用于后续统计分析的信息量。典型的元数据包括一条会话的开始时间、结束时间、源地址、目的地址、源端口、目的端口、协议类型、应用类型、上行流量、下行流量、数据包分布状况等。在基于上述11元组提取元数据时，既要保存充足的信息以便后续分析模块使用，又要避免过于复杂的计算降低了数据流的处理效率。经过元数据提取法处理后的数据大小将远远低于原始数据包，回传数据所占带宽约为原始流量的0.9％-1.5％。

步骤(3)数据存储，即分别对经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的各类数据进行分类存储；

在本发明实施例的一种具体实施方式中，通过全面保存预处理后的所有通讯的元数据，以滚动存储方式不断更新数据，当数据达到本地存储容量上限时能够按照时间顺序从前至后自动更替，保证存储数据的连贯性、实时性，同时为了便于后续查询与分析效率，对预处理后的数据按照以下分类进行存储：

(1)网络会话存储

预处理后的所有网络会话信息，包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息，通过对网络会话的存储，用户可以查看和了解任意时间的网络会话信息，及时发现异常的通讯会话，快速查找各种网络问题。

(2)链路流量参数存储

对经过预处理后的得到元数据进行汇总存储，实时对网络链路上的总体流量参数进行分析、统计和长期保存，如总流量、广播/组播流量、上行/下行流量、数据包、利用率、TCP同步数据包数、TCP同步确认数据包数、TCP同步重置数据包数等多种网络基本流量数据统计，帮助用户快速了解和掌握网络运行状态，及时发现异常数据。

(3)元数据存储

为预处理后的全部元数据自动建立全索引，以文件形式进行存储。全索引后的元数据在查询、统计、建模时能够提供亿级数据秒级查询的性能，允许用户通过自定义的规则对数据进行统计分析与建模挖掘。

由于设备本地存储空间有限，即便在数据预处理时对元数据进行提取，若对烟草工控网络中的全流量数据完整存储，仍将很快耗尽本地存储空间。因此设计数据存储规则库，允许用户自定义需要存储的数据包内容，允许用户能够根据IP、协议类型、数据包大小进行设置，一旦数据包不满足存储规则，则该类数据包将被丢弃，不再进行本地存储。即对于经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的数据，当符合设定的数据存储规则时，才进行保存，反之，则丢弃。通过此设计将大大节省本地存储资源，同时提高数据分析与查询的效率。

步骤(4)根据设定的规则对各分类存储的数据分别进行监测和分析，找出异常数据，具体参见图3；

本发明中利用实时检测技术在存储数据中发现工控网络中出现突发流量或异常流量时，能够及时回溯分析该时段的流量，能够及时掌握网络异常的原因，避免问题的进一步扩大；同时，对于发生的历史问题，能够快速提取该时段数据进行历史数据精细分析。某些网络问题可能并不会以异常的流量而表现，比如在过去某个时间数据库服务器响应慢，要分析此问题的原因，就需要调取分析该时段的通讯数据，正是有了强大的采集数据分析能力，系统才能够在数据存储的基础上，挖掘调取过去任意时段的历史数据，快速检索历史信息并进行精细的二次分析并查找产生问题的原因。

提供从网络协议和应用，物理端点，IP端点，物理会话，IP会话，TCP会话，UDP会话等多个角度进行数据挖掘，能直观地看到各网络对象间的关联关系和数据统计结果。如通过某个协议可挖掘出其下的IP端点，再到IP端点下的会话和最底层的数据包，层层递进，逐级挖掘。采集分析技术还支持在各层次间进行快速跳转，可方便的回溯至任意挖掘路径节点。

在本发明实施例的一种具体实施方式中，所述根据设定的规则对各分类存储的数据分别进行监测和分析，具体包括：

(4.1)可疑网络行为检测

基于设定的网络行为异常检测规则库，发现可疑的网络行为；

(4.2)重点对象分析检测

基于设定的监测规则库，对设定的应用和网络通讯异常进行告警；

(4.3)链路突发流量检测

对链路的突发流量进行检测，发现异常的流量并产生告警；

(4.4)特征数据检测

特征数据检测是通过定义数据包中的特征匹配条件来实现在全流量采集过程中的特征行为、异常通讯访问等进行监测的功能。系统产生的告警既能够在设备端展现，同时也能够以通用接口方式回传到现有监控预警系统展示；

(4.5)数据挖掘分析

数据挖掘分析时对元数据进行自定义建模、统计，根据用户自定义规则对元数据进行挖掘分析，例如对特殊端口与的统计、特殊通讯行为在全部元数据中的回溯等。

实施例2

为保证数据预处理后的流量数据能够准确及时传送到第三方管理系统，在数据传输有正确的队列机制前提下，本发明的方法还设计数据回传的同步与异步方式；

具体地，本发明实施例与实施例1的区别在于：

如图4所示，所述方法还包括：

定时检测与外界回传网络的接口通断情况，若检测结果正常，则进行数据回传；若检测结果异常，则将数据转至本地存储，同时持续不断检测网络状况，直至恢复时将本地缓存的数据按照队列机制发送到第三方系统；

其中，每个数据均采用时间戳机制，一旦因网络异常导致数据传输失败，能够利用本地存储空间将发送失败的数据进行缓存，待网络恢复后根据时间戳能够将缓存数据有序回传给相关接口。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种工控流量的采集与协议解析方法，其特征在于，包括以下步骤：

基于工控网络交换机的镜像口获取数据；

对获取到的数据进行预处理，所述预处理包括还原传输层的网络会话、识别应用协议、抽取结构化的元数据；

分别对经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的各类数据进行分类存储；

根据设定的规则对各分类存储的数据分别进行监测和分析，找出异常数据。

2.根据权利要求1所述的一种工控流量的采集与协议解析方法，其特征在于：所述基于工控网络交换机的镜像口获取数据，具体为：

基于嗅探法从工控网络交换机的镜像口捕获数据，并进行无损化本地保存；

所述数据包括TCP、UDP、S7、Modbus、Profinet网络协议数据包，保存格式采用通用格式。

3.根据权利要求2所述的一种工控流量的采集与协议解析方法，其特征在于：所述保存格式为.pcap、TCP dump或cspkt。

4.根据权利要求1所述的一种工控流量的采集与协议解析方法，其特征在于：

对于经过还原传输层的网络会话处理后的数据，其包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息。

5.根据权利要求1所述的一种工控流量的采集与协议解析方法，其特征在于：所述元数据是对从工控网络交换机的镜像口获得的原始数据的描述数据，包括一条会话的开始时间、结束时间、源地址、目的地址、源端口、目的端口、协议类型、应用类型、上行流量、下行流量、数据包分布状况。

6.根据权利要求5的一种工控流量的采集与协议解析方法，其特征在于：在对元数据进行分类存储时，自动为全部的元数据建立全索引，并以文件形式进行存储。

7.根据权利要求1所述的一种工控流量的采集与协议解析方法，其特征在于：所述分别对经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的数据进行分类存储，具体为：

对于经过还原传输层的网络会话、识别应用协议、抽取结构化的元数据处理后的数据，当符合设定的数据存储规则时，才进行保存，反之，则丢弃。

8.根据权利要求7所述的一种工控流量的采集与协议解析方法，其特征在于：所述设定的数据存储规则包括：IP、协议类型和数据包大小。

9.根据权利要求1所述的一种工控流量的采集与协议解析方法，其特征在于：所述根据设定的规则对各分类存储的数据分别进行监测和分析，具体包括：

基于设定的网络行为异常检测规则库，发现可疑的网络行为；

基于设定的监测规则库，对设定的应用和网络通讯异常进行告警；

对链路的突发流量进行检测，发现异常的流量并产生告警；

基于设定的定义数据包中的特征匹配条件，监测数据采集过程中的特征行为、异常通讯访问；

根据设定的挖掘规则对元数据进行挖掘分析。

10.根据权利要求1所述的一种工控流量的采集与协议解析方法，其特征在于，所述方法还包括：

定时检测与外界回传网络的接口通断情况，若检测结果正常，则进行数据回传；若检测结果异常，则将数据转至本地存储，同时持续不断检测网络状况，直至恢复时将本地缓存的数据按照队列机制发送到第三方系统；

其中，每个数据均采用时间戳机制，一旦因网络异常导致数据传输失败，能够利用本地存储空间将发送失败的数据进行缓存，待网络恢复后根据时间戳能够将缓存数据有序回传给相关接口。