CN112153020A - 一种工控流量分析方法及装置 - Google Patents
一种工控流量分析方法及装置 Download PDFInfo
- Publication number
- CN112153020A CN112153020A CN202010945825.6A CN202010945825A CN112153020A CN 112153020 A CN112153020 A CN 112153020A CN 202010945825 A CN202010945825 A CN 202010945825A CN 112153020 A CN112153020 A CN 112153020A
- Authority
- CN
- China
- Prior art keywords
- data
- session
- network
- abnormal
- metadata information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005206 flow analysis Methods 0.000 title claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 86
- 230000005856 abnormality Effects 0.000 claims abstract description 59
- 238000003860 storage Methods 0.000 claims abstract description 48
- 238000007781 pre-processing Methods 0.000 claims abstract description 36
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 103
- 238000004891 communication Methods 0.000 claims description 43
- 230000006399 behavior Effects 0.000 claims description 27
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000007405 data analysis Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种工控流量分析方法及装置,包括,步骤S1,数据采集模块通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;步骤S2,预处理模块对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;步骤S3,异常判断模块获取所述元数据信息,通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;所述异常判断结果包括异常或正常。本发明能够连续性的采集和分析工控网络的数据,并对数据进行全面准确的分析。
Description
技术领域
本发明涉及互联网技术领域,特别是涉及一种工控流量分析方法及装置。
背景技术
随着电力行业两化融合工作的不断深入,越来越多的业务系统因自身管理和数据交互要求,将办公网和工控生产网上下贯通,传统存在于配电、输电环节的工控网及信息系统已不再封闭和孤立,工控网已逐步融入内部办公网,甚至是物理连接到外部广域网网络,成为电力行业网络重要的组成部分。
与此同时两化融合也带来了一些问题,主要表现在以下几个方面:一、生产网、办公网和互联网已实现互联互通,工控网及系统已直接面对互联网带来的安全威胁;二、目前工控网核心业务系统主要集中在工控网层(涉及发电、输电等系统),具有高度信息化、多系统交互的特点,且系统作业无法人工替代,一旦发生安全事件,对生产的影响程度显而易见;三、目前对于工控网层来说,缺乏针对工业生产网络统一有效的技术防护措施,工控安全防御保障水平待提升,属于网络信息安全防护的盲区和短板,一旦发生工控网络安全事件,可能会影响工控网络及信息系统的安全稳定运行。
传统的工控网安全技术,例如工控网防火墙,一般会串联接入网络,在降低了网络通讯质量的同时,还增加了发生单点故障的风险;传统的工控网安全系统,虽然具备实时阻断的功能,但在当今工控网业务连续性要求高于安全性要求的现状来看,旁路部署更适合工控网。工控网急需一种既可以保障业务连续性,又能快速采集分析异常流量的技术和系统。
发明内容
本发明的目的在于,提出一种工控流量分析方法及装置,解决现有技术的工控网络数据采集与分析连续性差,分析结果不准确的技术问题。
本发明的一方面,提供一种工控流量分析方法,包括以下步骤:
步骤S1,数据采集模块通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
步骤S2,预处理模块对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
步骤S3,异常判断模块获取所述元数据信息,通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;所述异常判断结果包括异常或正常。
优选的,所述步骤S1包括:所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;所述数据采集模块识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
优选的,所述步骤S2包括:所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
优选的,所述步骤S2包括:所述存储模块接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储。
优选的,所述步骤S3包括:所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
优选的,所述数据传输模块接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
本发明的另一方面还提供一种工控流量分析装置,用以实现所述的工控流量分析方法,包括:
数据采集模块,用以通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
预处理模块,用以对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
存储模块,用以接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储;
异常判断模块,用以通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;
所述数据传输模块,用以接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
优选的,所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
优选的,所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
优选的,所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
综上,实施本发明的实施例,具有如下的有益效果:
本发明提供的工控流量分析方法及装置,采用镜像方式接入,避免了串联设备部署时的风险隐患。同时建立了采集、预处理、分析、存储以及回传的五层处理架构,明确各架构层级的作用,对工控流量的采集与解析有明确的指导作用,避免各层角色重叠。
采用的是弹性高性能的快速分析与处理技术,可以分布式部署,支持虚拟化平台,具备高扩展性,可以根据设备性能结合流量分流设备配置多个节点,并搭配消息队列可避免数据源海量事件的输入处理,提供缓存机制,并且采用开放式架构,支持对第三方系统提供标准数据回传接口。
能快速分析和查询日志,支持实时的数据分析,后台采用全索引式存储技术,能够在页面上通过简单的数据查询、统计及组合分析来实现海量日志的综合分析,相比与传统的分析技术,其采用全索引以及文件式存储可以实现快速的日志定位和内容检索、分析。
能够根据网络链路状况自动变化数据回传及缓存方式。当回传链路出现问题时能够自动在本地缓存数据,做到离线存储,链路通畅时再按照已有队列顺序发送数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施中一种工控流量分析方法的主流程示意图。
图2为本发明实施中一种工控流量分析装置的结构示意图。
图3为本发明实施中数据回传逻辑图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
如图1所示,为本发明提供的一种工控流量分析方法的一个实施例的示意图。在该实施例中,所述方法包括以下步骤:
步骤S1,数据采集模块通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;可以理解的,网络流量采集技术采用嗅探法,嗅探法通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,来捕获数据报文;利用嗅探法采集到的信息较SNMP、NetFlow等方式采集的信息更为全面,可以完全复制网络中的数据报文;通过嗅探法采集到的网络协议如TCP、UDP、S7、Modbus、Profinet等类型数据包进行无损化本地保存,保存格式采用.pcap、TCP dump、cspkt等通用格式,用于第三方协议分析工具如Wireshark、OmniPeek、Sniffer等进行识别;通过嗅探法获取到网络流量后,通过对数据流的实时处理,能够保存网络中的所有数据流会话信息,包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息,通过对网络会话的存储,用户可以查看和了解任意时间的网络会话信息,及时发现异常的通讯会话,快速查找各种网络问题。
具体实施例中,所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
步骤S2,预处理模块对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;可以理解的,对实时数据流量首先进行传输层的会话还原,消除因网络条件造成的乱序、重传、延迟等对后续分析的干扰;然后进行应用协议识别,判断数据流量上所承载的具体应用;最终从非结构化的数据流中抽取结构化的元数据信息,以便后续的各类统计和关联分析。
元数据(Metadata)是对原始报文的描述数据,它不包含原始报文的具体内容,却保存了原始数据流中绝大部分可用于后续统计分析的信息量。典型的元数据包括一条会话的开始时间、结束时间、源地址、目的地址、源端口、目的端口、协议类型、应用类型、上行流量、下行流量、数据包分布状况等。在基于上述11元组提取元数据时,既要保存充足的信息以便后续分析模块使用,又要避免过于复杂的计算降低了数据流的处理效率。经过元数据提取法处理后的数据大小将远远低于原始数据包,回传数据所占带宽约为原始流量的0.9%-1.5%;
具体实施例中,所述存储模块接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储;可以理解的,能够全面保存预处理后的所有通讯的元数据,以滚动存储方式不断更新数据,当数据达到本地存储容量上限时能够按照时间顺序从前至后自动更替,保证存储数据的连贯性、实时性,同时为了便于后续查询与分析效率,对预处理后的数据分类进行存储。
具体的,按照以下分类进行存储:网络会话存储,通过对数据流预处理后的所有数据流会话信息,包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息,通过对网络会话的存储,用户可以查看和了解任意时间的网络会话信息,及时发现异常的通讯会话,快速查找各种网络问题;链路流量参数存储,根据数据预处理后的元数据进行汇总存储,实时对网络链路上的总体流量参数进行分析、统计和长期保存,如总流量、广播/组播流量、上行/下行流量、数据包、利用率、TCP同步数据包数、TCP同步确认数据包数、TCP同步重置数据包数等多种网络基本流量数据统计,帮助用户快速了解和掌握网络运行状态,及时发现异常数据;元数据存储,能够为预处理后的全部元数据自动建立全索引,以文件形式进行存储,全索引后的元数据在查询、统计、建模时能够提供亿级数据秒级查询的性能,允许用户通过自定义的规则对数据进行统计分析与建模挖掘。
再具体的,由于设备本地存储空间有限,即便在数据预处理时对元数据进行提取,若对电力工控网络中的全流量数据完整存储,仍将很快耗尽本地存储空间。实施例中还设置数据存储规则库,允许用户自定义需要存储的数据包内容,允许用户能够根据IP、协议类型、数据包大小进行设置,一旦数据包不满足存储规则,则该类数据包将被丢弃,不再进行本地存储。通过此设计将大大节省本地存储资源,同时提高数据分析与查询的效率。
步骤S3,异常判断模块获取所述元数据信息,通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;所述异常判断结果包括异常或正常;可以理解的,能够及时回溯分析该时段的流量,能够及时掌握网络异常的原因,避免问题的进一步扩大;同时,对于发生的历史问题,能够快速提取该时段数据进行历史数据精细分析;某些网络问题可能并不会以异常的流量而表现,比如在过去某个时间数据库服务器响应慢,要分析此问题的原因,就需要调取分析该时段的通讯数据,正是有了强大的采集数据分析能力,才能够在数据存储的基础上,挖掘调取过去任意时段的历史数据,快速检索历史信息并进行精细的二次分析并查找产生问题的原因。
具体实施例中,所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;可以理解的,通过对网络中所有主机的各种流量参数的分析,定义主机的网络行为异常检测规则库,实现主机可疑的网络行为的检测发现。
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;可以理解的,针对重点关注的网络应用流量和网络主机流量的通讯流量参数进行实时分析,定义监测规则库,实现对重点关注的应用和主机的网络通讯异常告警。
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;可以理解的,实现对链路的突发流量进行检测,发现异常的流量并产生告警。
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;可以理解的,特征数据检测是通过定义数据包中的特征匹配条件、对元数据进行自定义建模来实现在全流量采集过程中的特征行为、异常通讯访问等进行监测的功能;产生的告警既能够在设备端展现,同时也能够以通用接口方式回传到智能终端(监控预警系统)展示。
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
本实施例中,如图3所示,该方法还包括:所述数据传输模块接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端;可以理解的,能够定时检测与外界回传网络的接口通断情况,若检测结果正常,则通过网络将数据进行回传;网络状况检测周期可根据实际情况进行调整,同时,在网络状况正常情况下,用户也能够从本地导出数据。当检测结果异常时,则能够立即将数据转至本地存储,同时持续不断检测网络状况,直至恢复时将本地缓存的数据按照队列机制发送到第三方系统。在网络状况异常期间允许用户从本地将数据导出,通过手工方式转存到第三方系统。
面向电力工控流量分析技术具备错误校验以及重发机制,每个传输数据均采用时间戳机制,一旦因网络异常导致数据传输失败,能够利用本地存储空间将发送失败的数据进行缓存,待网络恢复后根据时间戳能够将缓存数据有序回传给相关接口。
如图2所示,本发明的实施例中还提供一种工控流量分析装置,用以所述的工控流量分析方法,包括:数据采集模块,用以通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
具体实施例中,所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
预处理模块,用以对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
具体实施例中,所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
存储模块,用以接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储。
异常判断模块,用以通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;
具体是实施例中,所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
所述数据传输模块,用以接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
综上,实施本发明的实施例,具有如下的有益效果:
本发明提供的工控流量分析方法及装置,采用镜像方式接入,避免了串联设备部署时的风险隐患。同时建立了采集、预处理、分析、存储以及回传的五层处理架构,明确各架构层级的作用,对工控流量的采集与解析有明确的指导作用,避免各层角色重叠。
采用的是弹性高性能的快速分析与处理技术,可以分布式部署,支持虚拟化平台,具备高扩展性,可以根据设备性能结合流量分流设备配置多个节点,并搭配消息队列可避免数据源海量事件的输入处理,提供缓存机制,并且采用开放式架构,支持对第三方系统提供标准数据回传接口。
能快速分析和查询日志,支持实时的数据分析,后台采用全索引式存储技术,能够在页面上通过简单的数据查询、统计及组合分析来实现海量日志的综合分析,相比与传统的分析技术,其采用全索引以及文件式存储可以实现快速的日志定位和内容检索、分析。
能够根据网络链路状况自动变化数据回传及缓存方式。当回传链路出现问题时能够自动在本地缓存数据,做到离线存储,链路通畅时再按照已有队列顺序发送数据。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种工控流量分析方法,其特征在于,包括以下步骤:
步骤S1,数据采集模块通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
步骤S2,预处理模块对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
步骤S3,异常判断模块获取所述元数据信息,通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;所述异常判断结果包括异常或正常。
2.如权利要求1所述的方法,其特征在于,所述步骤S1包括:
所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
3.如权利要求2所述的方法,其特征在于,所述步骤S2包括:
所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
4.如权利要求3所述的方法,其特征在于,所述步骤S2包括:
所述存储模块接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储。
5.如权利要求4所述的方法,其特征在于,所述步骤S3包括:
所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
6.如权利要求5所述的方法,其特征在于,该方法还包括:所述数据传输模块接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
7.一种工控流量分析装置,用以实现如权利要求1-6任一所述的方法,其特征在于,包括:
数据采集模块,用以通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
预处理模块,用以对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
存储模块,用以接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储;
异常判断模块,用以通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;
数据传输模块,用以接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
8.如权利要求7所述的装置,其特征在于,所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
9.如权利要求8所述的装置,其特征在于,所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
10.如权利要求9所述的装置,其特征在于,所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010945825.6A CN112153020A (zh) | 2020-09-10 | 2020-09-10 | 一种工控流量分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010945825.6A CN112153020A (zh) | 2020-09-10 | 2020-09-10 | 一种工控流量分析方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112153020A true CN112153020A (zh) | 2020-12-29 |
Family
ID=73889501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010945825.6A Pending CN112153020A (zh) | 2020-09-10 | 2020-09-10 | 一种工控流量分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112153020A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113162820A (zh) * | 2021-03-04 | 2021-07-23 | 睿石网云(杭州)科技有限公司 | 一种应用系统性能故障取证分析的方法 |
CN114363160A (zh) * | 2021-12-31 | 2022-04-15 | 锐捷网络股份有限公司 | 基于广域网的网络管理方法及装置 |
CN115103000A (zh) * | 2022-06-20 | 2022-09-23 | 北京鼎兴达信息科技股份有限公司 | 基于NetStream对铁路数据网进行业务会话还原和分析方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103825888A (zh) * | 2014-02-17 | 2014-05-28 | 北京奇虎科技有限公司 | 网络威胁处理方法及设备 |
CN105871638A (zh) * | 2016-06-03 | 2016-08-17 | 北京启明星辰信息安全技术有限公司 | 一种网络安全控制方法及装置 |
CN105939334A (zh) * | 2015-03-04 | 2016-09-14 | 费希尔-罗斯蒙特系统公司 | 工业通信网络中的异常检测 |
CN110401642A (zh) * | 2019-07-10 | 2019-11-01 | 浙江中烟工业有限责任公司 | 一种工控流量的采集与协议解析方法 |
CN111542083A (zh) * | 2020-03-24 | 2020-08-14 | 浙江中烟工业有限责任公司 | 一种通过工业无线网空口采集和分析的方法 |
-
2020
- 2020-09-10 CN CN202010945825.6A patent/CN112153020A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103825888A (zh) * | 2014-02-17 | 2014-05-28 | 北京奇虎科技有限公司 | 网络威胁处理方法及设备 |
CN105939334A (zh) * | 2015-03-04 | 2016-09-14 | 费希尔-罗斯蒙特系统公司 | 工业通信网络中的异常检测 |
CN105871638A (zh) * | 2016-06-03 | 2016-08-17 | 北京启明星辰信息安全技术有限公司 | 一种网络安全控制方法及装置 |
CN110401642A (zh) * | 2019-07-10 | 2019-11-01 | 浙江中烟工业有限责任公司 | 一种工控流量的采集与协议解析方法 |
CN111542083A (zh) * | 2020-03-24 | 2020-08-14 | 浙江中烟工业有限责任公司 | 一种通过工业无线网空口采集和分析的方法 |
Non-Patent Citations (1)
Title |
---|
高彦刚: "网络流量分析技术,助力"新基建"高质量安全发展", 《中国信息安全》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113162820A (zh) * | 2021-03-04 | 2021-07-23 | 睿石网云(杭州)科技有限公司 | 一种应用系统性能故障取证分析的方法 |
CN114363160A (zh) * | 2021-12-31 | 2022-04-15 | 锐捷网络股份有限公司 | 基于广域网的网络管理方法及装置 |
CN115103000A (zh) * | 2022-06-20 | 2022-09-23 | 北京鼎兴达信息科技股份有限公司 | 基于NetStream对铁路数据网进行业务会话还原和分析方法 |
CN115103000B (zh) * | 2022-06-20 | 2023-09-26 | 北京鼎兴达信息科技股份有限公司 | 基于NetStream对铁路数据网进行业务会话还原和分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110401642A (zh) | 一种工控流量的采集与协议解析方法 | |
CN112153020A (zh) | 一种工控流量分析方法及装置 | |
CN108040074B (zh) | 一种基于大数据的实时网络异常行为检测系统及方法 | |
US9848004B2 (en) | Methods and systems for internet protocol (IP) packet header collection and storage | |
US7903566B2 (en) | Methods and systems for anomaly detection using internet protocol (IP) traffic conversation data | |
US8726382B2 (en) | Methods and systems for automated detection and tracking of network attacks | |
US7995496B2 (en) | Methods and systems for internet protocol (IP) traffic conversation detection and storage | |
US8762515B2 (en) | Methods and systems for collection, tracking, and display of near real time multicast data | |
US20090238088A1 (en) | Network traffic analyzing device, network traffic analyzing method and network traffic analyzing system | |
CN108848067A (zh) | 智能学习并预置只读白名单规则的opc协议安全防护方法 | |
Karimi et al. | Distributed network traffic feature extraction for a real-time IDS | |
CN112350854B (zh) | 一种流量故障定位方法、装置、设备及存储介质 | |
KR101602189B1 (ko) | 10기가급 패킷 캡쳐링에 의한 트래픽 분석 및 망 감시 시스템 | |
CN107666486A (zh) | 一种基于报文协议特征的网络数据流恢复方法及系统 | |
CN112532614A (zh) | 一种用于电网终端的安全监测方法和系统 | |
CN110929896A (zh) | 一种系统设备的安全分析方法及装置 | |
CN110691007A (zh) | 一种精确测量quic连接丢包率的方法 | |
CN116257021A (zh) | 一种工控系统智能网络安全态势监测预警平台 | |
CN116723136B (zh) | 应用fcm聚类算法的网络检测数据的方法 | |
CN110838949A (zh) | 一种网络流量日志记录方法及装置 | |
CN115766471B (zh) | 一种基于组播流量的网络业务质量分析方法 | |
CN112491662A (zh) | 一种icmp隐蔽隧道检测方法及装置 | |
EP3576365B1 (en) | Data processing device and method | |
CN113377051B (zh) | 一种基于fpga的网络安全防护设备 | |
Zhang et al. | Design of Flow Analysis System Based on Industrial Control Network in Tobacco Industry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |
|
RJ01 | Rejection of invention patent application after publication |