CN112153020A - 一种工控流量分析方法及装置 - Google Patents

一种工控流量分析方法及装置 Download PDF

Info

Publication number
CN112153020A
CN112153020A CN202010945825.6A CN202010945825A CN112153020A CN 112153020 A CN112153020 A CN 112153020A CN 202010945825 A CN202010945825 A CN 202010945825A CN 112153020 A CN112153020 A CN 112153020A
Authority
CN
China
Prior art keywords
data
session
network
abnormal
metadata information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010945825.6A
Other languages
English (en)
Inventor
康文倩
林子钊
杨小卫
李曼
车向北
欧阳宇宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN202010945825.6A priority Critical patent/CN112153020A/zh
Publication of CN112153020A publication Critical patent/CN112153020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种工控流量分析方法及装置,包括,步骤S1,数据采集模块通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;步骤S2,预处理模块对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;步骤S3,异常判断模块获取所述元数据信息,通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;所述异常判断结果包括异常或正常。本发明能够连续性的采集和分析工控网络的数据,并对数据进行全面准确的分析。

Description

一种工控流量分析方法及装置
技术领域
本发明涉及互联网技术领域,特别是涉及一种工控流量分析方法及装置。
背景技术
随着电力行业两化融合工作的不断深入,越来越多的业务系统因自身管理和数据交互要求,将办公网和工控生产网上下贯通,传统存在于配电、输电环节的工控网及信息系统已不再封闭和孤立,工控网已逐步融入内部办公网,甚至是物理连接到外部广域网网络,成为电力行业网络重要的组成部分。
与此同时两化融合也带来了一些问题,主要表现在以下几个方面:一、生产网、办公网和互联网已实现互联互通,工控网及系统已直接面对互联网带来的安全威胁;二、目前工控网核心业务系统主要集中在工控网层(涉及发电、输电等系统),具有高度信息化、多系统交互的特点,且系统作业无法人工替代,一旦发生安全事件,对生产的影响程度显而易见;三、目前对于工控网层来说,缺乏针对工业生产网络统一有效的技术防护措施,工控安全防御保障水平待提升,属于网络信息安全防护的盲区和短板,一旦发生工控网络安全事件,可能会影响工控网络及信息系统的安全稳定运行。
传统的工控网安全技术,例如工控网防火墙,一般会串联接入网络,在降低了网络通讯质量的同时,还增加了发生单点故障的风险;传统的工控网安全系统,虽然具备实时阻断的功能,但在当今工控网业务连续性要求高于安全性要求的现状来看,旁路部署更适合工控网。工控网急需一种既可以保障业务连续性,又能快速采集分析异常流量的技术和系统。
发明内容
本发明的目的在于,提出一种工控流量分析方法及装置,解决现有技术的工控网络数据采集与分析连续性差,分析结果不准确的技术问题。
本发明的一方面,提供一种工控流量分析方法,包括以下步骤:
步骤S1,数据采集模块通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
步骤S2,预处理模块对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
步骤S3,异常判断模块获取所述元数据信息,通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;所述异常判断结果包括异常或正常。
优选的,所述步骤S1包括:所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;所述数据采集模块识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
优选的,所述步骤S2包括:所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
优选的,所述步骤S2包括:所述存储模块接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储。
优选的,所述步骤S3包括:所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
优选的,所述数据传输模块接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
本发明的另一方面还提供一种工控流量分析装置,用以实现所述的工控流量分析方法,包括:
数据采集模块,用以通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
预处理模块,用以对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
存储模块,用以接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储;
异常判断模块,用以通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;
所述数据传输模块,用以接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
优选的,所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
优选的,所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
优选的,所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
综上,实施本发明的实施例,具有如下的有益效果:
本发明提供的工控流量分析方法及装置,采用镜像方式接入,避免了串联设备部署时的风险隐患。同时建立了采集、预处理、分析、存储以及回传的五层处理架构,明确各架构层级的作用,对工控流量的采集与解析有明确的指导作用,避免各层角色重叠。
采用的是弹性高性能的快速分析与处理技术,可以分布式部署,支持虚拟化平台,具备高扩展性,可以根据设备性能结合流量分流设备配置多个节点,并搭配消息队列可避免数据源海量事件的输入处理,提供缓存机制,并且采用开放式架构,支持对第三方系统提供标准数据回传接口。
能快速分析和查询日志,支持实时的数据分析,后台采用全索引式存储技术,能够在页面上通过简单的数据查询、统计及组合分析来实现海量日志的综合分析,相比与传统的分析技术,其采用全索引以及文件式存储可以实现快速的日志定位和内容检索、分析。
能够根据网络链路状况自动变化数据回传及缓存方式。当回传链路出现问题时能够自动在本地缓存数据,做到离线存储,链路通畅时再按照已有队列顺序发送数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施中一种工控流量分析方法的主流程示意图。
图2为本发明实施中一种工控流量分析装置的结构示意图。
图3为本发明实施中数据回传逻辑图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
如图1所示,为本发明提供的一种工控流量分析方法的一个实施例的示意图。在该实施例中,所述方法包括以下步骤:
步骤S1,数据采集模块通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;可以理解的,网络流量采集技术采用嗅探法,嗅探法通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,来捕获数据报文;利用嗅探法采集到的信息较SNMP、NetFlow等方式采集的信息更为全面,可以完全复制网络中的数据报文;通过嗅探法采集到的网络协议如TCP、UDP、S7、Modbus、Profinet等类型数据包进行无损化本地保存,保存格式采用.pcap、TCP dump、cspkt等通用格式,用于第三方协议分析工具如Wireshark、OmniPeek、Sniffer等进行识别;通过嗅探法获取到网络流量后,通过对数据流的实时处理,能够保存网络中的所有数据流会话信息,包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息,通过对网络会话的存储,用户可以查看和了解任意时间的网络会话信息,及时发现异常的通讯会话,快速查找各种网络问题。
具体实施例中,所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
步骤S2,预处理模块对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;可以理解的,对实时数据流量首先进行传输层的会话还原,消除因网络条件造成的乱序、重传、延迟等对后续分析的干扰;然后进行应用协议识别,判断数据流量上所承载的具体应用;最终从非结构化的数据流中抽取结构化的元数据信息,以便后续的各类统计和关联分析。
元数据(Metadata)是对原始报文的描述数据,它不包含原始报文的具体内容,却保存了原始数据流中绝大部分可用于后续统计分析的信息量。典型的元数据包括一条会话的开始时间、结束时间、源地址、目的地址、源端口、目的端口、协议类型、应用类型、上行流量、下行流量、数据包分布状况等。在基于上述11元组提取元数据时,既要保存充足的信息以便后续分析模块使用,又要避免过于复杂的计算降低了数据流的处理效率。经过元数据提取法处理后的数据大小将远远低于原始数据包,回传数据所占带宽约为原始流量的0.9%-1.5%;
具体实施例中,所述存储模块接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储;可以理解的,能够全面保存预处理后的所有通讯的元数据,以滚动存储方式不断更新数据,当数据达到本地存储容量上限时能够按照时间顺序从前至后自动更替,保证存储数据的连贯性、实时性,同时为了便于后续查询与分析效率,对预处理后的数据分类进行存储。
具体的,按照以下分类进行存储:网络会话存储,通过对数据流预处理后的所有数据流会话信息,包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息,通过对网络会话的存储,用户可以查看和了解任意时间的网络会话信息,及时发现异常的通讯会话,快速查找各种网络问题;链路流量参数存储,根据数据预处理后的元数据进行汇总存储,实时对网络链路上的总体流量参数进行分析、统计和长期保存,如总流量、广播/组播流量、上行/下行流量、数据包、利用率、TCP同步数据包数、TCP同步确认数据包数、TCP同步重置数据包数等多种网络基本流量数据统计,帮助用户快速了解和掌握网络运行状态,及时发现异常数据;元数据存储,能够为预处理后的全部元数据自动建立全索引,以文件形式进行存储,全索引后的元数据在查询、统计、建模时能够提供亿级数据秒级查询的性能,允许用户通过自定义的规则对数据进行统计分析与建模挖掘。
再具体的,由于设备本地存储空间有限,即便在数据预处理时对元数据进行提取,若对电力工控网络中的全流量数据完整存储,仍将很快耗尽本地存储空间。实施例中还设置数据存储规则库,允许用户自定义需要存储的数据包内容,允许用户能够根据IP、协议类型、数据包大小进行设置,一旦数据包不满足存储规则,则该类数据包将被丢弃,不再进行本地存储。通过此设计将大大节省本地存储资源,同时提高数据分析与查询的效率。
步骤S3,异常判断模块获取所述元数据信息,通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;所述异常判断结果包括异常或正常;可以理解的,能够及时回溯分析该时段的流量,能够及时掌握网络异常的原因,避免问题的进一步扩大;同时,对于发生的历史问题,能够快速提取该时段数据进行历史数据精细分析;某些网络问题可能并不会以异常的流量而表现,比如在过去某个时间数据库服务器响应慢,要分析此问题的原因,就需要调取分析该时段的通讯数据,正是有了强大的采集数据分析能力,才能够在数据存储的基础上,挖掘调取过去任意时段的历史数据,快速检索历史信息并进行精细的二次分析并查找产生问题的原因。
具体实施例中,所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;可以理解的,通过对网络中所有主机的各种流量参数的分析,定义主机的网络行为异常检测规则库,实现主机可疑的网络行为的检测发现。
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;可以理解的,针对重点关注的网络应用流量和网络主机流量的通讯流量参数进行实时分析,定义监测规则库,实现对重点关注的应用和主机的网络通讯异常告警。
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;可以理解的,实现对链路的突发流量进行检测,发现异常的流量并产生告警。
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;可以理解的,特征数据检测是通过定义数据包中的特征匹配条件、对元数据进行自定义建模来实现在全流量采集过程中的特征行为、异常通讯访问等进行监测的功能;产生的告警既能够在设备端展现,同时也能够以通用接口方式回传到智能终端(监控预警系统)展示。
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
本实施例中,如图3所示,该方法还包括:所述数据传输模块接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端;可以理解的,能够定时检测与外界回传网络的接口通断情况,若检测结果正常,则通过网络将数据进行回传;网络状况检测周期可根据实际情况进行调整,同时,在网络状况正常情况下,用户也能够从本地导出数据。当检测结果异常时,则能够立即将数据转至本地存储,同时持续不断检测网络状况,直至恢复时将本地缓存的数据按照队列机制发送到第三方系统。在网络状况异常期间允许用户从本地将数据导出,通过手工方式转存到第三方系统。
面向电力工控流量分析技术具备错误校验以及重发机制,每个传输数据均采用时间戳机制,一旦因网络异常导致数据传输失败,能够利用本地存储空间将发送失败的数据进行缓存,待网络恢复后根据时间戳能够将缓存数据有序回传给相关接口。
如图2所示,本发明的实施例中还提供一种工控流量分析装置,用以所述的工控流量分析方法,包括:数据采集模块,用以通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
具体实施例中,所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
预处理模块,用以对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
具体实施例中,所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
存储模块,用以接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储。
异常判断模块,用以通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;
具体是实施例中,所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
所述数据传输模块,用以接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
综上,实施本发明的实施例,具有如下的有益效果:
本发明提供的工控流量分析方法及装置,采用镜像方式接入,避免了串联设备部署时的风险隐患。同时建立了采集、预处理、分析、存储以及回传的五层处理架构,明确各架构层级的作用,对工控流量的采集与解析有明确的指导作用,避免各层角色重叠。
采用的是弹性高性能的快速分析与处理技术,可以分布式部署,支持虚拟化平台,具备高扩展性,可以根据设备性能结合流量分流设备配置多个节点,并搭配消息队列可避免数据源海量事件的输入处理,提供缓存机制,并且采用开放式架构,支持对第三方系统提供标准数据回传接口。
能快速分析和查询日志,支持实时的数据分析,后台采用全索引式存储技术,能够在页面上通过简单的数据查询、统计及组合分析来实现海量日志的综合分析,相比与传统的分析技术,其采用全索引以及文件式存储可以实现快速的日志定位和内容检索、分析。
能够根据网络链路状况自动变化数据回传及缓存方式。当回传链路出现问题时能够自动在本地缓存数据,做到离线存储,链路通畅时再按照已有队列顺序发送数据。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种工控流量分析方法,其特征在于,包括以下步骤:
步骤S1,数据采集模块通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
步骤S2,预处理模块对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
步骤S3,异常判断模块获取所述元数据信息,通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;所述异常判断结果包括异常或正常。
2.如权利要求1所述的方法,其特征在于,所述步骤S1包括:
所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
3.如权利要求2所述的方法,其特征在于,所述步骤S2包括:
所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
4.如权利要求3所述的方法,其特征在于,所述步骤S2包括:
所述存储模块接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储。
5.如权利要求4所述的方法,其特征在于,所述步骤S3包括:
所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
6.如权利要求5所述的方法,其特征在于,该方法还包括:所述数据传输模块接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
7.一种工控流量分析装置,用以实现如权利要求1-6任一所述的方法,其特征在于,包括:
数据采集模块,用以通过预先设置的镜像端口采集网络中的数据报文,获取网络中实时的会话数据;
预处理模块,用以对实时的所述会话数据进行会话还原,获得会话还原数据;从所述会话还原数据中抽取结构化的元数据信息,并将所述元数据信息输出给异常判断模块和存储模块;
存储模块,用以接收预数据预处理模块输出的元数据信息;将所述元数据信息分类为网络会话数据、链路流量参数数据以及元数据的全索引数据进行文件式存储;
异常判断模块,用以通过所述结构化的元数据信息与预设的阈值进行比较,判断网络是否存在异常行为,生成异常判断结果;
数据传输模块,用以接受所述预处理模块输出的所述元数据信息以及获取的异常判断结果,当异常判断结果为正常时,将所述元数据信息进行回传到智能终端;当异常判断结果为异常时,则将元数据信息输出至存储模块,同时持续获取异常判断结果,直至所述异常判断结果为正常时,将所述元数据信息按照队列机制发送到所述智能终端。
8.如权利要求7所述的装置,其特征在于,所述数据采集模块通过在工控网络核心或汇聚交换机的镜像端口设置数据采集点,捕获数据报文,获取网络中数据流会话信息,所述数据流会话信息包括物理端点会话、IP主机会话、TCP会话和UDP会话信息、应用和协议会话信息;以及识别所述数据流会话信息内包含的网络协议类型,根据网络协议进行解析格式化,获得实时的会话数据,将实时的会话数据发送到预处理模块。
9.如权利要求8所述的装置,其特征在于,所述预处理模块根据预设规则对接收的所述会话数据进行除噪,将除噪后的会话数据根据数据标识位对会话进行还原重组,得到会话还原数据,并从所述会话还原数据中抽取结构化的元数据信息。
10.如权利要求9所述的装置,其特征在于,所述异常判断模块对所述元数据信息内记录的任一主机的流量参数数据进行分析,根据预设的异常检测规则,检测主机的可疑的网络行为,生成网络行为检测结果;所述检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的网络应用流量和网络主机流量的通讯流量参数数据进行分析,根据预设的异常检测规则,检测网络通讯异常情况,生成网络通讯检测结果;所述网络通讯检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的链路的流量数据进行分析,根据预设的异常检测规则,检测异常的流量情况,生成流量检测结果;所述流量检测结果包括正常或异常;
所述异常判断模块对所述元数据信息内的特征数据进行分析,根据预设的异常检测规则,检测全流量采集过程中的特征行为或异常通讯情况,生成特征数据检测结果;所述特征数据检测结果包括正常或异常;
当网络行为检测结果、网络通讯检测结果、流量检测结果及特征数据检测结果其中任一为异常时,则输出异常信号。
CN202010945825.6A 2020-09-10 2020-09-10 一种工控流量分析方法及装置 Pending CN112153020A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010945825.6A CN112153020A (zh) 2020-09-10 2020-09-10 一种工控流量分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010945825.6A CN112153020A (zh) 2020-09-10 2020-09-10 一种工控流量分析方法及装置

Publications (1)

Publication Number Publication Date
CN112153020A true CN112153020A (zh) 2020-12-29

Family

ID=73889501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010945825.6A Pending CN112153020A (zh) 2020-09-10 2020-09-10 一种工控流量分析方法及装置

Country Status (1)

Country Link
CN (1) CN112153020A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113162820A (zh) * 2021-03-04 2021-07-23 睿石网云(杭州)科技有限公司 一种应用系统性能故障取证分析的方法
CN114363160A (zh) * 2021-12-31 2022-04-15 锐捷网络股份有限公司 基于广域网的网络管理方法及装置
CN115103000A (zh) * 2022-06-20 2022-09-23 北京鼎兴达信息科技股份有限公司 基于NetStream对铁路数据网进行业务会话还原和分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825888A (zh) * 2014-02-17 2014-05-28 北京奇虎科技有限公司 网络威胁处理方法及设备
CN105871638A (zh) * 2016-06-03 2016-08-17 北京启明星辰信息安全技术有限公司 一种网络安全控制方法及装置
CN105939334A (zh) * 2015-03-04 2016-09-14 费希尔-罗斯蒙特系统公司 工业通信网络中的异常检测
CN110401642A (zh) * 2019-07-10 2019-11-01 浙江中烟工业有限责任公司 一种工控流量的采集与协议解析方法
CN111542083A (zh) * 2020-03-24 2020-08-14 浙江中烟工业有限责任公司 一种通过工业无线网空口采集和分析的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825888A (zh) * 2014-02-17 2014-05-28 北京奇虎科技有限公司 网络威胁处理方法及设备
CN105939334A (zh) * 2015-03-04 2016-09-14 费希尔-罗斯蒙特系统公司 工业通信网络中的异常检测
CN105871638A (zh) * 2016-06-03 2016-08-17 北京启明星辰信息安全技术有限公司 一种网络安全控制方法及装置
CN110401642A (zh) * 2019-07-10 2019-11-01 浙江中烟工业有限责任公司 一种工控流量的采集与协议解析方法
CN111542083A (zh) * 2020-03-24 2020-08-14 浙江中烟工业有限责任公司 一种通过工业无线网空口采集和分析的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高彦刚: "网络流量分析技术,助力"新基建"高质量安全发展", 《中国信息安全》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113162820A (zh) * 2021-03-04 2021-07-23 睿石网云(杭州)科技有限公司 一种应用系统性能故障取证分析的方法
CN114363160A (zh) * 2021-12-31 2022-04-15 锐捷网络股份有限公司 基于广域网的网络管理方法及装置
CN115103000A (zh) * 2022-06-20 2022-09-23 北京鼎兴达信息科技股份有限公司 基于NetStream对铁路数据网进行业务会话还原和分析方法
CN115103000B (zh) * 2022-06-20 2023-09-26 北京鼎兴达信息科技股份有限公司 基于NetStream对铁路数据网进行业务会话还原和分析方法

Similar Documents

Publication Publication Date Title
CN110401642A (zh) 一种工控流量的采集与协议解析方法
CN112153020A (zh) 一种工控流量分析方法及装置
CN108040074B (zh) 一种基于大数据的实时网络异常行为检测系统及方法
US9848004B2 (en) Methods and systems for internet protocol (IP) packet header collection and storage
US7903566B2 (en) Methods and systems for anomaly detection using internet protocol (IP) traffic conversation data
US8726382B2 (en) Methods and systems for automated detection and tracking of network attacks
US7995496B2 (en) Methods and systems for internet protocol (IP) traffic conversation detection and storage
US8762515B2 (en) Methods and systems for collection, tracking, and display of near real time multicast data
US20090238088A1 (en) Network traffic analyzing device, network traffic analyzing method and network traffic analyzing system
CN108848067A (zh) 智能学习并预置只读白名单规则的opc协议安全防护方法
Karimi et al. Distributed network traffic feature extraction for a real-time IDS
CN112350854B (zh) 一种流量故障定位方法、装置、设备及存储介质
KR101602189B1 (ko) 10기가급 패킷 캡쳐링에 의한 트래픽 분석 및 망 감시 시스템
CN107666486A (zh) 一种基于报文协议特征的网络数据流恢复方法及系统
CN112532614A (zh) 一种用于电网终端的安全监测方法和系统
CN110929896A (zh) 一种系统设备的安全分析方法及装置
CN110691007A (zh) 一种精确测量quic连接丢包率的方法
CN116257021A (zh) 一种工控系统智能网络安全态势监测预警平台
CN116723136B (zh) 应用fcm聚类算法的网络检测数据的方法
CN110838949A (zh) 一种网络流量日志记录方法及装置
CN115766471B (zh) 一种基于组播流量的网络业务质量分析方法
CN112491662A (zh) 一种icmp隐蔽隧道检测方法及装置
EP3576365B1 (en) Data processing device and method
CN113377051B (zh) 一种基于fpga的网络安全防护设备
Zhang et al. Design of Flow Analysis System Based on Industrial Control Network in Tobacco Industry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201229

RJ01 Rejection of invention patent application after publication