CN111935063B - 一种终端设备异常网络访问行为监测系统及方法 - Google Patents

Abstract

本发明公开了流量监测技术领域的一种终端设备异常网络访问行为监测系统及方法，系统包括转发模块、控制模块和应用程序，所述转发模块根据所述控制模块生成的转发策略、采集策略和统计策略执行转发数据、采集数据和统计数据；所述控制模块根据所述转发模块上传的采集数据和统计数据生成安全防御模型并把安全策略下发至所述转发模块，同时向应用程序提供API接口。本发明解决了网络架构的灵活性的问题，具有开放式可编程网络、数据与控制平面分离、逻辑集中控制、网络服务的自动化应用控制等特点；基于SDN网络架构，采用DFI作为监测手段，DFI资源开销低，适应性强，实现了监测的轻量化，系统在管理维护上的工作量变少，使用维护成本更低。

Description

一种终端设备异常网络访问行为监测系统及方法

技术领域

本发明属于流量监测技术领域，具体涉及一种终端设备异常网络访问行为监测系统及方法。

背景技术

物联网终端设备呈现规模庞大、结构复杂、种类多样等趋势。物联网要在短时间内做到异常网络访问行为监测，对硬件资源开销极高。此外，物联网络结构不灵活，网络越发失控，网络安全问题突出，人工维护工作海量，维护成本居高不下，无法适应不断涌现的新设备、新业务的监测需求。随着物联网事业的发展，物联网规模在不断扩大，网络攻击手段多样化，不可避免地带来物联网安全问题突出，对物联网正常运行带来巨大隐患。

常用的流量监测手段有DPI（Deep Packet Inspection，深度报文检测），在传统报文检测技术(数据链路层、网络层、传输层)之上增加了对应用层数据的应用协议识别，报文内容检测与深度解析。DPI技术可使用其三大类的检测手段：基于应用数据的“特征值”检测、基于应用层协议的识别检测、基于行为模式的数据检测。根据不同的检测方法对可能含有的异常数据的报文逐一的拆包分析，通过对报文内容的分析，深度挖据出宏观数据流中存在的细微数据变化。

传统网络是分布式控制的架构，每台设备都包含独立的控制平面，数据平面。在传统网络中，每台设备均独立收集网络信息，独立计算，仅关心本机运行。这种网络架构的弊端就是所有设备在进行安全监测时，缺乏统一性和全局性，需要单独维护每台单独设备，无法调整。物联网具有开放性、多源异构性和普遍性等特点，给人们带来了便利，同时物联网的设备、网络和应用也面临着严重的安全威胁。因此，人们在网络中设置若干监测点，用以收集网络信息，达到监测网络的目的。而随着“互联网+”和“能源互联网”时代的到来，无处不在的电力物联网作为互联网在电力领域的延伸，其规模正在经历爆炸式的增长，电网万物互联时代即将到来。传统网络架构不能灵活地适应新设备和新业务快速增长的需求，当网络新增节点，网络发生变化时，需要人工调整网络监测点及配置。服务质量难以保证，产业价值链难以维系，严重影响了物联网的安全性，不能灵活监控网络，快速生成针对新设备和服务的安全解决方案，安全维护成本高。DPI技术在分析包头的基础上，增加了对应用层的分析，是一种基于应用层的流量检测和控制技术，当IP数据包或UDP数据流经过基于DPI技术的带宽管理系统时，该系统通过深入读取IP包载荷的内容来对OSI7层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策略对流量进行整形操作。DPI识别技术可划分为以下三类：特征字的识别技术、应用层网关识别技术、行为模式识别技术。采用DPI技术由于要逐包进行拆包操作，并与后台数据库进行匹配对比，所以速度慢。基于DPI技术的带宽管理系统，总是滞后新应用，需要紧跟新协议和新型应用的产生而不断升级后台应用数据库，否则就不能有效识别、管理新技术下的带宽，提高模式匹配效率。

发明内容

为解决现有技术中的不足，本发明提供一种终端设备异常网络访问行为监测系统及方法，具有监测方法轻量化、网络架构灵活、使用维护工作量少等特点。

为达到上述目的，本发明所采用的技术方案是：一种终端设备异常网络访问行为监测系统，包括转发模块、控制模块和应用程序，所述转发模块根据所述控制模块的指令获取采集数据与统计数据，得到第一采集数据集和第一统计数据集；所述控制模块分别对第一采集数据集和第一统计数据集中的数据进行清洗处理，打上标签，做成样本，根据这些样本生成监测模型并对监测模型进行训练；所述转发模块根据生成的监测模型下发的转发策略、采集策略和统计策略执行转发数据、采集数据和统计数据，并再次获取采集数据与统计数据，得到第二采集数据集和第二统计数据集；所述控制模块将第二采集数据集和第二统计数据集作为监测模型的输入，计算判断是否为异常流量；若是异常流量，则发出告警；同时向应用程序提供应用程序接口。

进一步地，所述转发模块包括解包器、转发器、采集器和统计器，所述解包器用于接收并解析网络包，获取网络包表项中的action set，并根据action set中的内容对网络包进行转发或丢弃；所述转发器用于根据解包器对网络包的解析，处理并从指定的带外端口转发网络包或根据openflow协议，把网络包封装openflow消息的头部，并以switch-to-controller的消息类型从指定的带内端口输出至控制模块；所述采集器用于根据actionset中的采集规则，抽取网络包中的字段，封装openflow消息的头部，并以switch-to-controller的消息类型从指定的带内端口输出至控制模块；同时，所述统计器用于根据action set中的统计规则，更新统计数据。

进一步地，所述控制模块包括控制器，所述控制器的安全组件包括openflow解析器、采样数据库、流学习库和DFI学习器，所述openflow解析器用于解析转发模块传送的switch-to-controller消息，把采样数据输入至采样数据库，把统计数据输入至流学习库；所述采样数据库用于存储采样数据；所述流学习库用于存储统计数据以及经过处理的数据流样本数据；所述DFI学习器用于根据应用程序设置的参数，从流学习库中学习样本，生成监测策略，并以controller-to-switch消息把监测策略下发至转发模块。

一种终端设备异常网络访问行为监测方法，包括，a、转发模块根据控制模块的指令获取采集数据与统计数据，得到第一采集数据集和第一统计数据集；b、控制模块分别对第一采集数据集和第一统计数据集中的数据进行清洗处理，打上标签，做成样本，根据这些样本生成监测模型并对监测模型进行训练；c、转发模块根据生成的监测模型，再次获取采集数据与统计数据，得到第二采集数据集和第二统计数据集；d、控制模块将第二采集数据集和第二统计数据集作为监测模型的输入，计算判断是否为异常流量；若是异常流量，则发出告警。

进一步地，所述步骤a，具体包括：控制模块下发采集指令和统计指令给转发模块，转发模块根据这些指令采集与统计数据，并上报给控制模块。

进一步地，控制模块把采集指令和统计指令转化成标准的openflow协议包，下发至转发模块。

进一步地，所述清洗处理包括补全残缺数据、删除错误数据和删除重复数据。

进一步地，一条所述采集指令包含两部分内容：网络流和动作；网络流采用五元组的形式标识，即源地址、目的地址、源端口号、目标端口号，协议；动作包括修改、转发、上送和丢弃。

进一步地，计算判断是否为异常流量的方法是：根据应用程序告警信息判断是否为异常流量；若是异常流量，则获取异常流量的详细信息并标记。

一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被计算机执行时，实现前述方法。

与现有技术相比，本发明所达到的有益效果：

（1）本发明所述系统通过采用包括转发模块、控制模块和应用程序的SDN网络架构，解决了网络架构的灵活性的问题，具有开放式可编程网络、数据与控制平面分离、逻辑集中控制、网络服务的自动化应用控制等特点；

（2）本发明所述方法基于SDN网络架构，采用DFI作为监测手段，DFI资源开销低，不需要逐包解包，而是只将流量特性与后台流量模型进行比较。适应性强，对于类似的系统或类似类型的应用程序，攻击的特性不会有太大的变化。不需要频繁变换模型。此外，DFI仅收集TCP/IP模型中传输层以下的数据，因此加密应用程序协议不会影响DFI，实现了监测的轻量化，系统在管理维护上的工作量变少，使用维护成本更低。

附图说明

图1是本发明实施例提供的一种终端设备异常网络访问行为监测系统的网络架构示意图；

图2是本发明实施例提供的一种终端设备异常网络访问行为监测系统的转发模块结构与流程示意图；

图3是本发明实施例提供的一种终端设备异常网络访问行为监测系统的控制模块结构与流程示意图；

图4是流量特征选择过程的示意图；

图5是本发明实施例提供的一种终端设备异常网络访问行为监测方法中扩展openflow动作集atcion set中的动作种类表；

图6是本发明实施例提供的一种终端设备异常网络访问行为监测方法中基础计数器与扩展计数器分类表。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

一种终端设备异常网络访问行为监测系统，包括转发模块、控制模块和应用程序，转发模块根据所述控制模块的指令获取采集数据与统计数据，得到第一采集数据集和第一统计数据集；控制模块分别对第一采集数据集和第一统计数据集中的数据进行清洗处理，打上标签，做成样本，根据这些样本生成监测模型并对监测模型进行训练；转发模块根据生成的监测模型下发的转发策略、采集策略和统计策略执行转发数据、采集数据和统计数据，并再次获取采集数据与统计数据，得到第二采集数据集和第二统计数据集；控制模块将第二采集数据集和第二统计数据集作为监测模型的输入，计算判断是否为异常流量；若是异常流量，则发出告警；同时向应用程序提供应用程序接口。

如图1所示，电力物联网SDN（Software Defined Network，软件定义网络）架构由原来分布式控制的网络架构重构为集中控制的网络架构，逻辑上设计为三层，包括转发面、控制面和应用程序：

转发面对应转发模块：由一系列支持openflow协议的转发器和连接器的线路构成基础转发网络，这一层负责执行转发数据、采集数据、统计数据，其用到的转发策略、采集策略、统计策略由控制层生成。采集数据、统计数据为学习流量特征，生成安全控制策略提供了基础样本。同时，转发数据是最终落实安全策略的方式；

控制面对应控制模块：控制模块是系统的控制中心，负责物联网的内部交换路径和边界业务路由的生成，并负责处理网络状态变化事件，根据转发模块上传的采集数据、统计数据生成安全防御模型。它通过openflow协议把安全策略下发至转发模块；同时向应用程序提供API接口（应用程序接口）；

应用程序：这一层主要由体现用户意图的各种上层应用程序组成。

如图2所示，转发模块设备分为以下逻辑部件：解包器：解析报文头，根据解析结果命中策略规则，决定采取的动作，由三态的TCAM芯片承载其功能；转发器：利用网络适配器把合法流量转发至相应网络节点；采集器：根据解包器解析的结果，把目标报文的信息采集并存储下来；统计器：转发模块设备在本地统计流量信息，供控制模块调阅。

转发模块处理网络数据流的流程是：

（1）网口接收网络包，送至解包器解析；

（2）解包器依次查询一级流表、二级流表等各级流表，网络包命中相应的表项后，得到表项中的action set，决定下一步要采取的动作。若action set含Output，则执行（3）；若含Drop，则执行（4）；若含Packet-in，则执行（5）；

（3）解包器把网络包及解析结果输入至转发器，转发器根据解析结果中的actionset对报文内容做一系列处理（如更改头部字段等），再从指定的带外端口转发出去，最后执行（6）；

（4）丢弃网络包，并执行（6）；

（5）解包器把网络包及解析结果输入至转发器，转发器根据openflow协议，把网络包封装openflow消息的头部，并以switch-to-controller的消息类型从指定的带内端口输出至控制器，最后执行（6）；

（6）采集器根据action set中的采集规则，抽取网络包中的部分字段，封装openflow消息的头部，并以switch-to-controller的消息类型从指定的带内端口输出至控制器。同时，统计器根据action set中的统计规则，更新统计数据。

如图3所示，控制模块由一系列控制器组成，控制器的安全组件有：

（1）openflow解析器。解析转发模块上送的switch-to-controller消息，把采样数据输入至采样数据库，把统计数据输入至流学习库；

（2）采样数据库。存储采样数据；

（3）流学习库。存储统计数据，以及经特征提取等处理得到的数据流样本数据；

（4）DFI（深度流检测）学习器。生成安全策略的核心部件，根据APP设置的参数，从流学习库中学习样本，生成监测策略，并以controller-to-switch消息把监测策略下发至转发模块。

传统网络架构不能灵活地适应新设备和新业务快速增长的需求，当网络新增节点，网络发生变化时，需要人工调整网络监测点及配置。服务质量难以保证，产业价值链难以维系，严重影响了物联网的安全性，不能灵活监控网络，快速生成针对新设备和服务的安全解决方案，安全维护成本高。而SDN的具有：开放式可编程网络、数据与控制平面分离、逻辑集中控制、网络服务的自动化应用控制等特征。采用SDN使得网络监测更能灵活地开展。

实施例二：

基于实施例一所述系统，本实施例提供一种终端设备异常网络访问行为监测方法，包括a、获取采集数据与统计数据，得到第一采集数据集和第一统计数据集；b、分别对第一采集数据集和第一统计数据集中的数据进行清洗处理，打上标签，做成样本，根据这些样本生成监测模型并对监测模型进行训练；c、根据生成的监测模型，再次获取采集数据与统计数据，得到第二采集数据集和第二统计数据集；d、将第二采集数据集和第二统计数据集作为监测模型的输入，计算判断是否为异常流量；若是异常流量，则发出告警。

本实施例中流量监测分四阶段完成：

第一阶段：全口径流量采集与统计。控制模块下发采集指令和统计指令给转发模块，转发模块根据这些指令采集与统计数据，得到第一采集数据集和第一统计数据集；并上报给控制模块（之所以叫“全口径”，这些采集与统计项，并非全部有用，要通过第二步筛选有用的项）；

第二阶段：生成监测策略。控制模块分别对第一采集数据集和第一统计数据集中的数据做清洗处理，打上标签，做成样本。根据这些样本生成监测模型，并对监测模型进行训练；

对采集数据集和统计数据集中的以下类型进行清洗：残缺数据、错误数据、重复数据；对于残缺数据，先尽力补全。例如某段时间内流量没有统计到，但是这段时间之前和之后的流量速率较为稳定且较为接近，则用前后速率推算出这段时间的流量；若无法补全，例如上述之前和之后的速率相差较大或不稳定，则剔除这段数据；对于错误数据，必须剔除；对于重复数据，必须去重。

第三阶段：针对性流量采集与统计。根据上述监测模型，控制模块下发采集指令和统计指令给转发模块，转发模块根据这些指令采集与统计数据，得到第二采集数据集和第二统计数据集；并上报给控制模块（这里的采集和统计项比第一步要少，是第二步筛选后结果）；

第四阶段：流量分析与预警。控制模块把第三步采集与统计到的数据作为监测模型的输入，计算判断是否为异常流量，是否发出告警。

根据应用程序告警信息判断流量是否异常。如应用程序发出“访问非法端口”告警，则根据告警详细信息得到具体的目的地址、目标端口号、协议，把对应的流量打上异常标记。

流量采集与统计的内容，由一系列采集指令与统计指令指定。一条采集指令包含两部分内容：网络流、动作。网络流采用五元组的形式标识，即源地址、目的地址、源端口号、目标端口号，协议。动作可以是修改、转发、上送、丢弃等。

Openflow协议的流表，切合了“五元组+动作”的DFI特性。控制模块把监测规则转化成标准的openflow协议包，下发至转发模块。Openflow中规定的流表动作有copy TTLinwards、POP、Push-MPLS、Push-PBB、Push-VLAN、Copy TTL outwards、Decrement TTL、Set、QoS、Group、Output等。本实施例扩展openflow动作集（atcion set）中的动作种类，把动作分为基础动作和扩展动作两大类，其中基础动作是openflow协议的自有动作，扩展动作是本实施例新增的动作，如图5所示，是本实施例中扩展openflow动作集atcion set中的动作种类表。

每条扩展动作均包含相应的参数，如开始/结束，采集持续时间、上报控制器时间间隔等等。Openflow1.3以上的版本支持多级流表，还定义了指令集，本安全模型兼容这些新协议内容。转发模块利用并扩展openflow的计量和计数器功能，完成流量统计。计数器分为基础计数器和扩展计数器两类（本实施例不区分计量和计数器），其中，基础计数器为openflow自有计数器，扩展计数器为本发明新增，如图6所示，是本实施例中基础计数器与扩展计数器分类表。

监测模型的训练样本，来源于转发模块的全口径采集与统计数据。控制器清洗这些数据，再学习出相应的模型。

电力系统网络具有与其他领域不同的特性。如变电站内的通讯协议，以IEC61850、IEC60870等通讯规约为主。发散开来必然增加模型复杂度，增加系统开销，占用宝贵的计算资源和存储资源。因此，流量的特征全集，必然是基于电力系统网络特征的有限集合；如图4所示，特征选择的目的是剔除冗余和不相关的特征，减少特征维度，降低模型训练难度。特征选择的方法是：穷举特征全集所有的子集，逐个评价，选出信息增益最大的子集为最优特征子集。

监测模型的训练，采用决策树的方式，其步骤是：

步骤1：根据电力系统物联网的实际应用场景和设备的位置作用，构建特征全集，并采集和统计特征数据，并按照规则离散化，形成样本。根据设定的规则对样本进行标注。

步骤2：将所有的数据看成是一个节点（根节点），进入步骤3；

步骤3：根据划分准则，从所有属性中挑选一个对节点进行分割，进入步骤4；

步骤4：生成若干个子节点，遍历每一个子节点并作出判断，若满足停止分裂的条件，进入步骤5；否则，进入步骤3；

步骤5：设置该节点是叶子节点，其输出的结果为该节点数量占比最大的类别。

生成监测模型后，控制模块把监测策略转化一系列采集和统计指令，以标准的openflow协议包形式，下发至转发模块。转发模块根据指令，采集和统计数据，并上报控制模块。控制模块把上报的数据作为检测模型的输入，计算判断是否为异常流量，是否发出告警。

本实施例把SDN和DFI有效地结合起来，在现有南向接口协议openflow的基础上，扩充“动作”和“计数器”类型，使得灵活性问题、性能问题、维护成本问题得到兼顾解决。DFI资源开销低，不需要逐包解包，而是只将流量特性与后台流量模型进行比较。适应性强，对于类似的系统或类似类型的应用程序，攻击的特性不会有太大的变化。不需要频繁变换模型。此外，DFI仅收集TCP/IP模型中传输层以下的数据，因此加密应用程序协议（如HTTPS和FTPS）不会影响DFI。

实施例三：

本实施例同时提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被计算机执行时，实现实施例二所述方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种终端设备异常网络访问行为监测系统，其特征是，包括转发模块、控制模块和应用程序，

所述转发模块根据所述控制模块的指令获取采集数据与统计数据，得到第一采集数据集和第一统计数据集；

所述控制模块分别对第一采集数据集和第一统计数据集中的数据进行清洗处理，打上标签，做成样本，根据这些样本生成监测模型并对监测模型进行训练；

所述转发模块根据生成的监测模型下发的转发策略、采集策略和统计策略执行转发数据、采集数据和统计数据，并再次获取采集数据与统计数据，得到第二采集数据集和第二统计数据集；

所述控制模块将第二采集数据集和第二统计数据集作为监测模型的输入，计算判断是否为异常流量；若是异常流量，则发出告警；同时向应用程序提供应用程序接口；

所述转发模块包括解包器、转发器、采集器和统计器，所述解包器用于接收并解析网络包，获取网络包表项中的action set，并根据action set中的内容对网络包进行转发或丢弃；

所述转发器用于根据解包器对网络包的解析，处理并从指定的带外端口转发网络包或根据openflow协议，把网络包封装openflow消息的头部，并以switch-to-controller的消息类型从指定的带内端口输出至控制模块；

所述采集器用于根据action set中的采集规则，抽取网络包中的字段，封装openflow消息的头部，并以switch-to-controller的消息类型从指定的带内端口输出至控制模块；同时，所述统计器用于根据action set中的统计规则，更新统计数据；

所述控制模块包括控制器，所述控制器的安全组件包括openflow解析器、采样数据库、流学习库和DFI学习器，所述openflow解析器用于解析转发模块传送的switch-to-controller消息，把采样数据输入至采样数据库，把统计数据输入至流学习库；

所述采样数据库用于存储采样数据；

所述流学习库用于存储统计数据以及经过处理的数据流样本数据；

所述DFI学习器用于根据应用程序设置的参数，从流学习库中学习样本，生成监测策略，并以controller-to-switch消息把监测策略下发至转发模块。

2.一种终端设备异常网络访问行为监测方法，其特征是，采用权利要求1所述的终端设备异常网络访问行为监测系统，所述方法包括，

a、获取采集数据与统计数据，得到第一采集数据集和第一统计数据集；

b、分别对第一采集数据集和第一统计数据集中的数据进行清洗处理，打上标签，做成样本，根据这些样本生成监测模型并对监测模型进行训练；

c、根据生成的监测模型，再次获取采集数据与统计数据，得到第二采集数据集和第二统计数据集；

d、将第二采集数据集和第二统计数据集作为监测模型的输入，计算判断是否为异常流量；若是异常流量，则发出告警。

3.根据权利要求2所述的终端设备异常网络访问行为监测方法，其特征是，所述步骤a，具体包括：控制模块下发采集指令和统计指令给转发模块，转发模块根据这些指令采集与统计数据，并上报给控制模块。

4.根据权利要求3所述的终端设备异常网络访问行为监测方法，其特征是，控制模块把采集指令和统计指令转化成标准的openflow协议包，下发至转发模块。

5.根据权利要求2所述的终端设备异常网络访问行为监测方法，其特征是，所述清洗处理包括补全残缺数据、删除错误数据和删除重复数据。

6.根据权利要求3所述的终端设备异常网络访问行为监测方法，其特征是，一条所述采集指令包含两部分内容：网络流和动作；网络流采用五元组的形式标识，即源地址、目的地址、源端口号、目标端口号，协议；动作包括修改、转发、上送和丢弃。

7.根据权利要求2所述的终端设备异常网络访问行为监测方法，其特征是，计算判断是否为异常流量的方法是：根据应用程序告警信息判断是否为异常流量；若是异常流量，则获取异常流量的详细信息并标记。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被计算机执行时，实现权利要求2~7任一项所述方法。