CN103595585A

CN103595585A - 网络外向流量分类方法、特征矩阵设计及监测方法和系统

Info

Publication number: CN103595585A
Application number: CN201310563026.2A
Authority: CN
Inventors: 王杰; 顾长富; 范志强
Original assignee: YANGZHOU GUANGLING HI-TECH INNOVATION SERVICE CENTER
Current assignee: YANGZHOU GUANGLING HI-TECH INNOVATION SERVICE CENTER
Priority date: 2013-11-12
Filing date: 2013-11-12
Publication date: 2014-02-19
Anticipated expiration: 2033-11-12

Abstract

本发明涉及一种网络外向流量分类方法、和一个用于识别流量特征的特征矩阵设计及流量特征提取方法和系统，本发明在内部网络和互联网接口处将从内到外方向的网络外向流量根据一个特定的方法进行分类，在这个分类基础上，结合一系列仔细选择的流量属性，设计了一个外向流量类别特征矩阵。通过首先计算出正常状态下网络流量的特征，然后依据这一特征矩阵将监测到的流量和基线进行比较，我们可以快速地判断特定流量是否符合正常外向流量的特征，哪些方面呈现异常，需要进一步聚焦检查，以便判断其是否可能是源于内部威胁的高风险流量。

Description

网络外向流量分类方法、特征矩阵设计及监测方法和系统

技术领域

本发明涉及计算机网络技术领域，特别是一种网络外向流量分类及特征提取方法。

背景技术

为了让一般技术人员更好的理解本发明，下面对本领域的一些公知技术进行简单介绍：

计算机网络：通过标准化的或者业界通用的方式，将计算机通过网络线联在一起，使彼此可以相互传输数据；目前最常见的是采用TCP/IP传输协议的计算机网络；计算网络分为面向机构内部的私有网络（或企业专网），和面向所有人的公共网络，二者之间通常是由机构部署的防火墙设备来隔离，这种隔离是逻辑上的隔离，物理上网络还是联通的。

公共互联网：公共互联网是指对大量外部用户（人或机器）的访问不加特别限制的网络，比如面向公众的网站。

网络安全：因为某些信息是要在被控制的条件下向部分用户开放，这些信息的价值依赖于其真实性，因此多种技术手段被发明以便确保控制信息的传播、谁能访问那些信息、信息不被未授权的人获取、信息未被篡改等等；这些手段统一被称为网络安全技术。

网络监控：因为网络安全技术并非万能和牢不可破，在使用过程中需要不断地观察，以便确认其使用方式正确，使用效果被达到；这种观察是通过网络监控来实现的，通常是对经过某一个或多个网络结点的网络流量进行分析，来得到相关结论。因此网络监控是发现各种问题和异常的有效手段。

网络流量特征：几乎所有网络监控技术都要从大量的流量数据中识别出哪些属于异常的，哪些属于可疑的并需要进一步分析的。这种识别往往是基于某种对正常和非正常流量的判别准则。这些判别准则通常是基于对流量特征的捕捉，这种特征分为正常流量的特征和异常流量的特征。因此流量特征的准确性极大地影响了识别的准确性。

现有的技术用到网络流量的各种特征，主要包括：网络病毒特征(Virus Signature)：早期的网络病毒具有自我复制和传播的功能，因此具有比较明显的特征，这些特征成为了防病毒厂商制作防病毒工具的主要依据。任何防病毒产品都需要不断地更新其病毒特征库，否则它就无法及时发现最新的病毒。网络外部攻击特征(External Attack Pattern)：当一个系统受到来自于公共互联网的攻击时，其攻击是有其特征的，比如，经常会采用常用的攻击方式的组合：扫描开放的端口，采用字典式攻击猜测密码等。网络内部攻击特征(Internal Attack Pattern)：因为内部用户对系统的了解往往更多、更详细，其攻击方式通常更有针对性，因此也有其特征。使用模式(Usage Pattern)：除了攻击行为以外，正常的用户使用也有其特征。比如，常去访问的站点，访问的时间，下载的流量，连接的时长，以及常去的娱乐网站，购物网站等等。

随着信息化的普及，越来越多的单位由于缺乏经费和专业的信息安全人才，导致其网络成为信息安全的薄弱环节，甚至是安全事件的重灾区。常年被黑客用各种自动化的攻击方式侵扰，而在被攻击甚至被攻陷后他们往往并不知道，使其被攻陷的系统成为黑客进行其它进一步攻击的跳板，或者是肉机网络(botnet)的一部分。

现有技术的主要缺点是无法及时地发现隐性攻击及其后果。由于近年来网络攻击的方式已经从明显的、破坏性的攻击转向隐藏的、偷盗性的攻击。基于病毒特征的防病毒技术对外部隐藏式攻击的防范效果越来越差，大量被攻击甚至被攻陷的系统其实没有明显的迹象。现有的技术多是分析从外部到内部的流量，以发现攻击行为。如果没有被发现的攻击已经进入了网络内部，则从进入的流量很难再发现已经成功的攻击的迹象了。

发明内容

本发明的目的是提供一种网络外向流量分类方法，能有利于网络外向流量特征的提取。

本发明采用以下方案实现：一种网络外向流量分类方法，其特征在于：根据外向流量的源头类型、外向流量传输的对象类型、应用类别、角色和业务相关性这五个要素将流量进行分类；并按照以下方式分为四类：

第一类：外向流量的源头为系统、流量对象为系统、应用为B2B、源头角色为客户端、；业务相关性为相关；

第二类：外向流量的源头为系统、流量对象为系统、应用为B2B、源头角色为服务器、；业务相关性为相关；

第三类：外向流量的源头为系统、流量对象为用户、应用为B2C；源头角色为服务器、；业务相关性为相关；

第四类：外向流量的源头为用户；外向流量传输的对象为系统、应用为B2C、源头角色为客户端、业务相关性为相关；

其中B2B:机构对机构；B2B/C：B2B操作中的客户端；B2B/S：B2B操作中的服务器端；B2C：机构对个人；B2C/S：B2C操作中的服务器端；B2C/C：B2C操作中的客户端；P2P：端对端。

此外，本发明还提供一种根据上述网络外向流量分类方法的特征矩阵设计，其特征在于：提供五个属性包括：

网络属性：目的地址/端口、源地址/端口、时间、应用类型、协议类型、数据量；

系统属性：数据来源的系统、数据来源的应用、数据产生的驱动者、数据目的系统、数据目的应用；

用户属性：数据来源的系统使用者及身份、数据来源的应用使用者及身份；数据来源的网络登录身份；

安全属性：是否来自于具有访问控制的系统；是否来自于具有访问控制的应用；是否来自于被隔离的网段；是否来自于只有内网可以访问的系统；是否来自于不允许访问外网的系统或应用；是否有其它内网系统直接连接在流量来源的系统；数据源系统是否有最新的补丁、是否做过安全加固；目的地址是否属于黑名单；目的地址是否属于允许的、但被认为是高风险的地址；目的地址是否有过可以行为；

业务属性：流量来源系统所属的部门、目的地址业务相关性；

然后将任意一类别的流量与所述五个属性进行组合，以形成以类别为列，属性为行的特征矩阵。

本发明的另一目的是提供一种基于上述特征矩阵的网络外向流量监测方法，其特征在于包括以下步骤：

步骤S01：在外向流量正常的情况下，构建特征矩阵作为比对数据；

步骤S02：将互联网出口作为外向流量的截获点，采用常用的镜像方式，将所有的外向流量复制并存放到一个监控系统上；

步骤S03：对监控系统上的外向流量进行所述分类，并构建特征矩阵；

步骤S04：将步骤S03构建的特征矩阵与所述步骤S01作为比对数据的特征矩阵进行比对，任何偏离特征的流量，则被认为是可疑流量。

本发明的再一目的是提供一种基于上述特征矩阵的网络外向流量监测系统，其特征在于包括：

第一个子系统主要是由外向流量分类引擎和特征矩阵生成引擎及若干个信息库组成；所述外向流量分类引擎根据所述分类方法将流量监测数据进行分类；所述特征矩阵生成引擎根据所述特征矩阵生成方法将由外向流量分类引擎分类的流量生成特征矩阵；

第二个子系统，即特征捕捉子系统，是对实际流量数据的特征进行扫描，计算其特征矩阵，然后与正常流量的特征进行比较，判断外向流量是否存在异常。

本发明设计了一套外向流量的分类方法，使网络管理人员可以更细致地监测起流量的各种大小和比例；还设计了一个用于提取综合流量特征的矩阵，给网络管理人员提供了比较流量的有效方法。而且根据上述的方法提出了流量监测方法及系统，不仅高效，而且保证的网络系统的安全，具有较好的使用价值。

附图说明

图1是本发明分类示意图。

图2是本发明网络接口示意图。

图3是本发明第一子系统原理示意图。

图4是本发明第二子系统原理示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本实施例提供一种网络外向流量分类方法，其特征在于：根据外向流量的源头（或内部驱动者）类型（该类型可以是系统或用户，即外向流量是系统发出的还是用户发出的）、外向流量传输的对象（外部关联者）类型（该类型可以是系统或用户）、应用类别（其是指B2B、B2C、P2P中的哪一类）、角色（客户端还是服务器）和业务相关性这

五个要素将流量进行分类。分类方法如下表所示：

注意，该表本实施例中分出了七类，但是本发明常用的是以下五类：

第一类：外向流量的源头为M（系统）、流量对象为M（系统）、应用为B2B、源头角色为C（客户端）、；业务相关性为“相关”；

第二类：外向流量的源头为M（系统）、流量对象为M（系统）、应用为B2B、源头角色为S（服务器）、；业务相关性为“相关”；

第三类：外向流量的源头为M（系统）、流量对象为U（用户/人）、应用为B2C；源头角色为S（服务器）、；业务相关性为“相关”；

第四类：外向流量的源头为U（用户/人）；外向流量传输的对象为M（系统）、应用为B2C、源头角色为C（客户端）、业务相关性为“相关”；

此外，如上表所示，所述类别还包括：

第五类：外向流量的源头为U（用户/人）；外向流量传输的对象为M（系统）、应用为B2C、源头角色为C（客户端）、业务相关性为“不相关”；

第六类：外向流量的源头为U（用户/人）、外向流量传输的对象为U（用户/人）、应用为P2P、源头角色为P（Peer,对等端）、业务相关性为“相关”；

第七类：外向流量的源头为U（用户/人）、外向流量传输的对象为U（用户/人）、应用为P2P、源头角色为P（Peer,对等端）、业务相关性为“不相关”。

请参见图1，图中指示了针对常见的企业应用的分类，实线箭头表示与业务相关，虚线箭头为与业务无关的个人流量。此外，本实施例还提供一种根据上述分类方法设计的特征矩阵，其方式是：对任意一个类别的流量，考虑其下述五个属性：

网络属性：目的地址/端口、源地址/端口、时间、应用类型、协议类型、数据量等；这些信息从数据的包头可以直接获得；

系统属性：数据来源的系统（PC，服务器，平板电脑）、数据来源的应用（浏览器，个人应用，网络应用）、数据产生的驱动者、数据目的系统、数据目的应用；这些信息通常可以从资产数据库和业务数据库中获得。

用户属性：数据来源的系统使用者及身份（管理员或用户、访客）、数据来源的应用使用者及身份；数据来源的网络登录身份；这些信息可以从用户目录（AD/LDAP）/用户管理系统中获得；

安全属性：是否来自于具有访问控制的系统？是否来自于具有访问控制的应用？是否来自于被隔离的网段？是否来自于只有内网可以访问的系统？是否来自于不允许访问外网的系统或应用？是否有其它内网系统直接连接在流量来源的系统？数据源系统是否有最新的补丁、是否做过安全加固？目的地址是否属于黑名单？目的地址是否属于允许的、但被认为是高风险的地址？目的地址是否有过可以行为？这些信息可以从安全策略库中或者从网络管理员处获得。

业务属性：流量来源系统所属的部门（财务？人事？销售？）、目的地址业务相关性（高，中，低）。从网络管理员处获得。

将一个具体网络上的正常情况下各个类别的外向流量数据与上述的属性进行组合，则可以生成一个特征矩阵，其内容是特定的设置参数（如地址），对特定问题的是与否的回答，流量指标的实际度量（连接数，请求数，流量等）和基于机构特定情况的一些主观性判断（业务相关性）。该矩阵详细地、独特地描述了一个机构外向流量的特征，因此可以作为判断流量正常或异常的根据。矩阵的具体结构如下表所示：

外向流量特征矩阵

每个网络的地址结构，用户数目，内部应用和外部应用对象，用户使用习惯（访问时间、次数、时长）、安全设置及业务相关性均不尽相同；将一个具体的网络的实际外向流量与其特征矩阵比较，任何偏离特征的流量，将被认为是可疑流量，其部分关键属性将被仔细检查、审计。

本发明还提供一种基于上述特征矩阵的网络外向流量监测方法，其特征在于包括以下步骤：

步骤S01：在外向流量正常的情况下，构建特征矩阵作为比对数据（即对比基线）；

请参见图2，图2是网络接口示意图，本实施例还提供一根据上述特征矩阵的网络外向流量监测系统，该系统在内部网络和互联网接口处将从内到外方向的网络外向流量根据一个特定的方法进行分类，在这个分类基础上，结合一系列仔细选择的流量属性，设计了一个外向流量类别特征矩阵。通过跟这一特征矩阵进行比较，我们可以快速地判断特定流量是否符合正常外向流量的特征，哪些方面呈现异常，需要进一步聚焦检查，以便判断其是否可能是源于内部威胁的高风险流量。这里，本实施例将企业网络的互联网出口作为外向流量的截获点，通常这是在路由器面向企业网络的内侧的交换机上。所有发自企业网络内部系统的、向外到互联网的流量都要经过这里。在互联网接口处的网络设备上（比如，核心交换机）采用常用的镜像方式，将所有的外向流量复制并存放到一个监控系统上，以便进一步进行分析。具体的，该系统由分类与特征矩阵生成子系统和特征捕捉子系统两个子系统组成。第一个子系统主要是由外向流量分类引擎和特征矩阵生成引擎及若干个信息库组成。请参见图3，所述外向流量分类引擎根据所述分类方法将流量监测数据（即上述监控系统镜像分析所得）进行分类；所述特征矩阵生成引擎根据所述特征矩阵生成方法将由外向流量分类引擎分类的流量生成特征矩阵；该第二个子系统，即特征捕捉子系统，是对实际流量数据的特征进行扫描，计算其特征矩阵，然后与正常流量的特征进行比较，判断外向流量是否存在异常；请参见图4，该第二个子系统包括：分类识别引擎，其通过检查数据包的源地址、端口、目的地址、端口，协议，再从内部资产数据库和外部应用数据库即可获得对应相关地址的系统和应用，进而即可判断是哪种业务相关流量还是个人流量；特征比较引擎，该特征比较引擎在与正常流量特征进行比较时，我们定义一个特征距离来度量观察到的流量特征与正常流量特征间的差异大小。X(i,j)是矩阵第i类，第j个属性的正常状态，X(i,j)是矩阵第i类，第j个属性的观测值，可以用多种常用的两者之间的距离定义来表示其差别。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种网络外向流量分类方法，其特征在于：根据外向流量的源头类型、外向流量传输的对象类型、应用类别、角色和业务相关性这五个要素将流量进行分类；并按照以下方式分为四类：

第一类：外向流量的源头为系统、流量对象为系统、应用为B2B、源头角色为客户端、业务相关性为相关；

第二类：外向流量的源头为系统、流量对象为系统、应用为B2B、源头角色为服务器、业务相关性为相关；

第三类：外向流量的源头为系统、流量对象为用户、应用为B2C、源头角色为服务器、业务相关性为相关；

2.根据权利要求1所述的网络外向流量分类方法，其特征在于：所述类别还包括：

第五类：外向流量的源头为用户；外向流量传输的对象为系统、应用为B2C、源头角色为客户端、业务相关性为不相关；

第六类：外向流量的源头为用户、外向流量传输的对象为用户、应用为P2P、源头角色为对等端、业务相关性为相关；

第七类：外向流量的源头为用户、外向流量传输的对象为用户、应用为P2P、源头角色为对等端、业务相关性为不相关。

3.一种基于权利要求1所述网络外向流量分类方法的特征矩阵设计，其特征在于：提供五个属性包括：

4.一种基于权利要求3所述特征矩阵的网络外向流量监测方法，其特征在于包括以下步骤：

5.一种基于权利要求3所述特征矩阵的网络外向流量监测系统，其特征在于包括：

6.根据权利要求5所述的网络外向流量监测系统，其特征在于：所述流量监测数据是由交换机镜像端口将外向流量数据进行存储获得。