CN107196930B - 计算机网络异常检测的方法 - Google Patents

Abstract

本发明公开一种计算机网络异常检测方法、系统及移动终端，异常检测方法包括步骤：从计算机网络事务中获取事件；从事件中同时提取多个特征并输出；将输出的多个特征与已学习趋势作比较，得到异常；对异常进行判断与推理，根据判断与推理发出警报与操作；多个特征包括包含实数的连续值型特征和呈现为集合的有限集型特征；已学习趋势包括一系列连续值型特征。本发明提供的计算机网络异常检测方法及系统，能够检测不可预见类型的网络威胁和其他网络相关问题，异常的检测的准确率提高。

Description

计算机网络异常检测的方法

技术领域

本发明涉及计算机网络异常的检测技术领域，更具体地说，本发明涉及一种计算机网络异常检测的方法、系统及移动终端。

背景技术

随着计算机网络的迅速发展，网络威胁和其他网络相关问题日益增多，如网络攻击、数据盗窃、病毒、蠕虫、恶意端口扫描活动等网络威胁的作用速度更快、变化速率更快、更加复杂。当前，尽管有外围防御，网络威胁还是会通过计算机网络直接潜入，因此出现了很多威胁检测工具。

传统的检测包含简单的或者深度的数据包检测，通常可以被归类为入侵检测防护设备或者防病毒系统。这些设备以特征的形式设置了威胁数据库，让威胁数据库的特征和计算机网络传输的数百万个工具包进行匹配。由于特征创造过程是人为操作的，出现新的网络威胁特征，或者网络威胁特征发生变化，威胁数据库就不能及时创造出这些新型特征。

另一个传统检测是通过监测流量率来检测异常。流量监测异常的方法会产生大量的错误警报，因为与威胁无关的许多原因会导致流量的变化率或者其他可观察量的发生。另外，传统的流量异常检测系统起初是用来检测在预设定行为中的变化，所以传统的异常检测系统是不用来检测新型网络威胁的。

发明内容

针对上述技术中存在的不足之处，本发明提供一种计算机网络异常检测方法、系统及移动终端，能够检测不可预见类型的网络威胁和其他网络相关问题，异常的检测的准确率提高。

为了实现根据本发明的这些目的和其它优点，本发明通过以下技术方案实现：

本发明提供一种计算机网络异常检测方法，其包括步骤：

从计算机网络事务中获取事件；

从所述事件中同时提取多个所述特征并输出；

将输出的多个所述特征与已学习趋势作比较，得到异常；对所述异常进行判断与推理，根据所述判断与推理发出警报与操作；

其中，多个所述特征包括包含实数的连续值型特征和呈现为集合的有限集型特征；所述已学习趋势包括一系列所述连续值型特征。

优选的是，获取的所述事件包括一个事件或将一系列事件按照事件之间的逻辑关系进行捆绑形成的事件捆绑。

优选的是，获取所述事件，包括步骤：

收集计算机网络事务中的数据包；

将所述数据包按照事务属性分类存储于数据结构中，形成所述事件。

优选的是，获取所述事件，还包括步骤：从其他来源获取所述事件。

优选的是，获取所述事件后，还包括步骤：对所述事件进行聚合、选择以及过滤处理。

优选的是，提取所述特征，包括步骤：

从所述事件中提取所述数据结构各字段之间的交互相关；或，

从所述事件中提取所述数据结构各行之间的顺序相关。

优选的是，多个所述特征输出，包括步骤；

将所述连续值型特征从所述有限集型特征中分离出来；

将分离后的有限集型特征转化成学习趋势模块的地址；

将分离出的连续值型特征转给具有所述地址的所述学习趋势模块。

优选的是，多个所述特征输出，还包括步骤：

对多个所述特征进行基于数学运算的转化处理，优化所述特征。

一种计算机网络异常检测系统，所述异常检测系统存储有多条用于计算机网络异常检测的程序指令，所述程序指令由计算机网络移动终端加载并执行；所述程序指令包括：

从计算机网络事务中获取事件；

从所述事件中同时提取多个所述特征并输出；以及，

将输出的多个所述特征与已学习趋势作比较，得到异常，并对所述异常进行判断与推理并输出；

其中，多个所述特征包括包含实数的连续值型特征和呈现为集合的有限集型特征；所述已学习趋势包括一系列所述连续值型特征。

优选的是，从计算机网络事务中获取事件的程序指令，包括：

收集计算机网络事务中的数据包，将收集的所述数据包按照事务属性分类存储于数据结构中，形成所述事件；

和/或，从其他来源获取所述事件；以及，

接收所述事件。

优选的是，从其他来源获取所述事件，还包括：对从其他来源获取的事件进行格式转化。

优选的是，从计算机网络事务中获取事件的程序指令，还包括：

从获得的所述事件中进行选择，并将所述事件发出以供后续特征提取程序指令进行特征提取。

优选的是，从所述事件中同时提取多个所述特征并输出的程序指令，包括：

对所述事件进行群体分类与管理；

对群体分类处理后的一个或多个所述事件进行捆绑形成事件捆绑，并从单一事件或事件捆绑中提取特征；以及，

决定协议、所述行为群体以及端口是否遵循规范。

优选的是，将输出的多个所述特征与已学习趋势作比较得到异常并对所述异常进行判断与推理并输出的程序指令，包括：

将所述连续值型特征从有限集特征中分离；

设置存储所述已学习趋势的学习趋势模块；

将分离后的所述有限集特征转换成所述学习趋势模块的地址；

选择出具有所述地址的学习趋势模块接收分离出的所述连续值型特征；

将所述学习趋势模块中存储的所述已学习趋势与接收的所述连续值型特征进行比较，输出异常；

对所述异常进行判断与推理并输出；

存储所述事件、异常和任何与计算机网络相关的异常检测信息；

存储具有一系列所述连续值型特征的所述学习趋势；以及，

接收所述判断与推理，发出警报与操作。

一种计算机网络移动终端，其包括：

异常检测系统，其存储有多条用于计算机网络异常检测的所述程序指令，发出警报与操作的提醒；

设备本体，其用于加载和执行所述异常检测系统的所述程序指令，接收所述警报与操作的提醒。

本发明至少包括以下有益效果：

本发明提供的计算机网络异常检测的方法、系统及移动终端，通过从计算机网络事务中收集数据包转换成的事件中同时提取包括连续值型特征和有限集型特征的多个特征后输出；将输出的多个特征与包括一系列连续值型特征的已学习趋势作比较，得到异常，并对异常进行判断与推理并输出；该判断与推理能够检测不可预见类型的网络威胁和其他网络相关问题，多维技术的使用将错误报警数降到最低，异常的检测的准确率提高。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明所述的计算机网络异常检测系统的示例图；

图2为本发明所述的异常检测系统的示例图；

图3为本发明所述的异常检测系统的检测流程示例图；

图4为本发明所述的计算机网络事务及时开展示例图。

图5为本发明所述的从事件中提取特征的流程示例图；

图6为本发明所述的一组节点突发聚集的事件捆绑示例图；

图7为本发明所述的计算机网络异常检测的流程示例图；

图8为本发明所述的机器学习单元的示例图；

图9为本发明所述的学习趋势模块的示例图；

图10为本发明所述的连续值型特征聚类或学习的三维图示；

图中：

100-控制台服务器；200-传感器服务器；300-应用程序表示层；

110-异常检测系统；

10-事件处理模块；

11-数据包收集单元；12-事件生成单元；13-事件接收单元；

14-事件聚合和选择单元；15-事件过滤单元；16-事件管理单元；

17-其他来源单元；18-事件代理；

20-特征提取模块；

21-行为群体单元；22-事件捆绑与特征提取单元；23-规范管理单元；

30-机器智能模块；

31-机器学习单元；

311-特征分离器；312-地址单元；313-学习趋势模块；

32-启发式算法和主机优先级单元；33-事件数据库单元；

34-知识数据库单元；35-警报与操作单元；

40-应用程序接口和系统管理模块；

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

本发明所述的网络异常，包括由网络威胁或其他网络相关问题导致的趋势偏离，如蠕虫、恶意端口扫描活动、网络人为误用、服务器响应速度慢、设备崩溃、程序异常导致的网络流量、网络故障、容量使用率变化、使用模式改变以及拓扑结构改变等情况。

<实施例1>

本发明实施例提供一种计算机网络异常检测方法，其包括步骤：

S10，从计算机网络事务中获取事件；

S20，从事件中同时提取多个特征并输出；

S30，将输出的多个特征与已学习趋势作比较，得到异常；对异常进行判断与推理，根据判断与推理发出警报与操作。

其中，多个特征包括包含实数的连续值型特征和呈现为集合的有限集型特征；已学习趋势包括一系列连续值型特征。

上述实施方式中，步骤S10中，获取的事件包括一个事件或将一系列事件按照事件之间的逻辑关系进行捆绑形成的事件捆绑。

作为一种优选实施方式，步骤S10中，获取事件，包括步骤：

S11，收集计算机网络事务中的数据包；

S12，将数据包按照事务属性分类存储于数据结构中，形成事件。

作为上述的进一步优选，步骤10中，获取所述事件，还包括步骤：S13，从其他来源获取事件。

作为上述的进一步优选，步骤10中，获取所述事件后，还包括步骤：S14对所述事件进行聚合、选择以及过滤处理。

作为一种优选实施方式，步骤S20中，提取特征，包括步骤：

S21，从事件中提取数据结构各字段之间的交互相关；或，从事件中提取数据结构各行之间的顺序相关。

作为一种优选实施方式，步骤S20中，多个特征输出，包括步骤；

S22，将连续值型特征从有限集型特征中分离出来；

S23，将分离后的有限集型特征转化成学习趋势模块的地址；

S24，将分离出的连续值型特征转给具有地址的学习趋势模块。

作为上述的进一步优选，步骤S20中，多个特征输出，还包括步骤：

S25，对多个特征进行基于数学运算的转化处理，优化特征。

作为一种优选实施方式，步骤S30中，接收判断与推理，发出警报与操作后，还包括步骤：S31，发出网络检测异常的提醒。

<实施例2>

在实施例1提供的计算机网络异常检测系统的基础上，本发明实施例提供应用于计算机网络的异常检测系统110。异常检测系统110存储有多条用于计算机网络异常检测的程序指令，程序指令由计算机网络移动终端加载并执行。计算机网络移动终端包括但不限于计算机、手机、平板电脑等。图1给出一种异常检测系统110的应用示例。图1中，计算机网络移动终端示例为传感器服务器200和/或控制台服务器100，异常检测系统110设置于具有传感器服务器200和/或控制台服务器100中，异常检测系统110中存储的程序指令由传感器服务器200和/或控制台服务器100加载并执行计算机网络异常检测。应用程序表示层300用于支持应用处理，同时还能翻译通过计算机网络传输的数据。应用程序表示层300与控制台服务器100以及传感器服务器200之间通过计算机网络通信。

<实施例3>

在实施例1和2的基础上，本发明实施例提供一种计算机网络移动终端，其包括异常检测系统110以及设备本体。其中，异常检测系统110存储有多条用于计算机网络异常检测的程序指令，发出警报与操作的提醒，设备本体用于加载和执行程序指令，接收警报与操作的提醒。

图1给出了设备本体的一种形式，例如传感器服务器200和/或控制台服务器100，则异常检测系统110中存储的程序指令由传感器服务器200和/或控制台服务器100加载并执行。

下面，结合实施例1、实施例2以及实施例3，对计算机网络异常检测的方法、系统及移动网络终端，做进一步说明，并给出异常检测系统110及其存储的程序指令加载与执行的一个示例，如图2所示。

异常检测系统110可以以分布式方式分别在任意数量的控制台服务器100和传感器服务器200中运行，控制台服务器100和传感器服务器200中的每一个服务器执行异常检测系统110的一个端口，或，异常检测系统110可以不以分布式方式在一个服务器上执行，例如异常检测系统110可以在控制台服务器100或传感器服务器200上执行。需要说明的是，控制台服务器100和传感器服务器200可以分别包含有任何型号计算机设备，例如计算机设备包括：基于一个处理单元(例如微处理器)的计算机系统、存储器(如随机存储器、硬盘、光学媒体)、便携式计算机装置、手机以及家电计算引擎等；另外，用于通信的计算机网络包括将计算节点联系在一起的任何类型有线、无线交流频道，典型的计算机网络包括基于数据包的计算机数据网络、无线网络、IP网络、电话网络、贸易网络(网上拍卖)、信用卡购买事务网络、业务活动监控网络、业务处理一体化网络、移动电话网络、对等网络以及万维网等。

异常检测系统110中存储的程序指令包括：

从计算机网络事务中获取事件；

从事件中同时提取多个所述特征并输出；以及，

将输出的多个特征与已学习趋势作比较，得到异常，并对异常进行判断与推理并输出；

其中，多个特征包括包含实数的连续值型特征和呈现为集合的有限集型特征；已学习趋势包括一系列连续值型特征。

针对上述程序指令，图2给出了异常检测系统110的一个示例：异常检测系统110包括事件处理模块10、特征提取模块20、机器智能模块30以及控制上述几个模块的执行与管理的应用程序接口和系统管理模块40。事件处理模块10用于从计算机网络事务中获取事件，作为优选，获取的事件包括一个事件或将一系列事件按照事件之间的逻辑关系进行捆绑形成的事件捆绑。特征提取模块20用于从事件中同时提取多个特征并输出，多个特征包括包含实数的连续值型特征和呈现为集合的有限集型特征。机器智能模块30用于将输出的多个特征与已学习趋势作比较，得到异常，并对异常进行判断与推理并输出；已学习趋势包括一系列连续值型特征。

上述实施方式中，从计算机网络事务中获取事件的程序指令，包括：收集计算机网络事务中的数据包，将收集的数据包按照事务属性分类存储于数据结构中，形成事件；和/或，从其他来源获取事件；以及，接收事件。结合图2的示例，则异常检测系统110的事件处理模块10包括数据包收集单元11、事件生成单元12以及事件接收单元13。数据包收集单元11用于收集计算机网络事务中的数据包，数据包收集单元11包括网络测试访问端口、交换机镜像端口、无线传感器和/或网络集线器。计算机网络中的事务有许多属性，例如源址、目的地址和数据交换量、状态(例如传输的错误、成功、拒绝和接受状态)、严重的程度、传输数据的属性、事务类型、事务持续时间以及事务的时间戳等。事件生成单元12用于将收集的数据包按照事务属性分类存储于数据结构中，形成事件，事件接收单元13与各单元通信以接收事件。图4中，计算机网络402包括节点404-408。事务由数据组件X1-X5和时间戳t1-t5表示。例如从节点406到405的一项事务就是有X2，t2代表的。事务可以存储在一个数据结构中，比如表格。表格1给出了事务记录的示例。

表1事务记录

如表1所示，每一笔事务在表格1中都有记录显示，每一个记录都可以有一个或多个单元格。除了节点标识符404-408和时间戳t1-t5，表格1还包含标识符(ID)和数据特征(a-e)。ID代表每一笔事务唯一的标识符，每一个数据组件(X1-X5)可以有多重数据特征或属性(a-e)。随着事务的及时展开，记录表会增长，同时，每一笔记录都代表了一项新事务的发生或现存事务的进展。表格2给出了从IP网络分析场景中获取的事务数据的示例。

表2从IP网络分析场景中获取的事务数据

根据表格1和表格2可知，一个事件可以代表一笔事务的完成或者计算机网络中事务发生的状态。例如，表格1或表格2中的一项记录，就是一个事件。除了表格，事务可以存储在任何一种合适类型的数据结构中，例如数组、XML架构图、JSON(数据格式)、纯文本格式、数据库和电子表格等。

事件生成单元12通过把接收到的事务存储成数据结构，比如一张表格(如表格1和表格2)，从而将数据包转化成事件。例如在IP网络中，IP数据包在两台计算设备之间流动，计算设备的IP地址和唯一的端口号(传输控制协议或用户数据包协议)绑定，在计算机网络中代表源址和目的地址，在表格中显示为单一记录(即使有多于一个数据包在计算设备之间流动)。在两台计算设备的特定端口交换的所有数据包会形成单一通信，因此在表格是以单一记录被存储下来。例如端口为3452IP地址为192.168.0.1的计算设备通过使用TCP协议同另一个端口为80IP地址为192.168.0.2计算设备通信。他们所有的数据通信都可以被放入事件生成单元12，事件生成单元12代表着正在通信。取决于诸多条件，当此次通信开始、终结或者正在进行时，表格中都会显示一条记录。除非通信过程持续时间特别长，否则表格中只会产生一条记录，此后后续的记录才会产生。

作为进一步优选，从其他来源获取事件，还包括：对从其他来源获取的事件进行格式转化。结合图2的示例，异常检测系统110的事件处理模块10还包括其他来源单元17以及事件代理18。其他来源单元17用于从其他来源提供事件，其他来源单元17的事件通过日志消息传递的方式被发送出去，或者从日志文件中被及时提取；作为一种具体实施方式，其他来源单元17的事件来源包括计算机日志文件、系统日志、SYSLOG、网络日志、数据库日志、网上聊天记录数据、电话记录数据、信用卡交易数据、银行交易数据、网上支付数据、云计算事件、物理安全监测系统数据、服务器、防火墙、入侵检测系统、虚拟专用网、安全事件管理系统、路由器、网络交换器、数据库系统、系统日志以及操作系统日志等。事件代理18用于将其他来源单元17获取的事件转换成异常检测系统110可使用的格式，例如架构。

作为进一步优选，从计算机网络事务中获取事件的程序指令，还包括：从形成的事件中进行选择，并将事件发出以供后续特征提取程序指令进行特征提取。结合图2的示例，则异常检测系统110的事件处理模块10还包括事件聚合和选择单元14。事件聚合和选择单元14用于从事件处理模块10的其他各单元聚合和选择事件，并将事件发送给特征提取模块20。作为进一步优选，事件处理模块10还包括事件过滤单元15和事件管理单元16。事件过滤单元15用于对事件进行基础过滤，事件管理单元16用于对事件进行管理。

上述实施方式中，从事件中同时提取多个特征并输出的程序指令，包括：

对事件进行群体分类与管理；

对群体分类处理后的一个或多个事件进行捆绑形成事件捆绑，并从单一事件或事件捆绑中提取特征；以及，

决定协议、行为群体以及端口是否遵循规范。

结合图2的示例，异常检测系统110中的特征提取模块20包括行为群体单元21、事件捆绑与特征提取单元22以及规范管理单元23。行为群体单元21用于对事件进行群体分类与管理，即决定哪些信息属于哪一个群体，例如，行为群体单元21可以决定来从同一个事件进来的多个计算设备是否属于一个行为群体，或者从同一个事件进来的多个网络协议地址是否属于一个行为群体。需要说明的是，一个行为群体可以是一个象征或者一个名字，在计算机网络中代表着一种或多种逻辑上或行为上相似的节点，例如，在软件开发部门，所有计算设备都被当做是一个行为群体—“工程行为群体”，因为计算设备的行为都是相似的；再例如，数据库服务器和网页服务器可以组成一个行为群体；至于行为群体的分类来源，可以是人为定义，也可以利用机器学习技术从事件中自动发现。事件捆绑与特征提取单元22用于对群体分类处理后的一个或多个所述事件进行捆绑形成事件捆绑，并从单一事件或事件捆绑中提取特征。规范管理单元23用于决定协议、行为群体以及端口是否遵循规范，即规范管理单元23规定在网络传输中什么是允许的和什么是不允许的。

其中，特征包括包含实数的连续值型特征和呈现为集合的有限集型特征两个方面；已学习趋势包括一系列连续值型特征。即，一个连续值型特征由任何一个能够映射到实数数轴上的实数组成；换而言之，连续值型特征是指和数轴上的数一一对应的点。例如，一个连续值型特征包含从一个主机传输到另一个主机的数据量(例如字节，89.7字节，20兆字节等)或者事务量(例如1，4等)。有限集型特征呈现为集合，指的是能和{1,2,...,n}这种形式的集合进行双映射的集合，其中n是自然数。有限集型特征包含整数、字母数字字符、单词、句子和(或)符号。一个典型的有限集特征包含用于TCP或者UDP连接的目标端口号，其他例子有：一组语言符号中的协议，该协议包含TCP、UDP、ICMP、ARP、HTTP和FTP，与源IP地址相关的行为群体的名字，与目标IP地址相关的行为群体的索引。

其中，连续值型特征和有限集型特征都可以从单一事件或者事件捆绑中提取。如果特征是从事件捆绑中提取出来的，则一个或多个事件将会被捆绑到事件捆绑中。需要说明的是，事件捆绑是指通过逻辑关系将事件捆绑在一起；这些事件捆绑在一起后，会对一些特定的异常比较敏感，比如蠕虫、恶意端口扫描活动、对网络的人为误用，服务器反应慢，设备崩溃，异常程序的网络传输等。一个或多个事件可以根据任何合适的标准有逻辑地捆绑起来。例如，事件可以根据属性捆绑在一起，也可以根据事件特征捆绑在一起。在一个实施例中，事件捆绑的源计算设备有一个IP地址，目标计算设备可以为任何IP地址，时间跨度为两秒钟。典型的事件捆绑还包括：1.所有的事件都有一种“尝试信息泄露”，发生在一秒钟之内，并且有一个特殊的行为群体作为源行为群体(例如一个事件的源IP地址归属的行为群体)；2.所有事件发生在最后两秒钟之内，并且有一个特定的源、目标行为群体；3.所有的事件都源自一个指定的源IP地址，这个源址是在最后两秒钟产生的；4.在最后4秒钟，所有的事件会有一个特定目标IP；5.倒数N个事件(例如N＝100，45等)源自一个指定的源IP地址；6.倒数M(例如M＝200，50等)个事件会有一个共同的目标IP地址；7.倒数P(例如P＝100，30等)个事件有一个指定的源IP地址和事件类型“TCP预置；”8.所有事件在最后一秒会有一个指定的目标IP地址和事件类型“TCP建立”；9.所有有指定源行为群体的事件有一个目标端口作为端口80，使用TCP或者HTTP协议；10.所有事件在8:32AM and 8:35AM之间，从源址到目标地址，传输零字节的数据；11.所有事件的状态在7:00AM and 9:00AM都是连接复位。在另一个实体例中，事件捆绑可以通过捆绑那些事件被创造出来，这些被捆绑的事件展示出事件表中的一系列节点的活动爆发。特别是，一张相互联系的图表是为所有节点创造的，事件表示图表的边线。每一个节点都可以是一个IP地址、计算设备和网络接口等。如果许多事件的发生是因为一副指定的源-目标节点，事件可以用那些节点之间的单边线来解释。如果许多事件的终端节点作为源和目标，那么边线可以有一个高克重。如果转移的数据量很大，或者形成边缘终端的节点之间通信的某种其他方法很大，边线也能被给予高克重。因此，图表分区算法使用的标准有比如事务频率、数据转移数量，可以用来把以上图表分成子图表，每一个子图代表节点中最繁忙的群体，通信通信量最多的节点，或者在节点之间数据传输最大量的节点群体。这些子图现在包含边线，这些边线都可以追溯到原始事件表或者数据表中的一部分。

接下来，给出连续值型特征和有限集型特征分别从单一事件或者事件捆绑中提取的示例。在一个实施例中，可以从单一事件中提取的典型的有限集型特征有：1.和源IP地址相关的行为群体；2.和目标IP地址相关的行为群体；3.源端口数；4.目标端口数；5.通信协议。在另一个实施例中，可以从单一事件中提取的连续值型特征有：1.从源址到目标地址传输的数据量；2.从目标址到源址传输的数据量。3.通信或事务的时长；5.通信初次会话期间源址的延迟反应；6.一天的时间；7.星期和日期。在另一个实施例中，可以从事件捆绑中提取的典型的有限集特征有：1.最为突出或最频繁出现的目标端口。2.最为频繁的源行为群体；3.最为频繁的目标行为群体；4.最为频繁的源端口；5.最为突出的协议。6.目标行为群体数；7.从源址传输到目标址的数据量；8.从目标址传输到源址的数据量；9.源IP地址和目标IP地址的数量比率；10.源行为群体和目标行为群体的数量比率；11.时间；12.星期和日期。

需要再进一步说明的是，在一个实施例中，为了从事件捆绑中提取特征，可以从事件捆绑中提取数据结构各字段之间的交互相关；或，从事件捆绑中提取数据结构各行之间的顺序相关。具体地，为了检测字段之间的相关，可通过检测数据结构中的数据字段的交互相关，来分析事件捆绑。和事件捆绑相关的数据结构中，各种字段之间的一种统计关系称作交互相关。如从源址传输到目标地址的数据量和从目标地址返回到源址的数据量可以形成相关。从这个相关中提取的特征可以以中数、众数、方差、协方差、相互系数等形式存在。具体地，可以通过检测和事件捆绑相关的数据结构各行之间的顺序相关，来分析事件捆绑，从而检测行与行之间的相关。在和事件捆绑相关的数据结构中，顺序相关是各行间的统计关系。例如，顺序相关可以在紧靠在一起的行之间建立。例如，在t秒内，T12型事务紧随T2型事务发生了，这个过程会重复几次，那么这样的经历就会形成顺序相关或者行为模式。因此，T1→T2就是一个顺序相关特征。任何合适的数据挖掘技术都可以应用到事件捆绑中，来确定交互相关和顺序相关。在另外一个实施例中，可以在不使用统计相关的情况下，将特征从事件捆绑中提取出来。例如，使用字段中值总和、最常见值、最大值和最小值等，可以从事件捆绑中把这些特征提取出来。在另外的一个实施例中，使用在事件捆绑中从源址传输到目标地址的字节数的总数、发生最为频繁的目标端口、在事件捆绑中每秒事件发生的数目来提取特征。

需要再进一步说明的是，在一个实体例中，提取出的特征可以直接输出，而不需要转化再使用。在另一个优选的实施例中，对提取出来的特征进行基于数学运算的转化处理，对特征进行转化是为了使数据容易处理、有意义，同时(或)使数据和机器学习单元31相兼容，优化特征。这样的转化可以减少误报，有助于训练系统少用特征。典型的转化有比率、根(比如平方根、立方根或者n次方根(其中n是一个实数))、对数、查询表映射、多项式和(或)其他数学方程。

上述实施方式中，将输出的多个特征与已学习趋势作比较得到异常并对异常进行判断与推理并输出的程序指令，包括：

将所述连续值型特征从有限集特征中分离；

设置存储所述已学习趋势的学习趋势模块；

将分离后的所述有限集特征转换成所述学习趋势模块的地址；

选择出具有所述地址的学习趋势模块接收分离出的所述连续值型特征；

将所述学习趋势模块中存储的所述已学习趋势与接收的所述连续值型特征进行比较，输出异常；

对所述异常进行判断与推理并输出；

存储所述事件、异常和任何与计算机网络相关的异常检测信息；

存储具有一系列所述连续值型特征的所述学习趋势；以及，

接收所述判断与推理，发出警报与操作。

结合图2的示例，异常检测系统110中的机器智能模块30包括机器学习单元31、启发式算法和主机优先级单元32、事件数据库单元33、知识数据库单元34以及警报与操作单元35。其中，机器学习单元31用于将连续值型特征从有限集特征中分离、将分离后的有限集特征转换成学习趋势模块的地址、选择出具有地址的学习趋势模块来接收分离出的连续值型特征、将学习趋势模块接收的连续值型特征与从知识数据库单元34获得的已存储的学习趋势进行比较，输出异常。具体地，如图8所示，机器学习单元31包括将连续值型特征从有限集特征中分离的特征分离器311、用于存储有限集特征转换成学习趋势模块地址的地址单元312、分别存储有具有一系列连续值型特征的学习趋势的若干个学习趋势模块313。如图8和图9所示，学习趋势模块313从知识数据库单元34中获取具有一系列连续值型特征的学习趋势并存储，即已学习趋势，以供后续检测异常的比较使用；被分离出的连续值型特征通过地址单元312的地址识别存储至对应的一个学习趋势模块313，机器学习单元31将学习趋势模块313从知识数据库单元34获得的已存储的学习趋势与接收的连续值型特征进行比较，输出异常给启发式算法和主机优先级单元32处理的同时，将异常存储于事件数据库单元33中。启发式算法和主机优先级单元32用于对异常做出判断与推理来触发警报与操作单元35发出警报与操作。事件数据库单元33用于存储事件、异常和任何与计算机网络相关的异常的检测信息。知识数据库单元34用于存储具有一系列连续值型特征的学习趋势模块。警报与操作单元35用于接收判断与推理，发出警报与操作。发出警报的方式有电子邮件、网页以及日志消息等；发出操作的方式包括运行一个程序、屏幕显示、给网络设备编程序、网络流量路径会不一样、通过防火墙阻止某些类型的网络传输、以及在计算机网络中通过阻挡主机的网络传输使某些主机瘫痪等。

上述实施方式中，如图8所示，通过特征分离器311将连续值型特征分离出的有限集型特征，经过地址单元312会转化成地址，该地址与机器学习单元31若干个学习趋势模块313中的一个之间具有唯一的识别性，即可理解为地址单元312转化成的地址含有任何有限集特征的唯一组合。例如，如果一个有限集型特征有值χ和β，另外一组有限集特征有值A和D，则存在四组有限集特征的唯一组合，即χA、βA、χD和βD(组合(例如χA和Aχ)的排列顺序不包含在此例的唯一组合中)。以上的四个组合中的每一个都被当做是一个地址来选择其中一个学习趋势模块。另外一个例子是三个学习趋势模块和赋值的有限集特征的唯一组合相对应：1.源行为群体：工程部门，目标行为群体：因特网，端口80，协议:HTTP；2.源行为群体：市场部门，目标行为群体：因特网，端口：80，协议：HTTP；3.源：工程部门，目标：市场部门，端口：137，协议：UDP。

上述实施方式中，如图8示例，机器学习单元31包含若干个学习趋势模块313，每个学习趋势模块313利用机器学习和分类技术(如人工神经网络、KNN分类法、K均值算法等)估计出事件捆绑与特征提取单元22提取的特征的聚合趋势，尤其是学习趋势模块313从统计方面关联连续值型特征集来学习趋势。这些趋势代表计算机网络中事务的本质。例如，一个趋势大约是两个主机之间传输B字节。B可以是像203这样的数字。如果传输的是1.02*B字节，而不是B字节，因子1.02代表一个小小的偏差，因此可以被当成是在趋势范围内。这个小小的偏差是正常的，结果是，相应的连续值型特征(例如，数据传输量)保存在学习趋势模块已学习范围内。传输的是0.001*B字节时，将会有异常被检测到，因为0.001*B字节远远少于已学习趋势的B字节。偏离已学习趋势多少会被当成异常，取决于一些因素：比如异常类型、异常的检测器的应用、用户给系统设置的敏感度。已学习趋势和异常可以在多维数组中同时被确定，而不是看单一属性(比如源址到目标地址的数据传输量)。学习趋势模块313储存这些已学习趋势或者连续值型特征集转化成知识数据库单元34的统计关联。在学习趋势的过程中，学习趋势模块313会收到很多典型的连续值型特征集，从而形成他们的知识库或者是已学习趋势。下一次，一个连续值型特征集输入到学习趋势模块中后，学习趋势模块313可以决定，新的连续值型特征集是否和在学习趋势模块313中学习到的某个典型的连续值型特征集十分相似。一般来说，连续值型特征集的继续给予会引发学习趋势模块313的一个输出，这个输出会显示出输入的连续值型特征属于或者不属于已学习趋势(例如，一个异常值)范围内。通过比较输入连续值型特征集和知识数据库单元34存储的已学习趋势，决定输入连续值型特征是否属于已学习趋势范围内。换而言之，检查后，可以决定输入连续值型特征是否在已学习趋势范围内。输出也可以显示出输入连续值型特征和已学习趋势之间的几何距离。连续值型特征完全在已学习趋势范围之外就被归为异常。在一个实体例中，学习趋势模块313可以使用聚类技术(例如，ANN，k-NN等)来检测异常点。图10是一个有三个坐标轴的坐标系。这三个坐标轴分别是连续值型特征X轴，连续值型特征Y轴，连续值型特征Z轴。这个图表显示出在学习模式中已经学习了的连续值型特征B密集群和连续值型特征A。通过比较连续值型特征群B和连续值型特征A，可以看出连续值型特征A不在连续值型特征B群的范围内。由于连续值型特征A在连续值型特征群B范围之外，那么连续值型特征A就是一个异常点或者一个异常。

需要说明的是，每一个学习趋势模块313都和某一种相关性相关，并且被用来关联和学习一个连续值型特征集。在一个实施例中，用户可以选择连续值型特征群，连续值型特征群给每一个学习趋势模块313形成输入。举个例子，显示快速蔓延蠕虫的蔓延情况的连续值型特征群包括：1.在一秒钟内，和单一源IP地址相连接的不同目标IP地址数；2.在一秒钟内每一个IP地址联系的数量；3.这些联系中最突出的协议。如果在一秒钟内一个单一的源IP地址使用UDP协议联系到100个不同的目标IP地址，那这样的联系很有可能是蠕虫。然而，如果这些联系使用的是ARP协议，那这些联系有可能是来自路由器。相应地，以上三种连续值型特征都可以被选中输入给其中一个学习趋势模块313。在另一个实体例中，自动算法可以被用来选择连续值型特征，这些连续值型特征形成每个学习趋势模块的输入。通过让自动系统选择对输入到其他学习趋势模块313有意义的连续值型特征来实现自动化。这个实体例是从学习趋势模块313学习连续值型特征群的任意组合开始，这些连续值型特征群会输入到其中一个学习趋势模块313。因此，自动系统可以做一个搜索，然后选择最佳组合，这些最佳组合可以对连续值型特征产生有意义的关联。举个例子，一个异常检测系统在检测异常时，选中一个事件捆绑意味着，一秒钟内指定的源IP地址到任意一个目标IP地址的所有联系。从这个事件捆绑中提取出来的特征有：1.连接单一源IP地址的目标IP地址数；(2)在事件捆绑中，被连接的不同端口数。如果有一个特征，它的目标IP地址数有一个值是10，特征的不同端口数的值是2(端口53和端口80)，这些特征可能是正常的万维网搜索活动。在这些正常的搜索活动中，一个计算设备通常先连接上端口53的域名服务器，查找IP地址的的名字，然后再连接几次端口80上的网页服务器，获取网页的所有元素。因为这些活动在计算机网络中会频繁发生，机器学习单元31将在学习趋势中学习到，值为10和2的特征的组合分别代表目标IP地址数和不同端口数就是一个趋势。在检测模式，如果学习趋势模块313收到一组特征集，值为1和100，这些特征可能显示有检测活动(例如，端口扫描)，因为这些特征显示，单一源IP地址在100个不同端口扫描到单一目标计算设备。

需要进一步说明的是，每一个学习趋势模块313都是用来相关、学习和检测一系列连续值型特征的异常。在一个实体例中，每一个学习趋势模块313都被用作捕获一种或多种已知类型的异常，例如蠕虫、端口扫描、服务器反应慢、点对点档案分享等。在另一个实体例中，每一个学习趋势模块313都有连续值型特征输入来捕获未知型异常，而不是有目标性地捕获某一种异常。一般而言，学习趋势模块313是将多组实数(例如特征向量或者连续值型特征集)作为标本的分类单元。连续值型特征的每一个集合都有N个维度，其中N可以是1、2、3、4等任意数。N维代表学习趋势模块正在学习的任意的连续值型特征。在给学习趋势模块313提供许多标准连续值型特征集后，这些学习趋势模块313会形成学习趋势(例如分类体系)。学习过程一旦完成，连续值型特征集的进一步给予会引发一个输出，这个输出会显示异常的检测。

需要进一步说明的是，异常包括普通异常、异常源和异常目标等情况。举个例子，异常可以是针对一个或多个计算设备的一个问题或者异常行为。启发式算法和主机优先级单元32可以给一个计算设备提供严重度评分，由源IP地址或者目标IP地址表示，严重度评分是基于和计算设备相关的异常。例如，根据计算设备产生的异常，启发式算法和主机优先级单元32可以给计算设备分配一个数。例如，计算设备的严重度评分随着异常产生的数量而升高。另外，启发式算法和主机优先级单元32可以用来决定连接计算设备时发生的活动异常类型、判断计算设备是否有被怀疑答复更慢、和/或判断计算设备和其他易受攻击端口的计算设备连接速度很快。相应地，严重评分度取决于，在过去t秒中与计算设备相关的异常数量、异常类型以及这些异常和趋势的偏离情况。当严重评分度达到一个阈值时，就会产生警报，这时会给用户发送一个通知或者产生一个自动修复行为。可以设置多重阈值来触发多种类型的操作。阈值会随着应用的不同类型主机和主机展示的不同行为而有所不同。

上述实施方式中，异常检测系统110存储有多条用于计算机网络异常检测的程序指令，发出警报与操作的提醒。具体地，当一个计算机网络设备(如移动终端、服务器、控制台等)进行网络异常检测获得警报和操作后，向位于同一个计算网络中的其他至少一个计算机网络移动终端发送警报与操作的提醒；则同一个计算网络中的其他至少一个计算机网络移动终端可以接收该警报与操作的提醒。提醒的方式，包括但不限于短信、微信、网页等形式。

需要进一步说明的是，本发明提供的异常检测系统110，在实际应用中，包括但不限于一种存储有用于计算机网络异常检测的程序指令例如APP，则本发明提供的计算机网络移动终端，包括但不限于加载或执行APP中存储用于检测计算机网络异常的程序指令的计算机、计算机移动存储设备、手机、平板电脑等。

本发明提供的计算机网络异常检测方法、系统及移动终端，使用统计趋势和机器学习多维技术来检测异常。具体地，通过从计算机网络事务中收集数据包转换成的事件中同时提取包括连续值型特征和有限集型特征的多个特征后输出；将输出的多个特征与包括一系列连续值型特征的已学习趋势作比较，得到异常，并对异常进行判断与推理并输出。该判断与推理能够检测不可预见类型的网络威胁和其他网络相关问题，多维技术的使用将错误报警数降到最低，异常的检测的准确率提高。本发明提供的计算机网络异常检测系统可以用于其他计算机系统配置，包括手机、微处理系统、微处理器基或可编程电子消费品、微型机和大型计算机等。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (7)

1.一种计算机网络异常检测方法，其特征在于，其包括步骤：

从计算机网络事务中获取事件；

从所述事件中同时提取多个所述特征并输出；

将输出的多个所述特征与已学习趋势作比较，得到异常；对所述异常进行判断与推理，根据所述判断与推理发出警报与操作；具体包括：

将连续值型特征从有限集特征中分离；

设置存储所述已学习趋势的学习趋势模块；

将分离后的有限集特征转换成所述学习趋势模块的地址；

选择出具有所述地址的学习趋势模块接收分离出的所述连续值型特征；

将所述学习趋势模块中存储的所述已学习趋势与接收的所述连续值型特征进行比较，输出异常；

对所述异常进行判断与推理并输出；

存储所述事件、异常和任何与计算机网络相关的异常检测信息；

存储具有一系列所述连续值型特征的所述学习趋势；以及，

接收所述判断与推理，发出警报与操作；

其中，多个所述特征包括包含实数的连续值型特征和呈现为集合的有限集型特征；所述已学习趋势包括一系列所述连续值型特征。

2.如权利要求1所述的计算机网络异常检测方法，其特征在于，

获取的所述事件包括一个事件或将一系列事件按照事件之间的逻辑关系进行捆绑形成的事件捆绑。

3.如权利要求1所述的计算机网络异常检测方法，其特征在于，获取所述事件，包括步骤：

收集计算机网络事务中的数据包；

将所述数据包按照事务属性分类存储于数据结构中，形成所述事件。

4.如权利要求1所述的计算机网络异常检测方法，其特征在于，获取所述事件，还包括步骤：从其他来源获取所述事件。

5.如权利要求1或3或4所述的计算机网络异常检测方法，其特征在于，获取所述事件后，还包括步骤：对所述事件进行聚合、选择以及过滤处理。

6.如权利要求3所述的计算机网络异常检测方法，其特征在于，提取所述特征，包括步骤：

从所述事件中提取所述数据结构各字段之间的交互相关；或，

从所述事件中提取所述数据结构各行之间的顺序相关。

7.如权利要求6所述的计算机网络异常检测方法，其特征在于，多个所述特征输出，还包括步骤：

对多个所述特征进行基于数学运算的转化处理，优化所述特征。