CN106973051B - 建立检测网络威胁模型的方法、装置和存储介质 - Google Patents

Abstract

本发明公开了一种建立检测网络威胁模型的方法、装置、存储介质和处理器。其中，该方法包括：采集网络威胁数据流和网络安全数据流；通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型；通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流。本发明解决了由于现有技术中在检测高级长期威胁攻击中，存在的检测局限性的技术问题。

Description

建立检测网络威胁模型的方法、装置和存储介质

技术领域

本发明涉及网络安全技术应用领域，具体而言，涉及一种建立检测网络威胁模型的方法、装置、存储介质和处理器。

背景技术

随着互联网的发展，某些人员(黑客)针对特定的目标来精心策划和实施这种入侵，已达到商业或政治目的。高级长期威胁往往针对特定组织或国家，并要求在长时间内保持高隐蔽性。高级长期威胁包含三个要素：高级、长期、威胁。高级强调的是使用复杂精密的恶意软件及技术以利用系统中的漏洞。长期暗指黑客会持续监控特定目标，并从其获取数据。威胁则指人为参与策划的攻击。高级长期威胁中，黑客利用恶意软件在收控主机上进行长期隐蔽的通讯，控制和信息盗取。高级长期威胁中采用的恶意软件具有隐蔽性和多变性。

目前，传统的安全产品(如杀毒、入侵检测系统(Intrusion Detection Systems，简称IDS))，使用的基于已知的签名技术，难以有效监测到高级持续性威胁(AdvancedPersistent Threat，简称APT)，使得企业和机构的信息系统处于高级持续性威胁的重大威胁之中。要保护组织团体免于高级长期威胁攻击日益困难。在检测高级长期威胁的过程中，目前常用以下两种检测方式：

方式一:传统的安全产品(如杀毒、IDS)是目前常用的防止目高级长期威胁的一个手段。

其中，杀毒软件和IDS使用基于已知知识的签名技术。它们手工分析已知恶意软件的静态特征和网络特征，提取字端或字段哈希值作为签名。检测一个未知文件时，就已知签名进行比对。

但是，杀毒软件和IDS对已知恶意软件的检测比较有效。高级长期威胁常常使用针对性的恶意软件。这些恶意软件基本上是未知的，有隐蔽性和多变性。所以杀毒软件和IDS较难发现。

方式二：利用沙箱技术来分析发现高级长期威胁的恶意软件。

其中，沙箱技术在虚拟的环境中执行可疑文件(包括恶意软件)，并抓取该文件在沙箱中的动态执行行为。通过对可疑文件的动态行为特征来发现恶意软件。

但是，沙箱技术需要在网络流量中抓取文件。需要比较完整的协议分析和文件提取技术。另外，这些文件需要好的沙箱技术进行分析。沙箱技术比较复杂，实现上对性能(特别是内存和CPU)也有较高的要求。

针对上述由于现有技术中在检测高级长期威胁攻击中，存在的检测局限性的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种建立检测网络威胁模型的方法、装置、存储介质和处理器，以至少解决由于现有技术中在检测高级长期威胁攻击中，存在的检测局限性的技术问题。

根据本发明实施例的一个方面，提供了一种建立检测网络威胁模型的方法，包括：采集网络威胁数据流和网络安全数据流；通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型；通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流。

可选的，通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型包括：依据网络威胁数据流和网络安全数据流的超文本协议对话进行分离，得到网络威胁数据流和网络安全数据流的超文本协议会话集合；依据网络威胁数据流和网络安全数据流的超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量，其中，安全流量包括：家族标识；依据每个恶意软件家族对应的超文本协议会话集合，和安全流量对应的超文本协议会话集，在每一个超文本协议会话中分离对应的头域信息，获取头域信息对应的恶意软件家族，和安全流量的数据流特征，并依据所有恶意软件家族的超文本协议会话集合和安全流量的数据流特征得到检测模型。

进一步地，可选的，该方法还包括：对网络威胁数据流进行净化，并且对网络威胁数据流对应的头域集合进行分类，得到编号和建立映射得到对应分类的数据流特征。

可选的，依据网络威胁数据流和网络安全数据流的超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量包括：判断单个超文本协议会话是否属于预存恶意软件家族；其中，判断单个超文本协议会话是否属于预存恶意软件家族包括：依据单个超文本协议会话中的验证码判断是否属于预存恶意软件家族；对所有超文本协议会话,根据映射，产生网络威胁集群；所有映射到恶意软件家族的所有超文本协议会话属于同一个网络威胁集群，并对所有超文本协议会话分配第一分类标识；其中，第一分类标识，用于表示超文本协议会话集合属于恶意软件家族；或者，在所有映射到安全流量的所有超文本协议会话属于同一个安全网络流量集群，并对网络威胁集群分配第二分类标识；其中，第二分类标识，用于表示超文本协议会话集合属于安全网络集群。

可选的，方法还包括：对网络威胁数据流进行净化，对第一分类标识的每个超文本协议会话，如果超文本协议会话的HOST或用户代理User-Agent字段是白字段；或者，超文本协议会话HOST字段的域名被域名信誉系统标识为白域名，则将超文本协议会话从网络威胁集群中剔除，并将超文本协议会话加入未知网络流量集群，并对超文本协议会话添加第三分类标识；其中，第三分类标识，用于表示不能判断超文本会话是否是威胁网络流量还是安全网络流量；或者，若在多个超文本协议会话存在多个 HOST或用户代理User-Agent字段，且将多个超文本协议会话映射到多个不同的恶意软件家族名称，则将HOST或用户代理User-Agent字段标为未知，并将所有包含HOST 或用户代理User-Agent字段的超文本协议会话从网络威胁集群中剔除，并对超文本协议会话添加第三分类标识。

可选的，通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流包括：接收预设检测数据流；依据检测模型对预设检测数据流进行检测，得到检测结果；其中，对于网络威胁集群，如果一个超文本协议会话被检测模型标记为安全，且通过分析超文本协议会话为安全，则将超文本协议会话转移到网络安全集群；对于网络安全集群，如果一个超文本协议会话被检测模型标记为威胁，且报告为恶意软件家族，并且手工分析超文本协议会话为威胁，则将超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；对于网络未知集群，如果一个超文本协议会话被检测模型标记为威胁，且报告恶意软件家族，并通过手工分析超文本协议会话为威胁，则将超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；并且如果手工分析超文本协议会话为安全，则将超文本协议会话转移到网络安全集群。

进一步地，可选的，该方法还包括：依据已有域名和超文本协议头域调整检测模型，在检测模型中净化已有域名和超文本协议头域中的数据流特征。

根据本发明实施例的另一个方面，提供了一种建立检测网络威胁模型的装置，包括：采集模块，用于采集网络威胁数据流和网络安全数据流；模型建立模块，用于通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型；调整模块，用于通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流。

可选的，模型建立模块包括：第一分离单元，用于依据网络威胁数据流和网络安全数据流的超文本协议对话进行分离，得到网络威胁数据流和网络安全数据流的超文本协议会话集合；第二分离单元，用于依据网络威胁数据流和网络安全数据流的超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量，其中，安全流量包括：家族标识；模型建立单元，用于依据每个恶意软件家族对应的超文本协议会话集合，和安全流量对应的超文本协议会话集，在每一个超文本协议会话中分离对应的头域信息，获取头域信息对应的恶意软件家族，和安全流量的数据流特征，并依据所有恶意软件家族的超文本协议会话集合和安全流量的数据流特征得到检测模型。

进一步地，可选的，该装置还包括：分类模块，用于对网络威胁数据流进行净化，并且对网络威胁数据流对应的头域集合进行分类，得到编号和建立映射得到对应分类的数据流特征。

可选的，第二分离单元，用于判断单个超文本协议会话是否属于预存恶意软件家族；其中，判断单个超文本协议会话是否属于预存恶意软件家族包括：依据单个超文本协议会话中的验证码判断是否属于预存恶意软件家族；对所有超文本协议会话,根据映射，产生网络威胁集群；所有映射到恶意软件家族的所有超文本协议会话属于同一个网络威胁集群，并对所有超文本协议会话分配第一分类标识；其中，第一分类标识，用于表示超文本协议会话集合属于恶意软件家族；或者，在所有映射到安全流量的所有超文本协议会话属于同一个安全网络流量集群，并对网络威胁集群分配第二分类标识；其中，第二分类标识，用于表示超文本协议会话集合属于安全网络集群。

可选的，该装置还包括：第一标记模块，用于对网络威胁数据流进行净化，对第一分类标识的每个超文本协议会话，如果超文本协议会话的HOST或用户代理 User-Agent字段是白字段；或者，超文本协议会话HOST字段的域名被域名信誉系统标识为白域名，则将超文本协议会话从网络威胁集群中剔除，并将超文本协议会话加入未知网络流量集群，并对超文本协议会话添加第三分类标识；其中，第三分类标识，用于表示不能判断超文本会话是否是威胁网络流量还是安全网络流量；或者，第二标记模块，用于若在多个超文本协议会话存在多个HOST或用户代理User-Agent字段，且将多个超文本协议会话映射到多个不同的恶意软件家族名称，则将HOST或用户代理 User-Agent字段标为未知，并将所有包含HOST或用户代理User-Agent字段的超文本协议会话从网络威胁集群中剔除，并对超文本协议会话添加第三分类标识。

可选的，调整模块，用于接收预设检测数据流；依据检测模型对预设检测数据流进行检测，得到检测结果；其中，对于网络威胁集群，如果一个超文本协议会话被检测模型标记为安全，且通过分析超文本协议会话为安全，则将超文本协议会话转移到网络安全集群；对于网络安全集群，如果一个超文本协议会话被检测模型标记为威胁，且报告为恶意软件家族，并且手工分析超文本协议会话为威胁，则将超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；对于网络未知集群，如果一个超文本协议会话被检测模型标记为威胁，且报告恶意软件家族，并通过手工分析超文本协议会话为威胁，则将超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；并且如果手工分析超文本协议会话为安全，则将超文本协议会话转移到网络安全集群。

进一步地，可选的，该装置还包括：净化模块，用于依据已有域名和超文本协议头域调整检测模型，在检测模型中净化已有域名和超文本协议头域中的数据流特征。

根据本发明实施例的又一个方面，提供了一种存储介质，包括：存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述建立检测网络威胁模型的方法。

根据本发明实施例的又一个方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述建立检测网络威胁模型的方法。

在本发明实施例中，通过采集网络威胁数据流和网络安全数据流；通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型；通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流，达到了在不依靠物理设备性能需求满足对高级长期威胁攻击检测的目的，从而实现了提升检测高级长期威胁攻击准确率的技术效果，进而解决了由于现有技术中在检测高级长期威胁攻击中，存在的检测局限性的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的建立检测网络威胁模型的方法的流程示意图；

图2是根据本发明实施例的建立检测网络威胁模型的方法中机器学习网络流量并建模的流程示意图；

图3是根据本发明实施例的建立检测网络威胁模型的方法中检测模型有效性的标杆系统的流程示意图；

图4是根据本发明实施例的建立检测网络威胁模型的方法中的防火墙部署网络图；

图5是根据本发明实施例的建立检测网络威胁模型的装置的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例涉及的技术名词：

恶意软件(Malware)是指通过特定的程序来控制另一台计算机。黑客可以利用恶意软件远程操控该计算机，任意毁坏或窃取主机上的文件和用户密码。受控主机就是被黑客攻破，种植了恶意软件的电脑。

超文本传输协议(英文：HyperText Transfer Protocol，缩写：HTTP)是互联网上应用最为广泛的一种网络协议。因为超文本传输协议应用的广泛性，恶意软件大量利用超文本传输协议进行网络通信。

高级长期威胁(英语：Advanced Persistent Threat，缩写：APT)是指隐匿而持久的电脑入侵过程。

实施例一

根据本发明实施例，提供了一种建立检测网络威胁模型的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的建立检测网络威胁模型的方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤S102，采集网络威胁数据流和网络安全数据流；

步骤S104，通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型；

步骤S106，通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流。

本实施例提供的建立检测网络威胁模型的方法中采集网络威胁数据流和网络安全数据流；通过分析所述网络威胁数据流和所述网络安全数据流之间的区别，建立检测模型；通过预设检测数据流的检测效率调整所述检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流。最终使得网络威胁模型的效果最优。

在本发明实施例中，通过采集网络威胁数据流和网络安全数据流；通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型；通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流，达到了在不依靠物理设备性能需求满足对高级长期威胁攻击检测的目的，从而实现了提升检测高级长期威胁攻击准确率的技术效果，进而解决了由于现有技术中在检测高级长期威胁攻击中，存在的检测局限性的技术问题。

可选的，步骤S104中通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型包括：

Step1,依据网络威胁数据流和网络安全数据流的超文本协议对话进行分离，得到网络威胁数据流和网络安全数据流的超文本协议会话集合；

Step2,依据网络威胁数据流和网络安全数据流的超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量，其中，安全流量包括：家族标识；

Step3,依据每个恶意软件家族对应的超文本协议会话集合，和安全流量对应的超文本协议会话集，在每一个超文本协议会话中分离对应的头域信息，获取头域信息对应的恶意软件家族，和安全流量的数据流特征，并依据所有恶意软件家族的超文本协议会话集合和安全流量的数据流特征得到检测模型。

其中，依据所述网络威胁数据流和所述网络安全数据流的超文本协议对话进行分离，得到所述网络威胁数据流和所述网络安全数据流的超文本协议会话集合；依据所述网络威胁数据流和所述网络安全数据流的所述超文本协议会话集合进行分离，使得每一个超文本协议会话对应到一个已知的恶意软件家族或安全流量(安全流量可以看作一个家族标识)。依据每一个恶意软件家族对应的超文本协议会话集，和所述安全流量对应的超文本协议会话集，在每一个超文本协议会话中分离的相关的头域信息，获取对应所述恶意软件家族，和所述安全流量，的数据流特征，并依据所有所述恶意软件家族超文本协议会话集合和所述安全流量的数据流特征得到所述检测模型。

进一步地，可选的，本实施例提供的建立检测网络威胁模型的方法还包括：对网络威胁数据流进行净化，并且对网络威胁数据流对应的头域集合进行分类，得到编号和建立映射得到对应分类的数据流特征。

具体的，依据每一个恶意软件家族对应的超文本协议会话集，和所述安全流量对应的超文本协议会话集，在每一个超文本协议会话中分离的相关的头域信息，获取对应所述恶意软件家族，和所述安全流量，的数据流特征。而且，对所述网络威胁数据流进行净化，并且对应的头域集合进行分类，编号，和建立映射得到对应所述分类的数据流特征。

可选的，步骤S104中Step2中的依据网络威胁数据流和网络安全数据流的超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量包括：

步骤A，判断单个超文本协议会话是否属于预存恶意软件家族；其中，判断单个超文本协议会话是否属于预存恶意软件家族包括：

步骤B，依据单个超文本协议会话中的验证码判断是否属于预存恶意软件家族；对所有超文本协议会话,根据映射，产生网络威胁集群；所有映射到恶意软件家族的所有超文本协议会话属于同一个网络威胁集群，并对所有超文本协议会话分配第一分类标识；其中，第一分类标识，用于表示超文本协议会话集合属于恶意软件家族；

或者，

步骤C，在所有映射到安全流量的所有超文本协议会话属于同一个安全网络流量集群，并对网络威胁集群分配第二分类标识；其中，第二分类标识，用于表示超文本协议会话集合属于安全网络集群。

具体的，所述网络威胁数据流和所述网络安全数据流的所述超文本协议会话集合进行分离，使得每一个超文本协议会话对应到一个已知的恶意软件家族或安全流量(安全流量可以看作一个家族标识)。包括：

判断所述单个超文本协议会话是否属于某个预存恶意软件家族；判断依据是，该超文本协议会话属于某个已知恶意软件产生<MD5>.pcap，其中<MD5>是该恶意软件的 MD5验证码。<MD5>属于某个已知恶意软件家族。

对所有超文本协议会话,根据映射，产生网络威胁集群。所有映射到某个恶意软件家族的所有超文本协议会话属于同一个网络威胁集群，并分配第一分类标识。其下标为该恶意软件家族名称。所述第一分类标识，用于表示所述超文本协议会话集合属于所述预存恶意软件家族；

或者，

判断所有映射到安全流量的所有超文本协议会话属于同一个安全网络流量集群，并分配第二分类标识。其下标为“安全网络”。所述第二分类标识，用于表示所述超文本协议会话集合属于所述安全网络集群；

对所述网络威胁数据流进行净化，其特征在于，对第一分类标识的每一个超文本协议会话，如果：

该超文本协议会话的HOST或User-Agent字段是白字段

或者，

该超文本协议会话HOST字段的域名被域名信誉系统标识为白域名

在判断结果为是的情况下，把该超文本协议会话从该网络威胁集群中剔除，把该超文本协议会话加入一个新的“未知网络流量”集群，并分配第三分类标识。其中，所述第三分类标识，用于表示不能判断所述超文本会话是否是威胁网络流量还是安全网络流量。

或者，

某个HOST或User-Agent字段在多个超文本协议会话中出现，而且这些超文本协议会话被映射到多于5个不同的恶意软件家族名称。那么该HOST或User-Agent字段被标为未知。把所有包含该字段的超文本协议会话从网络威胁集群中剔除，并加入第三分类标识(“未知网络流量”集群)。

可选的，本实施例提供的建立检测网络威胁模型的方法还包括：

对网络威胁数据流进行净化，对第一分类标识的每个超文本协议会话，如果超文本协议会话的HOST或用户代理User-Agent字段是白字段；或者，超文本协议会话HOST 字段的域名被域名信誉系统标识为白域名，则将超文本协议会话从网络威胁集群中剔除，并将超文本协议会话加入未知网络流量集群，并对超文本协议会话添加第三分类标识；其中，第三分类标识，用于表示不能判断超文本会话是否是威胁网络流量还是安全网络流量；

或者，

若在多个超文本协议会话存在多个HOST或用户代理User-Agent字段，且将多个超文本协议会话映射到多个不同的恶意软件家族名称，则将HOST或用户代理 User-Agent字段标为未知，并将所有包含HOST或用户代理User-Agent字段的超文本协议会话从网络威胁集群中剔除，并对超文本协议会话添加第三分类标识。

具体的，网络威胁集群(第一分类标识)和网络安全集群(第二分类标识)，对于网络威胁集群，依据每一个恶意软件家族对应的超文本协议会话集；对于网络安全集群，对应的超文本协议会话集，在每一个超文本协议会话中分离的相关的头域信息，获取对应所述恶意软件家族，和所述网络安全集群，的数据流特征，并依据所有所述恶意软件家族超文本协议会话集合和所述网络安全集群的数据流特征得到所述检测模型。

可选的，通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流包括：

接收预设检测数据流；

依据检测模型对预设检测数据流进行检测，得到检测结果；

其中，对于网络威胁集群，如果一个超文本协议会话被检测模型标记为安全，且通过分析超文本协议会话为安全，则将超文本协议会话转移到网络安全集群；

对于网络安全集群，如果一个超文本协议会话被检测模型标记为威胁，且报告为恶意软件家族，并且手工分析超文本协议会话为威胁，则将超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；

对于网络未知集群，如果一个超文本协议会话被检测模型标记为威胁，且报告恶意软件家族，并通过手工分析超文本协议会话为威胁，则将超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；并且如果手工分析超文本协议会话为安全，则将超文本协议会话转移到网络安全集群。

具体的，接收所述预设检测数据流；依据所述检测模型对所述预设检测数据流进行检测，得到检测结果；对于网络威胁集群(第一分类标识)，如果一个超文本协议会话被检测模型标记为安全，而且手工分析该超文本协议会话为安全，则把该超文本协议会话转移到网络安全集群。

对于网络安全集群(第二分类标识)，如果一个超文本协议会话被检测模型标志为威胁，而且报告恶意软件家族，而且手工分析该超文本协议会话为威胁，则把该超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合里，根据恶意软件家族的下标。

对于网络未知集群(第三分类标识)，如果一个超文本协议会话被检测模型标记为威胁，而且报告恶意软件家族。如果手工分析该超文本协议会话为威胁，则把该超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合里，根据恶意软件家族的下标。如果手工分析该超文本协议会话为安全，则把该超文本协议会话转移到网络安全集群中。

进一步地，可选的，本申请实施例提供的建立检测网络威胁模型的方法还包括：

依据已有域名和超文本协议头域调整检测模型，在检测模型中净化已有域名和超文本协议头域中的数据流特征。

综上，本申请实施例提供的建立检测网络威胁模型的方法具体如下：

现在，基于高级长期威胁的恶意软件出现的频率越来越高。它们对金融，行政，信息行业造成极大威胁。

高级长期威胁活动十分隐蔽，基于高级长期威胁的恶意软件变化多端。但与高级长期威胁相关的命令与控制网络流量相当而言变化较小。基于网络流量检测可以增强对高级长期威胁的发现和减缓。深入的网络分析和比对有助于发现高级长期威胁活动。强大的前台和后台分析系统和算法的有力的支持了深度网络分析的实现。

本申请实施例提供的建立检测网络威胁模型的方法如下：

1、建立检测模型步骤如下：

step1,收集大量的恶意软件网络流量和正常的网络流量；

Step2，分析，对比网络流量，并利用机器学习和建模。建模包括恶意软件的发现算法和匹配恶意软件家族的算法。

Step3,机器学习建模。如图2所示，图2是根据本发明实施例的建立检测网络威胁模型的方法中机器学习网络流量并建模的流程示意图。其中，机器学习和建模的功能要点包括：

对恶意软件网络流量进行分类:

类型一，恶意软件流量里属于同一恶意软件家族的被归为一类；

类型二，网络安全流量的HTTP会话被归为一类；

类型三，对类型一超文本协议会话净化后，标识为未知流量的HTTP会话被归为一类。

上述学习产生的检测模型，可以分析未知网络流量：

功能一，发现源地址是否被恶意软件感染(该源地址是否是受控主机)；

功能二，发现被什么恶意软件家族感染；

功能三，评估受控主机的严重性和可信度。

2、构建一个标杆系统对模型的有效性进行评估，如图3所示，图3是根据本发明实施例的建立检测网络威胁模型的方法中检测模型有效性的标杆系统的流程示意图。其中，发现率＝发现统计/恶意软件总数。该发现率用于根据发现率评估模型的有效性。

其中，该评估过程包括：

Step1，恶意软件流量集合；

Step2，恶意软件元数据；

Step3，依据检测模型进行检测，并判断是否发现威胁。

3、利用已有的域名，http头域的名誉系统，对建立的模型进行调整和改进。

4、对应HTTP头域的学习和建模，评估和改进。

由上可知，本申请实施例提供的建立检测网络威胁模型的方法的应用场景如下：

基于对通过二代防火墙对高级长期威胁进行发现和减缓的需求，其中，能有效发现和减缓高级长期威胁；能对发现的高级长期威胁进行有效定位，例如哪一台主机被入侵，主机上感染了什么恶意软件的家族；误判率要低；不影响原来的网络架设与拓扑；如图4所示，图4是根据本发明实施例的建立检测网络威胁模型的方法中的防火墙部署网络图。本申请实施例提供的建立检测网络威胁模型的方法可以增强发现高级长期威胁进行发现。并减缓高级长期威胁产生的伤害。

本申请实施例提供的建立检测网络威胁模型的方法，应用于检测高级持续性威胁严重威胁企业和机构的信息系统。一旦关键企业信息和用户信息被偷盗，会给企业或政府带来巨大的经济、业务以及声誉损失；目前的解决方案如杀毒软件和IDS对发现高级持续性威胁不是很有效。对系统要求很高。本申请实施例提供的建立检测网络威胁模型的方法可以为企业、政府以及运营商提供保护，最大限度保护内网的安全，即，不改变网络拓扑，以及，增加对物流设备硬件性能需求，以此在提升检测效率的同时，降低设备部署成本。

本申请实施例提供的建立检测网络威胁模型的方法，利用大量的恶意软件流量和正常流量进行机器学习和建模；用HTTP协议里的各种头域及URI的数据归类和分析；用信誉系统和标杆系统对分析模型进行完善；最后完全自动的建模，改进和发布系统，进而提升对高级持续性威胁攻击的检测效率。

实施例二

根据本发明实施例，提供了一种应用于上述建立检测网络威胁模型的方法的装置实施例，本申请实施例提供了一种建立检测网络威胁模型的装置，图5是根据本发明实施例的建立检测网络威胁模型的装置的流程示意图，如图5所示，包括：

采集模块52，用于采集网络威胁数据流和网络安全数据流；模型建立模块54，用于通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型；调整模块 56，用于通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流。

在本发明实施例中，通过采集网络威胁数据流和网络安全数据流；通过分析网络威胁数据流和网络安全数据流之间的区别，建立检测模型；通过预设检测数据流的检测效率调整检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流，达到了在不依靠物理设备性能需求满足对高级长期威胁攻击检测的目的，从而实现了提升检测高级长期威胁攻击准确率的技术效果，进而解决了由于现有技术中在检测高级长期威胁攻击中，存在的检测局限性的技术问题。

可选的，模型建立模块54包括：第一分离单元，用于依据网络威胁数据流和网络安全数据流的超文本协议对话进行分离，得到网络威胁数据流和网络安全数据流的超文本协议会话集合；第二分离单元，用于依据网络威胁数据流和网络安全数据流的超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量，其中，安全流量包括：家族标识；模型建立单元，用于依据每个恶意软件家族对应的超文本协议会话集合，和安全流量对应的超文本协议会话集，在每一个超文本协议会话中分离对应的头域信息，获取头域信息对应的恶意软件家族，和安全流量的数据流特征，并依据所有恶意软件家族的超文本协议会话集合和安全流量的数据流特征得到检测模型。

进一步地，可选的，该装置还包括：分类模块，用于对网络威胁数据流进行净化，并且对网络威胁数据流对应的头域集合进行分类，得到编号和建立映射得到对应分类的数据流特征。

可选的，第二分离单元，用于判断单个超文本协议会话是否属于预存恶意软件家族；其中，判断单个超文本协议会话是否属于预存恶意软件家族包括：依据单个超文本协议会话中的验证码判断是否属于预存恶意软件家族；对所有超文本协议会话,根据映射，产生网络威胁集群；所有映射到恶意软件家族的所有超文本协议会话属于同一个网络威胁集群，并对所有超文本协议会话分配第一分类标识；其中，第一分类标识，用于表示超文本协议会话集合属于恶意软件家族；或者，在所有映射到安全流量的所有超文本协议会话属于同一个安全网络流量集群，并对网络威胁集群分配第二分类标识；其中，第二分类标识，用于表示超文本协议会话集合属于安全网络集群。

可选的，该装置还包括：第一标记模块，用于对网络威胁数据流进行净化，对第一分类标识的每个超文本协议会话，如果超文本协议会话的HOST或用户代理 User-Agent字段是白字段；或者，超文本协议会话HOST字段的域名被域名信誉系统标识为白域名，则将超文本协议会话从网络威胁集群中剔除，并将超文本协议会话加入未知网络流量集群，并对超文本协议会话添加第三分类标识；其中，第三分类标识，用于表示不能判断超文本会话是否是威胁网络流量还是安全网络流量；或者，第二标记模块，用于若在多个超文本协议会话存在多个HOST或用户代理User-Agent字段，且将多个超文本协议会话映射到多个不同的恶意软件家族名称，则将HOST或用户代理 User-Agent字段标为未知，并将所有包含HOST或用户代理User-Agent字段的超文本协议会话从网络威胁集群中剔除，并对超文本协议会话添加第三分类标识。

可选的，调整模块56，用于接收预设检测数据流；依据检测模型对预设检测数据流进行检测，得到检测结果；其中，对于网络威胁集群，如果一个超文本协议会话被检测模型标记为安全，且通过分析超文本协议会话为安全，则将超文本协议会话转移到网络安全集群；对于网络安全集群，如果一个超文本协议会话被检测模型标记为威胁，且报告为恶意软件家族，并且手工分析超文本协议会话为威胁，则将超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；对于网络未知集群，如果一个超文本协议会话被检测模型标记为威胁，且报告恶意软件家族，并通过手工分析超文本协议会话为威胁，则将超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；并且如果手工分析超文本协议会话为安全，则将超文本协议会话转移到网络安全集群。

进一步地，可选的，该装置还包括：净化模块，用于依据已有域名和超文本协议头域调整检测模型，在检测模型中净化已有域名和超文本协议头域中的数据流特征。

实施例三

根据本发明实施例的又一个方面，提供了一种存储介质，包括：存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述实施例一中的建立检测网络威胁模型的方法。

实施例四

根据本发明实施例的又一个方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述实施例一中的建立检测网络威胁模型的方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种建立检测网络威胁模型的方法，其特征在于，包括：

采集网络威胁数据流和网络安全数据流；

通过分析所述网络威胁数据流和所述网络安全数据流之间的区别，建立检测模型；

通过预设检测数据流的检测效率调整所述检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流；

其中，所述通过分析所述网络威胁数据流和所述网络安全数据流之间的区别，建立检测模型包括：

依据所述网络威胁数据流和所述网络安全数据流的超文本协议对话进行分离，得到所述网络威胁数据流和所述网络安全数据流的超文本协议会话集合；

依据所述网络威胁数据流和所述网络安全数据流的所述超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量，其中，所述安全流量包括：家族标识；

依据每个恶意软件家族对应的所述超文本协议会话集合，和所述安全流量对应的所述超文本协议会话集，在每一个超文本协议会话中分离对应的头域信息，获取所述头域信息对应的所述恶意软件家族，和所述安全流量的数据流特征，并依据所有所述恶意软件家族的超文本协议会话集合和所述安全流量的数据流特征得到所述检测模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述网络威胁数据流进行净化，并且对所述网络威胁数据流对应的头域集合进行分类，得到编号和建立映射得到对应所述分类的数据流特征。

3.根据权利要求2所述的方法，其特征在于，所述依据所述网络威胁数据流和所述网络安全数据流的所述超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量包括：

判断单个超文本协议会话是否属于预存恶意软件家族；其中，所述判断单个超文本协议会话是否属于预存恶意软件家族包括：依据所述单个超文本协议会话中的验证码判断是否属于所述预存恶意软件家族；

对所有超文本协议会话,根据映射，产生网络威胁集群；所有映射到恶意软件家族的所有超文本协议会话属于同一个网络威胁集群，并对所述所有超文本协议会话分配第一分类标识；其中，所述第一分类标识，用于表示所述超文本协议会话集合属于所述恶意软件家族；

或者，

在所有映射到安全流量的所有超文本协议会话属于同一个安全网络流量集群，并对所述网络威胁集群分配第二分类标识；其中，所述第二分类标识，用于表示所述超文本协议会话集合属于所述安全网络集群。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述网络威胁数据流进行净化，对第一分类标识的每个超文本协议会话，如果所述超文本协议会话的HOST或用户代理User-Agent字段是白字段；或者，所述超文本协议会话HOST字段的域名被域名信誉系统标识为白域名，则将所述超文本协议会话从所述网络威胁集群中剔除，并将所述超文本协议会话加入未知网络流量集群，并对所述超文本协议会话添加第三分类标识；其中，所述第三分类标识，用于表示不能判断所述超文本会话是否是威胁网络流量还是安全网络流量；

或者，

若在多个超文本协议会话存在多个HOST或用户代理User-Agent字段，且将所述多个超文本协议会话映射到多个不同的恶意软件家族名称，则将所述HOST或所述用户代理User-Agent字段标为未知，并将所有包含所述HOST或所述用户代理User-Agent字段的超文本协议会话从所述网络威胁集群中剔除，并对所述超文本协议会话添加所述第三分类标识。

5.根据权利要求1所述的方法，其特征在于，所述通过预设检测数据流的检测效率调整所述检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流包括：

接收所述预设检测数据流；

依据所述检测模型对所述预设检测数据流进行检测，得到检测结果；

其中，对于网络威胁集群，如果一个超文本协议会话被检测模型标记为安全，且通过分析所述超文本协议会话为安全，则将所述超文本协议会话转移到网络安全集群；

对于网络安全集群，如果一个超文本协议会话被所述检测模型标记为威胁，且报告为恶意软件家族，并且手工分析所述超文本协议会话为威胁，则将所述超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；

对于网络未知集群，如果一个超文本协议会话被所述检测模型标记为威胁，且报告恶意软件家族，并通过手工分析所述超文本协议会话为威胁，则将所述超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；并且如果手工分析所述超文本协议会话为安全，则将所述超文本协议会话转移到网络安全集群。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

依据已有域名和超文本协议头域调整所述检测模型，在所述检测模型中净化所述已有域名和所述超文本协议头域中的数据流特征。

7.一种建立检测网络威胁模型的装置，其特征在于，包括：

采集模块，用于采集网络威胁数据流和网络安全数据流；

模型建立模块，用于通过分析所述网络威胁数据流和所述网络安全数据流之间的区别，建立检测模型；

调整模块，用于通过预设检测数据流的检测效率调整所述检测模型的参数和提供机器学习的网络威胁数据流和网络安全数据流；

其中，所述模型建立模块包括：

第一分离单元，用于依据所述网络威胁数据流和所述网络安全数据流的超文本协议对话进行分离，得到所述网络威胁数据流和所述网络安全数据流的超文本协议会话集合；

第二分离单元，用于依据所述网络威胁数据流和所述网络安全数据流的所述超文本协议会话集合进行分离，将每个超文本协议会话对应到一个已知的恶意软件家族或安全流量，其中，所述安全流量包括：家族标识；

模型建立单元，用于依据每个恶意软件家族对应的所述超文本协议会话集合，和所述安全流量对应的所述超文本协议会话集，在每一个超文本协议会话中分离对应的头域信息，获取所述头域信息对应的所述恶意软件家族，和所述安全流量的数据流特征，并依据所有所述恶意软件家族的超文本协议会话集合和所述安全流量的数据流特征得到所述检测模型。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

分类模块，用于对所述网络威胁数据流进行净化，并且对所述网络威胁数据流对应的头域集合进行分类，得到编号和建立映射得到对应所述分类的数据流特征。

9.根据权利要求8所述的装置，其特征在于，所述第二分离单元，用于判断单个超文本协议会话是否属于预存恶意软件家族；其中，所述判断单个超文本协议会话是否属于预存恶意软件家族包括：依据所述单个超文本协议会话中的验证码判断是否属于所述预存恶意软件家族；对所有超文本协议会话,根据映射，产生网络威胁集群；所有映射到恶意软件家族的所有超文本协议会话属于同一个网络威胁集群，并对所述所有超文本协议会话分配第一分类标识；其中，所述第一分类标识，用于表示所述超文本协议会话集合属于所述恶意软件家族；或者，在所有映射到安全流量的所有超文本协议会话属于同一个安全网络流量集群，并对所述网络威胁集群分配第二分类标识；其中，所述第二分类标识，用于表示所述超文本协议会话集合属于所述安全网络集群。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第一标记模块，用于对所述网络威胁数据流进行净化，对所述第一分类标识的每个超文本协议会话，如果所述超文本协议会话的HOST或用户代理User-Agent字段是白字段；或者，所述超文本协议会话HOST字段的域名被域名信誉系统标识为白域名，则将所述超文本协议会话从所述网络威胁集群中剔除，并将所述超文本协议会话加入未知网络流量集群，并对所述超文本协议会话添加第三分类标识；

其中，所述第三分类标识，用于表示不能判断所述超文本会话是否是威胁网络流量还是安全网络流量；

或者，

第二标记模块，用于若在多个超文本协议会话存在多个HOST或用户代理User-Agent字段，且将所述多个超文本协议会话映射到多个不同的恶意软件家族名称，则将所述HOST或所述用户代理User-Agent字段标为未知，并将所有包含所述HOST或所述用户代理User-Agent字段的超文本协议会话从所述网络威胁集群中剔除，并对所述超文本协议会话添加所述第三分类标识。

11.根据权利要求7所述的装置，其特征在于，所述调整模块，用于接收所述预设检测数据流；依据所述检测模型对所述预设检测数据流进行检测，得到检测结果；

其中，对于网络威胁集群，如果一个超文本协议会话被检测模型标记为安全，且通过分析所述超文本协议会话为安全，则将所述超文本协议会话转移到网络安全集群；对于网络安全集群，如果一个超文本协议会话被所述检测模型标记为威胁，且报告为恶意软件家族，并且手工分析所述超文本协议会话为威胁，则将所述超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；对于网络未知集群，如果一个超文本协议会话被所述检测模型标记为威胁，且报告恶意软件家族，并通过手工分析所述超文本协议会话为威胁，则将所述超文本协议会话转移到网络威胁集群中对应的超文本协议会话集合，并以恶意软件家族进行标记；并且如果手工分析所述超文本协议会话为安全，则将所述超文本协议会话转移到网络安全集群。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

净化模块，用于依据已有域名和超文本协议头域调整所述检测模型，在所述检测模型中净化所述已有域名和所述超文本协议头域中的数据流特征。

13.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的建立检测网络威胁模型的方法。

14.一种建立检测网络威胁模型的装置，包括存储介质、处理器以及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6中任意一项所述的建立检测网络威胁模型的方法。