CN109698823A - 一种网络威胁发现方法 - Google Patents

Abstract

本发明公开了一种网络威胁发现方法，包括的步骤有漏洞信息监控、情报信息分析和异常信息捕获。其中，通过漏洞信息监控实现对公开的网络漏洞发布信息进行常态化监控，通过情报信息分析对潜在的隐含在情报文本的新型威胁信息进行分类和预警，通过异常信息捕获则实现对Web异常行为进行网络威胁的捕获和预警。本发明提供的网络威胁发现方法有效实现了从多种渠道进行网络威胁预警，特别是通过情报信息分析能够建立安全威胁词条向量模型，具有对安全威胁信息的机器学习和更新能力，大大提高网络威胁的态势感知能力和预警防控能力。

Description

一种网络威胁发现方法

技术领域

本发明属于计算机网络安全技术领域，特别是涉及一种网络威胁发现方法。

背景技术

网络安全漏洞的生命周期可以分为潜伏、成长、蔓延、爆发、衰退等阶段，一般为公众所知时已经到了蔓延期、爆发期和衰退期，这时安全漏洞往往已开始对安全主体造成实质性的危害。

网络安全预警是希望能够从多个角度、多个方面对潜在的网络漏洞或网络威胁进行早发现、早预警和早防护，从而克服现有技术中利用单一技术手段进行网络威胁预警的不足。

发明内容

本发明主要解决的技术问题是提供一种网络威胁发现方法，解决现有技术中网络威胁发现方法单一，缺乏早期预警监测，以及不具有智能化学习发现新威胁的技术问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种网络威胁发现方法，包括以下步骤：漏洞信息监控，常态监控网络漏洞发布信息，建立分类查找表，对安全漏洞信息和病毒信息的关键词进行匹配验证，形成对应的预警信息；情报信息分析，构建用于计算词向量的神经网络，对情报文本中的词条进行学习和分类，形成安全威胁词条向量模型，利用所述安全威胁词条向量模型对情报文本中出现的新型威胁信息进行分类和预警；异常信息捕获，对于不能直接从所述情报文本中获取的未知威胁信息，则通过监控Web异常行为进行网络威胁的捕获和预警。

在本发明网络威胁发现方法另一实施例中，所述常态监控网络漏洞发布信息包括常态监控主流漏洞发布平台发布的所述安全漏洞信息，以及常态监控安全专家、黑客以及安全组织在社交网络发布的所述安全漏洞信息和所述病毒信息，并通过网络爬虫工具定时获取所述漏洞信息和所述病毒信息。

在本发明网络威胁发现方法另一实施例中，所述建立分类查找表包括对所述漏洞信息和所述病毒信息相对应的热词及社交网络引用数进行综合计算，获得词频信息和词龄信息。

在本发明网络威胁发现方法另一实施例中，所述构建用于计算词向量的神经网络包括：第一步，利用所述情报文本中的单词构建所述神经网络的输入词向量；第二步，确定所述隐蔽层的神经元的个数，以及随机确定所述隐蔽层的输入权重矩阵的初始值和输出权重矩阵的初始值；第三步，利用所述输入词向量和所述隐蔽层，计算所述神经网络的输出层的输出词概率，根据所述输入词向量中对应单词之间的已知概率，比较与所述输出词概率之间的差别，再反向修正所述输入权重矩阵的矩阵值和所述输出权重矩阵的矩阵值；第四步，重复第三步，直至经过多次修正后，所述输入权重矩阵的矩阵值和所述输出权重矩阵的矩阵值，能够满足对所述输入词向量计算所述神经网络的输出层的输出词概率，与所述输入词向量中其它对应单词之间的已知概率均接近时，则所述用于计算词向量的神经网络构建完毕。

在本发明网络威胁发现方法另一实施例中，所述对情报文本中的词条进行学习和分类包括利用Word2Vec算法对所述情报文本中的词条进行学习和分类。

在本发明网络威胁发现方法另一实施例中，所述Word2vec算法包括两种方法进行训练，第一种方法是利用CBOW算法，从当前滑动窗口的上下文中预测当前词条，且所述上下文的顺序不影响预测精度；第二种方法是利用Continuous Skip-gram算法，对相似的上下文进行标记，相似度近的上下文获得的权重大，相似度远的上下文获得的权重小。

在本发明网络威胁发现方法另一实施例中，利用所述安全威胁词条向量模型对情报文本中出现的新型威胁信息进行分类时，当所述新型威胁信息与相似类别的单词在向量空间中距离较短时，则将所述新型威胁信息与对应的所述单词归为一类。

在本发明网络威胁发现方法另一实施例中，所述监控Web异常行为包括：第一步，在Web端采用Javascript插桩形式，获取用户的事件；第二步，截获表单的submit事件：如果是GET方法，则保留最后10项用户操作，作为参数并通过http request发送到服务器端；如果是POST方法，则将所有操作打包成压缩流，以参数形式通过http request发送到服务器端；第三步，把用户动作和用户请求编制为序列，采用n-gram算法进行概率判断，如果概率低于阈值则进行威胁警告。

本发明的有益效果是：本发明公开了一种网络威胁发现方法，包括的步骤有漏洞信息监控、情报信息分析和异常信息捕获。其中，通过漏洞信息监控实现对公开的网络漏洞发布信息进行常态化监控，通过情报信息分析对潜在的隐含在情报文本的新型威胁信息进行分类和预警，通过异常信息捕获则实现对Web异常行为进行网络威胁的捕获和预警。本发明提供的网络威胁发现方法有效实现了从多种渠道进行网络威胁预警，特别是通过情报信息分析能够建立安全威胁词条向量模型，具有对安全威胁信息的机器学习和更新能力，大大提高网络威胁的态势感知能力和预警防控能力。

附图说明

图1是本发明网络威胁发现方法一实施例的流程图；

图2是本发明网络威胁发现方法另一实施例的示意图；

图3是本发明网络威胁发现方法另一实施例的流程图；

图4是本发明网络威胁发现方法另一实施例的流程图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。

图1公开了本发明的一种网络威胁发现方法的一实施例的流程图，该方法具体包括以下步骤：

步骤S101，漏洞信息监控，常态监控网络漏洞发布信息，建立分类查找表，对安全漏洞信息和病毒信息的关键词进行匹配验证，形成对应的预警信息；

步骤S102，情报信息分析，构建用于计算词向量的神经网络，对情报文本中的词条进行学习和分类，形成安全威胁词条向量模型，利用所述安全威胁词条向量模型对情报文本中出现的新型威胁信息进行分类和预警；

步骤S103，异常信息捕获，对于不能直接从所述情报文本中获取的未知威胁信息，则通过监控Web异常行为进行网络威胁的捕获和预警。

这里，通过这三个步骤可以分别从三个不同的角度或方面进行网络漏洞和网络威胁预警。优选的，在步骤S101中，所述常态监控网络漏洞发布信息包括常态监控主流漏洞发布平台发布的所述安全漏洞信息，以及常态监控安全专家、黑客以及安全组织在社交网络发布的所述安全漏洞信息和所述病毒信息，并通过网络爬虫工具定时获取所述漏洞信息和所述病毒信息。进一步的，所述建立分类查找表包括对所述漏洞信息和所述病毒信息相对应的热词及社交网络引用数进行综合计算，获得词频信息和词龄信息。其中，词频是指某个词在一段时间内发生的频率，词龄是指某个词在当前时间和历史上第一次获取到此词的时间差。

通过步骤S101，当高危威胁在漏洞平台公布后，往往在社交网络中快速传播，短时间在网络中完成扩散，且社交网络中的节点经常采用“引用”的方式进行转发传播，因此通过对热词及社交网络引用数进行综合计算，可以获得词频、词龄等信息，有利于快速发现威胁、进行分类以及预警。表1是建立的一个分类查表实施例，可与常见漏洞、病毒的关键词匹配验证，形成对应的预警信息。

表1词频、词龄分类查找表

步骤S101的过程还可以通过图2进行形象化的说明，其中可以通过关注知名黑客、安全组织及安全专家的相关信息，建立关系图谱，以及关注知名漏洞共享平台，进行信息获取和分词，然后计算热度，可以最终进行安全预警。这种方式属于一种公开方式，需要利用搜索引擎等工具不断进行监控，随时跟踪发布的相关信息而进行预警。

如图3所示，优选的，在步骤S102中，所述构建用于计算词向量的神经网络包括：

步骤S201：第一步，利用所述情报文本中的单词构建所述神经网络的输入词表；

可以举例进行说明，比如一个情报文本中有一组示例语句，三个语句中共有8个不同的单词，即：

“the dog saw a cat”,“the dog chased the cat”,“the cat climbed atree”。

如表2，我们可以把它们按照字母序排列，每个单词都可以用它的序号代替。

表2单词表

单词	序号
		a	0
cat	1
		chased	2
climbed	3
		dog	4
saw	5
		the	6
tree	7

步骤S202：第二步，确定所述隐蔽层的神经元的个数，以及随机确定所述隐蔽层的输入权重矩阵的初始值和输出权重矩阵的初始值。

承接上面的举例，我们建立一个8输入和8输出的神经网络，并假设在隐藏层中使用3个神经元，则对于输入权重矩阵和输出权重矩阵的分别为8×3和3×8的矩阵，初始时，这些矩阵先随机初始化。假设随机赋值如下：

步骤S203：第三步，利用所述输入词向量和所述隐蔽层，计算所述神经网络的输出层的输出词概率，根据所述输入词向量中对应单词之间的已知概率，比较与所述输出词概率之间的差别，再反向修正所述输入权重矩阵的矩阵值和所述输出权重矩阵的矩阵值。

步骤S204：第四步，重复第三步，直至经过多次修正后，所述输入权重矩阵的矩阵值和所述输出权重矩阵的矩阵值，能够满足对所述输入词向量计算所述神经网络的输出层的输出词概率，与所述输入词向量中其它对应单词之间的已知概率均接近时，则所述用于计算词向量的神经网络构建完毕。

承接上述举例，假设我们希望神经网络学习出cat和climbed的关系，如果输入单词cat的时候，climbed应该获得一个高的概率出现。在这里，单词cat是一个上下文，climbed是一个目标词。这时，cat的输入向量X＝[0 1 0 0 0 0 0 0]^t(根据表2，索引是0位开始计算，cat的索引是1，所以第一位为1，其它位为0)。同理，Climbed单词的向量是[0 0 01 0 0 0 0]^t。

输入cat的向量，并利用输入权重矩阵，则可以计算隐藏层：

H^t＝X^tWI＝[-0.490796 -0.229903 0.065460]

其中H^t是隐藏层神经元的输出，由于向量X的第一位为1，所以实际上输出的是WI矩阵第二行。因此直观来说，从输入到隐藏层的函数，只是简单的对输入词向量到隐藏层的拷贝。对隐藏层到输出层做类似的操作，可以计算出：

H^t WO＝

[0.100934 -0.309331 -0.122361 -0.151399 0.143463 -0.051262 -0.0796860.112928]

我们的目标是在输出层输出词概率，即计算：

Pr(word_k|word_context)for k＝1

用于表示关于上下文条件下词之间的关系，例如这里cat是一个上下文，climbed是目标词，表示二者之间的输出词的概率。

进一步的，我们需要把输出神经元的值进行相加。这里用activation(n)表示第n个神经元的激活函数，则表示第k个神经元的输出计算如下：

计算后，得到8个单词各自对应的输出层概率向量Y是：

Y＝[0.143073 0.094925 0.114441 0.111166 0.149289 0.122874 0.1194310.144800]

其中第4个表示目标词“climbed”的输出词概率，而给定目标向量Z＝[0 0 0 1 00 0 0]^t，则可以通过概率向量Y减去目标向量Z获得错误向量。当错误已知的情况下，WO和WI的权值可以通过反向传播的形式进行更新。根据这种算法，可以进一步处理其它的“上下文-目标”词对，直至所有的单词处理完毕。

优选的，在图1步骤S102中，在所述对情报文本中的词条进行学习和分类包括利用Word2Vec算法对所述情报文本中的词条进行学习和分类。

进一步的，所述Word2vec算法包括两种方法进行训练，第一种方法是利用CBOW算法，从当前滑动窗口的上下文中预测当前词条，且所述上下文的顺序不影响预测精度；第二种方法是利用ContinuousSkip-gram算法，对相似的上下文进行标记，相似度近的上下文获得的权重大，相似度远的上下文获得的权重小。

优选的，利用所述安全威胁词条向量模型对情报文本中出现的新型威胁信息进行分类时，当所述新型威胁信息与相似类别的单词在向量空间中距离较短时，则将所述新型威胁信息与对应的所述单词归为一类。

进一步的，如图4所述，对于图1中的步骤S103中所述监控Web异常行为包括：

步骤S301：第一步，在Web端采用Javascript插桩形式，获取用户的事件；

步骤S302：第二步，截获表单的submit事件：如果是GET方法，则保留最后10项用户操作，作为参数并通过http request发送到服务器端；如果是POST方法，则将所有操作打包成压缩流，以参数形式通过http request发送到服务器端；

步骤S303：第三步，把用户动作和用户请求编制为序列，采用n-gram算法进行概率判断，如果概率低于阈值则进行威胁警告。

结合图2也可以看出，通过Web监控可以发现正常请求和异常请求，常规用户在发起对Web网站的请求前，会有大量隐式操作，如鼠标移动、键盘输入等，其用户行为可以通过机器学习的方式进行建模。但是如果是新型威胁产生的访问，如蠕虫病毒或新型攻击方式，则会发生低概率的异常的访问事件。新型威胁在初期并不会在网络上广泛流传，甚至未公开，如果通过这种方式对系统进行攻击，是无法依赖于常规模式进行查杀，因此通过这种Web监控可以发现异常行为而进行提前预警。

综上可知，本发明公开了一种网络威胁发现方法，包括的步骤有漏洞信息监控、情报信息分析和异常信息捕获。其中，通过漏洞信息监控实现对公开的网络漏洞发布信息进行常态化监控，通过情报信息分析对潜在的隐含在情报文本的新型威胁信息进行分类和预警，通过异常信息捕获则实现对Web异常行为进行网络威胁的捕获和预警。本发明提供的网络威胁发现方法有效实现了从多种渠道进行网络威胁预警，特别是通过情报信息分析能够建立安全威胁词条向量模型，具有对安全威胁信息的机器学习和更新能力，大大提高网络威胁的态势感知能力和预警防控能力。

以上该仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (8)

1.一种网络威胁发现方法，其特征在于，包括以下步骤：

漏洞信息监控，常态监控网络漏洞发布信息，建立分类查找表，对安全漏洞信息和病毒信息的关键词进行匹配验证，形成对应的预警信息；

情报信息分析，构建用于计算词向量的神经网络，对情报文本中的词条进行学习和分类，形成安全威胁词条向量模型，利用所述安全威胁词条向量模型对情报文本中出现的新型威胁信息进行分类和预警；

异常信息捕获，对于不能直接从所述情报文本中获取的未知威胁信息，则通过监控Web异常行为进行网络威胁的捕获和预警。

2.根据权利要求1所述的网络威胁发现方法，其特征在于，所述常态监控网络漏洞发布信息包括常态监控主流漏洞发布平台发布的所述安全漏洞信息，以及常态监控安全专家、黑客以及安全组织在社交网络发布的所述安全漏洞信息和所述病毒信息，并通过网络爬虫工具定时获取所述漏洞信息和所述病毒信息。

3.根据权利要求2所述的网络威胁发现方法，其特征在于，所述建立分类查找表包括对所述漏洞信息和所述病毒信息相对应的热词及社交网络引用数进行综合计算，获得词频信息和词龄信息。

4.根据权利要求1所述的网络威胁发现方法，其特征在于，所述构建用于计算词向量的神经网络包括：

第一步，利用所述情报文本中的单词构建所述神经网络的输入词向量；

第二步，确定所述隐蔽层的神经元的个数，以及随机确定所述隐蔽层的输入权重矩阵的初始值和输出权重矩阵的初始值；

第三步，利用所述输入词向量和所述隐蔽层，计算所述神经网络的输出层的输出词概率，根据所述输入词向量中对应单词之间的已知概率，比较与所述输出词概率之间的差别，再反向修正所述输入权重矩阵的矩阵值和所述输出权重矩阵的矩阵值；

第四步，重复第三步，直至经过多次修正后，所述输入权重矩阵的矩阵值和所述输出权重矩阵的矩阵值，能够满足对所述输入词向量计算所述神经网络的输出层的输出词概率，与所述输入词向量中其它对应单词之间的已知概率均接近时，则所述用于计算词向量的神经网络构建完毕。

5.根据权利要求4所述的网络威胁发现方法，其特征在于，所述对情报文本中的词条进行学习和分类包括利用Word2Vec算法对所述情报文本中的词条进行学习和分类。

6.根据权利要求5所述的网络威胁发现方法，其特征在于，所述Word2vec算法包括两种方法进行训练，第一种方法是利用CBOW算法，从当前滑动窗口的上下文中预测当前词条，且所述上下文的顺序不影响预测精度；第二种方法是利用Continuous Skip-gram算法，对相似的上下文进行标记，相似度近的上下文获得的权重大，相似度远的上下文获得的权重小。

7.根据权利要求5所述的网络威胁发现方法，其特征在于，利用所述安全威胁词条向量模型对情报文本中出现的新型威胁信息进行分类时，当所述新型威胁信息与相似类别的单词在向量空间中距离较短时，则将所述新型威胁信息与对应的所述单词归为一类。

8.根据权利要求1所述的网络威胁发现方法，其特征在于，所述监控Web异常行为包括：

第一步，在Web端采用Javascript插桩形式，获取用户的事件；

第二步，截获表单的submit事件：如果是GET方法，则保留最后10项用户操作，作为参数并通过http request发送到服务器端；如果是POST方法，则将所有操作打包成压缩流，以参数形式通过http request发送到服务器端；

第三步，把用户动作和用户请求编制为序列，采用n-gram算法进行概率判断，如果概率低于阈值则进行威胁警告。