CN114329500A - 基于人工智能的服务器集群安全漏洞检测方法 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及基于人工智能的服务器集群安全漏洞检测方法，包括：获取每个已知漏洞类型下的所有日志数据，并为每个已知漏洞类型随机分配一个标签向量，根据标签向量以及日志数据训练神经网络；通过神经网络获得固定时间段内的日志数据的特征向量，并将所有特征向量进行聚类获得所有待评估类别，计算出每个待评估类别的融合特征向量，根据每个待评估类别的融合特征向量和每个待评估类别对应的标签向量获得每个待评估类别对应的已知漏洞类型，进而获得所有的安全漏洞。本发明使得安全漏洞能够被及时准确的发现，避免了反应安全漏洞的日志数据的特征信息被没有安全漏洞的日志数据的特征信息淹没或干扰这一情况。

Description

基于人工智能的服务器集群安全漏洞检测方法

技术领域

本发明涉及人工智能技术领域，具体涉及基于人工智能的服务器集群安全漏洞检测方法。

背景技术

服务器集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。集群中的运行的计算机节点越多，其中涉及的网络通信、访问权限、文件数据管理、资源调度等服务都变得更加复杂，也更加容易出现安全漏洞；安全漏洞的往往是通过日志数据的异常与否来检测的，每个时间段内服务器集群输出的日志数据很多，这些日志数据中既包括大量的正常操作日志，也包含异常操作的日志，但是异常日志混杂在正常日志中，使得异常日志所表征的信息被正常日志淹没，难以提取异常日志的特征，使得安全漏洞检测方法不及时或不准确；而且随着网络攻击的多样化，一些安全漏洞能以被发现，最终造成集群节点推出运行，降低集群的数据处理能力或者损失服务器集群的数据等后果。

发明内容

为了解决上述技术问题，本发明的目的在于提供基于人工智能的服务器集群安全漏洞检测方法，所采用的技术方案具体如下：

本发明提供了基于人工智能的服务器集群安全漏洞检测方法，所述方法包括以下步骤：

将无安全漏洞和所有的安全漏洞类型合并在一起统一称为已知漏洞类型，获取每个已知漏洞类型下的所有日志数据，然后为每个已知漏洞类型随机分配一个标签向量，将所有日志数据分别输入到待训练的神经网络中，神经网络输出每条日志数据对应的特征向量，根据标签向量并通过设计的损失函数训练所述待训练的神经网络；

将固定时间段内获取到的日志数据分别输入训练好的神经网络中，分别获得网络输出的所有特征向量，根据标签向量将所述的所有特征向量进行聚类并获得所有待评估类别，并使每个待评估类别对应一个标签向量，将每个待评估类别中的特征向量进行融合后获得每个待评估类别的融合特征向量，根据每个待评估类别的融合特征向量和每个待评估类别对应的标签向量获得每个待评估类别对应的已知漏洞类型，所有待评估类别对应的已知漏洞类型作为固定时间段内的出现的已知漏洞类型。

进一步地，所述的每个待评估类别的融合特征向量的获取步骤包括：

计算每个待评估类别中任意一个特征向量与其他所有待评估类别中所有特征向量的所有余弦相似度，将所述所有余弦相似度中的最大值的倒数称为所述任意一个特征向量的识别有效性，以每个待评估类别中每个特征向量的识别有效性为权重，对每个待评估类别中所有特征向量进行加权求和，获得的结果称为每个待评估类别的融合特征向量。

进一步地，所述的每个待评估类别对应的已知漏洞类型的获取步骤包括：

计算每个待评估类别的融合特征向量和每个待评估类别对应的标签向量的第一余弦相似度；

获取每个待评估类别对应的标签向量与参考向量构成的平面，所述的参考向量是指已知漏洞类型中的无安全漏洞对应的标签向量，然后将每个待评估类别的融合特征向量正交投影在所述平面上，并获得在所述平面上的投影向量，计算所述投影向量与每个待评估类别对应的标签向量的第二余弦相似度，以及计算所述投影向量与参考向量的第三余弦相似度；

将第二余弦相似度、第三余弦相似度归一化处理，获得第二余弦相似度的归一化结果，所述归一化结果与第一余弦相似度的均值称为每个待评估类别的漏洞置信度，当漏洞置信度大于预设阈值时表示每个待评估类别对应一个已知漏洞类型，每个待评估类别对应的已知漏洞类型为每个待评估类别对应的标签向量所对应的已知漏洞类型。

进一步地，所述的所有待评估类别的获取步骤包括：

首先获取任意一个特征向量与所有标签向量的所有余弦相似度，获得所述所有余弦相似度中余弦相似度取最大值时对应的标签向量，称为任意一个特征向量的聚类中心，然后同理获取所有特征向量的聚类中心，最后将具有相同聚类中心的所有特征向量聚类为同一个类别，进而获得所有类别，每个类别称为待评估类别，并且对应一个聚类中心，所述的聚类中心就是标签向量。

进一步地，所述的损失函数的获取步骤包括：

获取日志数据输入待训练的神经网络之后输出的特征向量，首先计算所述日志数据对应的已知漏洞类型对应的标签向量与所述特征向量的第四余弦相似度，然后将所述特征向量与其他所有标签向量的余弦相似度进行求和，将所述的求和结果与所述第四余弦相似度的差作为待训练网络的损失函数。

进一步地，所述的标签向量的获取步骤包括：

在预设维度的欧式空间中构建一个半径为1的一个超球体，获取欧式空间中第一象限内的所述超球体的球面，所述第一象限是指欧式空间中所有的并且每个维度的都大于等于0的点所存在的空间，在所述球面上随机获取一定数量的均匀分布的点，所述的点的数量等于已知漏洞类型的个数，每个点对应一个已知漏洞类型，所述的每个点就是一个标签向量。

进一步地，所述待训练神经网络的网络结构采用的是循环神经网络的网络结构，其训练过程是：首先随机选择一个已知漏洞类型，随机获取已知漏洞类型下的一个日志数据，将日志数据输入待训练神经网络中，根据损失函数，并利用随机梯度下降法更新待训练神经网络的参数，直至损失函数收敛，收敛之后的待训练神经网络就是训练好的神经网络。

进一步地，所述的所有的安全漏洞类型包括但不限于：文件读写安全漏洞、权限访问安全漏洞、存储资源调度安全漏洞。

本发明具有如下有益效果：通过神经网络提取一段时间内的日志数据的特征向量，对特征向量进行聚类以及融合后获得一段时间内的所有的安全漏洞，使得安全漏洞能够被及时准确的发现，避免了反应安全漏洞的日志数据的特征信息被没有安全漏洞的日志数据的特征信息淹没或干扰这一情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的基于人工智能的服务器集群安全漏洞检测方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于人工智能的服务器集群安全漏洞检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于人工智能的服务器集群安全漏洞检测方法的具体方案。

请参阅图1，其示出了本发明基于人工智能的服务器集群安全漏洞检测方法，其特征在于，该方法包括以下步骤：

获取所有已知漏洞类型下的日志数据，并且为每个已知漏洞类型分配标签向量。

在服务器集群中的日志系统用于记录计算机的每时每刻的执行操作步骤或者计算机的状态等数据，日志系统中的日志数据能够反应服务器集群是否存在安全漏洞。

本发明将安全漏洞分为多个类型，包括文件读写安全漏洞、权限访问安全漏洞、存储资源调度安全漏洞等等，将无安全漏洞和所有的安全漏洞类型合并在一起统一称为已知漏洞类型，以本发明中一共有N个已知漏洞类型为例进行叙述。

人为的统计获取每个已知漏洞类型下的所有日志数据，或者人为的让服务器集群模拟产生每个已知漏洞类型，并记录每个已知漏洞下的所有日志数据，最终每个已知漏洞类型对应一个日志数据集合。

在K维的欧式空间中，构建一个半径维1的超球体，对于欧式空间中的任意一个点，该点满足每个维度都大于等于0这一条件，那么所有满足该条件的点所在的空间范围就是欧式空间的第一象限；获取第一象限中超球体的球面，在球面上随机选择N个点，这N个点均匀分布，然后让这N个点和N个已知漏洞类型一一对应，那么就将每个已知漏洞类型对应的每个点称为每个已知漏洞类型的标签向量；本发明以K=5为例进行叙述。需要说明的是已知漏洞类型中包含了无安全漏洞这一情况，将无安全漏洞对应的标签向量称为参考向量。

上述获取标签向量的方法避免了所有的标签向量分布的太过离散的，保证标签向量均匀分布，是的利用标签向量训练神经网络时更准确、网络更容易收敛。

根据所有已知漏洞类型下的日志数据以及每个已知漏洞类型下的标签向量训练神经网络。

由于日志数据是文本数据，那么本发明构建的神经网络的网络结构采用的是循环神经网络的网络结构，常用的循环神经网络结果有LSTM、GRU等；该神经网络随机需要被训练，具体的训练方法和训练过程为：

为循环神经网络随机初始化参数后，随机从所有已知漏洞类型中选择一个已知漏洞类型,假设该已知漏洞类型为所有已知漏洞类型中的第n个，其对应的标签向量为

，并且从该已知漏洞类型对应的日志数据中随机选择一个日志数据，将该日志数据输入到该循环神经网络中，循环神经网络输出一个K维的特征向量，记为

,表示输入的日志数据所包含的特征。

然后构建一个损失函数

其中

表示第i个已知漏洞类型对应的标签向量，i的值不等于n。

表示特征向量

与标签向量

的余弦相似度，

表示特征向量

与标签向量

的余弦相似度；

本发明期望的是网络所输出的第n个已知漏洞类型中的日志数据所包含的特征

与第n个已知漏洞类型对应的标签向量

尽可能相似，而

与其他所有已知漏洞类型对应的标签向量尽可能不相似，因此期望

尽可能的小而

尽可能大，所以构建出了如上述的损失函数，该损失函数能够使得训练出的循环神经网络提取出不同已知漏洞类型下每条日志的准确特征，便于后续的安全漏洞的检测。

根据构建的损失函数利用随机梯度下降算法更新循环神经网络的参数，通过不断的随机选取已知漏洞类型的日志数据，不断的计算损失函数并不断更新循环神经网络的参数，直至损失函数收敛时说明循环神经网络训练完毕。

上述训练神经网络时没有考虑多条日志数据的时序特征，是的训练的神经网络具有更多的泛化能力。

根据训练完毕的循环神经网络获得固定时间段内的安全漏洞。

在识别安全漏洞时往往需要参考一段时间内的多条日志数据，那么本发明获取距离当前时刻最近的T个时刻内的所有日志数据，本发明以1秒为一个时刻，T=600为例进行叙述，这些日志数据中包含能够反应安全漏洞的异常日志数据，也包含没有安全漏洞时的正常日志数据，首先将这些日志数据分别输入到循环神经网络中，进而获得这些日志数据的所有特征向量。

然后对上述获得的所有特征向量进行分类，具体分类方法为：首先获取任意一个特征向量

与第i个标签向量的余弦相似度，记为

，当i取所有值时，获得一个集合

；然后获取集合中的最大值，假设最大值为

，那么就将第j个标签向量称为特征向量

的聚类中心；同理对于所有的特征向量，获取每个特征向量的聚类中心，最后将具有相同聚类中心的所有特征向量聚类为同一个类别，进而获得所有类别，每个类别称为待评估类别，并且对应一个聚类中心，又因为聚类中心实质上就是标签向量，因此每个待评估类别就对应一个标签向量。

同一个待评估类别中的所有特征向量与该待评估类别对应的标签向量的相似度和所有特征向量与其他待评估类别对应的标签向量的相似度对比来说前者是最大的，因此认为同一个待评估类别中的所有特征向量对应的日志数据能够体现出服务器集群存在某种已知漏洞类型，例如当某个待评估类别对应的标签向量的已知漏洞类型为权限访问安全漏洞，那么说明可以认为：本发明能够根据该待评估类别中的所有特征向量对应的日志数据获知服务器集群在最近一个时间段内存在权限访问安全漏洞；再例如当某个待评估类别对应的标签向量的已知漏洞类型为无安全漏洞，那么说明可以认为：本发明能够根据该待评估类别中的所有特征向量对应的日志数据获知服务器集群在最近一个时间段内不存在任何安全漏洞。

但是在实际情况下往往需要通过多条日志数据才能判断出是否出现安全漏洞，而每个安全漏洞对应的日志数据中，单独只看其中一条或两条日志数据是不能准确确定安全漏洞的；甚至每个安全漏洞对应的日志数据中也包含着一些日志数据，这些日志数据经常出现于没有安全漏洞情况下的日志数据中，再考虑到一段时间内产生的日志数据多种多样，能够反应安全漏洞的日志数据的特征信息被没有安全漏洞的日志数据的特征信息淹没或干扰，使得上述根据日志数据的特征向量的聚类结果获得安全漏洞类型的方法可能不准确，本发明利用如下方法进一步的获得准确的安全漏洞：

假设其中一个待评估类别中包含Q个特征向量，计算其中的第q个特征向量

与其他所有待评估类别中所有特征向量的所有余弦相似度，将所有余弦相似度中的最大值的倒数

称为第q个特征向量的识别有效性；

越大说明第q个特征向量和其他待评估类别中的特征向量越不相似，说明第q个特征向量对于该待评估类别来说越特殊、越能体现该待评估类别与众不同的特征，那么第q个特征向量对于识别安全漏洞越有效；而；

越小说明第q个特征向量和其他待评估类别中的特征向量越存在相似性，说明第q个特征那么第q个特征向量对于识别安全漏洞越无效、越容易引入噪声和误差干扰或者说越容易引入不确定性。

令

,V表示的是该待评估类别的融合特征向量，是对该待评估类别中的特征向量的加权融合获得的结果，该待评估类别的融合特征向量能够准确可信的表征待评估类别的特征向量对应的日志数据所包含的安全漏洞信息。

进一步，获取

与该待评估类别对应的标签向量的余弦相似度，记为x1；然后获取该待评估类别对应的标签向量与参考向量构成的平面，所述的参考向量是指已知漏洞类型中的无安全漏洞对应的标签向量，接着将该待评估类别的融合特征向量正交投影在这个平面上，并获得在所述平面上的投影向量，计算该投影向量与该待评估类别对应的标签向量的余弦相似度，记为x2，再计算该投影向量与参考向量的余弦相似度，记为x3；那么令

，表示该待评估类别的漏洞置信度，该值越大说明该待评估类别的融合特征向量越与该待评估类别对应的标签向量相似，并且越与参考向量不相似，进一步说明该待评估类别中的特征向量对应的日志数据越可能包含某个已知漏洞类型，这个已知漏洞类型就是该待评估类别对应的标签向量所对应的已知漏洞类型。需要说明的是该待评估类别对应的标签向量与参考向量相同时，上述的平面是不存在的，此时令

。

那么令该待评估类别的漏洞置信度大于预设阈值时，本发明以该阈值为0.5为例进行叙述，认为该待评估类别中的特征向量对应的日志数据包含某个已知漏洞类型，这个已知漏洞类型就是该待评估类别对应的标签向量所对应的已知漏洞类型，例如当该待评估类别对应的标签向量的已知漏洞类型为权限访问安全漏洞，那么说明服务器集群在最近一个时间段内存在权限访问安全漏洞；再例如当该待评估类别对应的标签向量的已知漏洞类型为无安全漏洞，那么说明服务器集群在最近一个时间段内不存在任何安全漏洞；当该待评估类别的漏洞置信度小于等于预设阈值时，认为尚未发现该已知漏洞类型。

上述获取安全漏洞类型的方法能够避免反应安全漏洞的日志数据的特征信息被没有安全漏洞的日志数据的特征信息淹没或干扰这一情况，使得安全漏洞能够及时准确的被发现。

同理，对于所有的待评估类别，均可参照上述方法获取安全漏洞，最终获得到的所有安全漏洞就是最近T个时刻内服务器集群所存在的所有可能的安全漏洞。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于人工智能的服务器集群安全漏洞检测方法，其特征在于，该方法包括以下步骤：

将无安全漏洞和所有的安全漏洞类型合并在一起统一称为已知漏洞类型，获取每个已知漏洞类型下的所有日志数据，然后为每个已知漏洞类型随机分配一个标签向量，将所有日志数据分别输入到待训练的神经网络中，神经网络输出每条日志数据对应的特征向量，根据标签向量并通过设计的损失函数训练所述待训练的神经网络；

将固定时间段内获取到的日志数据分别输入训练好的神经网络中，分别获得网络输出的所有特征向量，根据标签向量将所述的所有特征向量进行聚类并获得所有待评估类别，并使每个待评估类别对应一个标签向量，将每个待评估类别中的特征向量进行融合后获得每个待评估类别的融合特征向量，根据每个待评估类别的融合特征向量和每个待评估类别对应的标签向量获得每个待评估类别对应的已知漏洞类型，所有待评估类别对应的已知漏洞类型作为固定时间段内的出现的已知漏洞类型。

2.根据权利要求1所述的基于人工智能的服务器集群安全漏洞检测方法，其特征在于，所述的每个待评估类别的融合特征向量的获取步骤包括：

计算每个待评估类别中任意一个特征向量与其他所有待评估类别中所有特征向量的所有余弦相似度，将所述所有余弦相似度中的最大值的倒数称为所述任意一个特征向量的识别有效性，以每个待评估类别中每个特征向量的识别有效性为权重，对每个待评估类别中所有特征向量进行加权求和，获得的结果称为每个待评估类别的融合特征向量。

3.根据权利要求1所述的基于人工智能的服务器集群安全漏洞检测方法，其特征在于，所述的每个待评估类别对应的已知漏洞类型的获取步骤包括：

计算每个待评估类别的融合特征向量和每个待评估类别对应的标签向量的第一余弦相似度；

获取每个待评估类别对应的标签向量与参考向量构成的平面，所述的参考向量是指已知漏洞类型中的无安全漏洞对应的标签向量，然后将每个待评估类别的融合特征向量正交投影在所述平面上，并获得在所述平面上的投影向量，计算所述投影向量与每个待评估类别对应的标签向量的第二余弦相似度，以及计算所述投影向量与参考向量的第三余弦相似度；

将第二余弦相似度、第三余弦相似度归一化处理，获得第二余弦相似度的归一化结果，所述归一化结果与第一余弦相似度的均值称为每个待评估类别的漏洞置信度，当漏洞置信度大于预设阈值时表示每个待评估类别对应一个已知漏洞类型，每个待评估类别对应的已知漏洞类型为每个待评估类别对应的标签向量所对应的已知漏洞类型。

4.根据权利要求1所述的基于人工智能的服务器集群安全漏洞检测方法，其特征在于，所述的所有待评估类别的获取步骤包括：

首先获取任意一个特征向量与所有标签向量的所有余弦相似度，获得所述所有余弦相似度中余弦相似度取最大值时对应的标签向量，称为任意一个特征向量的聚类中心，然后同理获取所有特征向量的聚类中心，最后将具有相同聚类中心的所有特征向量聚类为同一个类别，进而获得所有类别，每个类别称为待评估类别，并且对应一个聚类中心，所述的聚类中心就是标签向量。

5.根据权利要求1所述的基于人工智能的服务器集群安全漏洞检测方法，其特征在于，所述的损失函数的获取步骤包括：

获取日志数据输入待训练的神经网络之后输出的特征向量，首先计算所述日志数据对应的已知漏洞类型对应的标签向量与所述特征向量的第四余弦相似度，然后将所述特征向量与其他所有标签向量的余弦相似度进行求和，将所述的求和结果与所述第四余弦相似度的差作为待训练网络的损失函数。

6.根据权利要求1所述的基于人工智能的服务器集群安全漏洞检测方法，其特征在于，所述的标签向量的获取步骤包括：

在预设维度的欧式空间中构建一个半径为1的一个超球体，获取欧式空间中第一象限内的所述超球体的球面，所述第一象限是指欧式空间中所有的并且每个维度的都大于等于0的点所存在的空间，在所述球面上随机获取一定数量的均匀分布的点，所述的点的数量等于已知漏洞类型的个数，每个点对应一个已知漏洞类型，所述的每个点就是一个标签向量。

7.根据权利要求1所述的基于人工智能的服务器集群安全漏洞检测方法，其特征在于，所述待训练神经网络的网络结构采用的是循环神经网络的网络结构，其训练过程是：首先随机选择一个已知漏洞类型，随机获取已知漏洞类型下的一个日志数据，将日志数据输入待训练神经网络中，根据损失函数，并利用随机梯度下降法更新待训练神经网络的参数，直至损失函数收敛，收敛之后的待训练神经网络就是训练好的神经网络。

8.根据权利要求1所述的基于人工智能的服务器集群安全漏洞检测方法，其特征在于，所述的所有的安全漏洞类型包括但不限于：文件读写安全漏洞、权限访问安全漏洞、存储资源调度安全漏洞。

Images