CN112685459A - 一种基于K-means集群算法的攻击源特征识别方法 - Google Patents

Abstract

本发明提供一种基于K‑means集群算法的攻击源特征识别方法，包括大数据采集、大数据存储和大数据分析，其中，所述大数据分析包括基于特征的、基于行为的、基于机器学习和统计学的三个分析单元。所述基于机器学习和统计学单元还实现对异常的数据集进行攻击源特征识别，具体包括第一步：连接数据库，从数据库中选择需要进行特征识别的数据；第二步：对数据进行标准化的判断，判断数据是否满足特征识别处理的要求；第三步：对数据进行特征识别处理和分析处理之后输出异常的数据集合，形成攻击源特征识别分析报告。本发明方法适应性强，能够对电力通信网络的海量网络数据进行监控，快速识别出网络攻击事件，解决现有网络安全问题。

Description

一种基于K-means集群算法的攻击源特征识别方法

技术领域

本发明涉及网络安全，具体涉及一种基于K-means集群算法的攻击源特征识别方法。

背景技术

当今时代，人类社会正在经历主要由网络引发的信息化历史进程，与世界上大多数国家一样，中国正在接受信息化发展阶段的洗礼。目前，随着信息科技革命的急遽发展，世界上大多数国家和地区都在孜孜以求，为抢占下一阶段经济社会发展制高点展开激烈竞争，其中网络安全和信息化建设成为重要内容。因此，加强网络安全研究和信息化建设工作是顺应时代发展潮流的自然之举，将为实现中国未来经济社会发展目标提供重要支撑。

众所周知，随着业务和IT基础设施的规模不断扩大，以及新的技术的发展，国内电网电力通信网络的规模越来越大，传统的基于关系型数据库技术的安全事件和信息管理系统及类似的日志审计系统或安全管理系统都无法满足高速海量事件的处理要求。主要体现在超过一定事件数量规模后，传统的事件管理技术无法完成对所有信息事件的实时采集和存储，受限于单台系统的计算能力，海量的实时数据无法得到有效的关联分析，会产生漏报和误报，导致无法有效发现安全攻击。历史数据无法得到有效的分析，采用关系型数据库技术在对海量数据进行历史查询和检索时耗时很长，生成报表往往需要耗费数小时，这些已无法满足安全分析人员日常的安全工作的要求。

发明内容

为了解决上述现有技术中存在的问题，本发明的目的是提供一种基于K-means集群算法的攻击源特征识别方法，能够对电力通信网络的海量网络数据进行监控，快速识别出网络攻击事件，解决现有网络安全问题。

为了达到上述发明目的，本发明的技术方案以如下方式实现：

一种基于K-means集群算法的攻击源特征识别方法，包括如下步骤：

A.大数据的采集：通过分布式部署的安全事件采集器高速采集安全事件，采集器对采集到的原始安全数据和事件进行预处理，包括泛化、过滤和归并，并将其发送至大数据态势感知预警平台；

B.大数据的存储：大数据态势感知预警平台使用关系数据库和分布式文件系统保存收到的结构化的事件和原始事件，通过分布式存储节点，将其保存至分布于平台中各节点中的文件系统中，并通过专用的数据库适配工具实现结构化数据和非结构化数据的转换；其中，所述分布式文件系统采用冗余式保存技术，实现了安全数据的安全存储，每个节点上的数据都在其他节点上有备份，一旦节点损坏并不会对数据造成影响，系统会重新分配数据；

C.大数据的分析：大数据态势感知预警平台还设置有安全事件分析模块对大数据进行安全分析，并输出分析报告，所述安全事件分析模块包括基于特征的、基于行为的、基于机器学习和统计学的三个分析单元；

其中，所述基于特征的分析单元采用了基于CEP的流式计算框架自动地对采集来的网络数据进行实时和历史分析，具体包括将所有的关联规则都预编译为CQL(ContinuousQuery Language，持续查询语言)，送入CEP引擎，对实时事件流进行模式匹配；其中，所述模式匹配模型采用不确定有限状态机(Nondeterministic Finite Automata，NFA)结合RETE算法，通过基于特征的规则关联分析引擎，识别已知模式的攻击和违规的其他操作数据；

其中，所述基于行为的分析单元采用基于异常检测的主动分析模式，它并不是基于静态的关联规则，而是建立被观测对象正常基准行为，通过对实时活动与基准行为的对比来揭示可疑的攻击活动，事件行为分析可以智能发现隐藏的攻击行为，加速确定没有签名的威胁，减少管理人员必须调查的事故数量；具体包括动态基线分析过程和预测分析过程；

所述动态基线分析过程，采用周期性基线分析的方法，根据历史数据计算得出，通常是一个单周期数据库轮廓线，这条曲线由若干数据轮廓点组成，每个轮廓点代表一个采样时点，一个新的实际测量值如果没有超过基线范围，则通过加权平均算法更新旧的轮廓值，如果新的实际测量值超过基线范围则丢弃，不参与新轮廓值计算；如此往复循环，基线始终处于动态变化中；

所述预测分析过程，采用基于时间窗置信区间的检测模型，在实际运行中不断自我调整和逼近，自动剔除历史时间窗内的异常历史数据，实现历史时间窗数据与网络实际正常流量行为特征的高度吻合，从而提高了对异常行为报警的准确性；

其中，所述基于机器学习和统计学单元，具体采用Map/Reduce的方法将复杂的统计和计算分配给各个节点处理，各个节点计算完成将结果汇总至主节点，完成复杂的计算过程，其中的统计分析包括在特定的时间周期内从多个维度对事件进行统计，获得包括均值、标准差的统计数据，计算一段时间的行为基线，通过置信区间的设置，发现超出正常行为基线的异常安全事件；

其中的机器学习算法包括决策树、数理统计、假设检验，通过对一定时间周期内的安全事件的多维度进行学习，建立正常的基线，通过分析安全事件的特征值与基线的偏差，超出置信区间的事件会作为异常事件，并可对安全趋势进行预测。机器学习算法可依据采集到的完整的安全数据始终不断地进行学习，以保持最新的基线模型，极大提高发现异常行为和未知威胁的准确性。

所述基于机器学习和统计学单元还实现对异常的数据集进行攻击源特征识别，所述攻击源特征识别过程如下：

第一步：连接数据库，从数据库中选择需要进行特征识别的数据；

第二步：对数据进行标准化的判断，判断数据是否满足特征识别处理的要求，如果数据满足要求则进行下一步的处理，如果数据不满足要求则必须将数据进行标准化处理之后才能进行下一步的特征识别处理；

第三步：对数据进行特征识别处理和分析处理之后输出异常的数据集合，形成攻击源特征识别分析报告；

其中，第三步中对数据进行特征识别处理具体包括如下内容：

(3.1)从第一步获取并分析数据集C，计算数据集中每一个数据对象的距离和S_i、距离均和W；

(3.2)在整个数据集内部的数据对象i，如果Si>W，那么这个数据集内的点就会认为是孤立点，不作为计算对象；

(3.3)将数据集C中的孤立点分离出来，然后删除孤立点，这样得到消除孤立点之后的样本集合C’，得到C’之后再计算C’中样本的总数n；

(3.4)计算k的值，k初始值为k＝n^0.5；

(3.5)将样本集合C’输入到k-means算法，通过运算得到k个聚类；

(3.6)通过k-means算法分别计算算法中各个参数的值；

(3.7)如果两个聚类中的任意两个子集满足聚类条件，则将这两个子集合并成一个聚类，同时将k的值减1，并输出k的值；

(3.8)通过计算C’中任意两点的距离D，并找出C’距离最近的两个样本数据，找出这两个样本数据将这两个样本数据放入集合Cm，之后从C’中删除这两个样本数据；

(3.9)重复步骤(3.1)-(3.8)，直到集合Cm内的样本数据数目m≥an/k(0≤a≤1),较佳的取值为a≈0.75；

(3.10)这样最终就形成了k个集合，这时计算C’中的样本数据算数平均值，形成k个聚类中心；

(3.11)重复以上步骤，每次计算后更新数据对象的平均值，直到平均值不再发生变化，结束特征识别过程，形成最后k个聚类中心的特征识别报告。

所述大数据的采集支持单个事件采集器和多个事件采集器，其中单个事件采集器利用系统的硬件多核特性，采用并行事件流水线采集方式和异步非阻塞的事件采集方式两种方式并行对数据进行采集。两种采集方式的并行大大提升了事件的采集和预处理的性能。其中异步非阻塞的事件采集方式，借助高速缓存快速地进行事件并行流水线处理。所述分布式海量日志采集方式则能够进一步提升事件采集的性能表现。

所述大数据的存储采用分布式存储事件的分布式查询方式，内置map-reduce算法，将所有针对事件的大规模查询操作分解为多个并行的较小规模查询，并将分布式查询结果集进行装配返回请求者，实现整个过程对查询请求者完全透明。

本发明的有益效果是：本发明通过采用k-means算法实现对团伙攻击的特征识别和检测，其中，聚类分析方法可以对没有经过任何标记的数据进行训练和学习，将具有相似特征的数据归类在一起，因此聚类分析方法具有自我学习的能力，可以在不具备完备的入侵检测知识背景条件下工作。且本方法适应性强，能够适应于不同数据组成的大数据分析，应用于聚类分析方式的训练数据中正常的数据量远远大于异常数据量，并且正常数据与异常数据之间存在较大的差异，那么使用本方法可以自动识别正常数据和异常数据，对于纯粹的正常数据或者异常数据，通过本方法同样可以提取单个网络攻击行为或者团伙攻击行为。

附图说明

图1是本发明方法的基于K-means集群算法的攻击源特征识别的流程图。

具体实施方式

本发明提供一种基于K-means集群算法的攻击源特征识别方法，包括如下步骤：

A.大数据的采集：通过分布式部署的安全事件采集器高速采集安全事件，采集器对采集到的原始安全数据和事件进行预处理，包括泛化、过滤和归并，并将其发送至大数据态势感知预警平台；

B.大数据的存储：大数据态势感知预警平台使用关系数据库和分布式文件系统保存收到的结构化的事件和原始事件，通过分布式存储节点，将其保存至分布于平台中各节点中的文件系统中，并通过专用的数据库适配工具实现结构化数据和非结构化数据的转换；其中，所述分布式文件系统采用冗余式保存技术，实现了安全数据的安全存储，每个节点上的数据都在其他节点上有备份，一旦节点损坏并不会对数据造成影响，系统会重新分配数据；

C.大数据的分析：大数据态势感知预警平台还设置有安全事件分析模块对大数据进行安全分析，并输出分析报告，所述安全事件分析模块包括基于特征的、基于行为的、基于机器学习和统计学的三个分析单元；

其中，所述基于特征的分析单元采用了基于CEP的流式计算框架自动地对采集来的网络数据进行实时和历史分析，具体包括将所有的关联规则都预编译为CQL(ContinuousQuery Language，持续查询语言)，送入CEP引擎，对实时事件流进行模式匹配；其中，所述模式匹配模型采用不确定有限状态机(Nondeterministic Finite Automata，NFA)结合RETE算法，通过基于特征的规则关联分析引擎，识别已知模式的攻击和违规的其他操作数据；

其中，所述基于行为的分析单元采用基于异常检测的主动分析模式，它并不是基于静态的关联规则，而是建立被观测对象正常基准行为，通过对实时活动与基准行为的对比来揭示可疑的攻击活动，事件行为分析可以智能发现隐藏的攻击行为，加速确定没有签名的威胁，减少管理人员必须调查的事故数量；具体包括动态基线分析过程和预测分析过程；

所述动态基线分析过程，采用周期性基线分析的方法，根据历史数据计算得出，通常是一个单周期数据库轮廓线，这条曲线由若干数据轮廓点组成，每个轮廓点代表一个采样时点，一个新的实际测量值如果没有超过基线范围，则通过加权平均算法更新旧的轮廓值，如果新的实际测量值超过基线范围则丢弃，不参与新轮廓值计算；如此往复循环，基线始终处于动态变化中；

所述预测分析过程，采用基于时间窗置信区间的检测模型，在实际运行中不断自我调整和逼近，自动剔除历史时间窗内的异常历史数据，实现历史时间窗数据与网络实际正常流量行为特征的高度吻合，从而提高了对异常行为报警的准确性；

其中，所述基于机器学习和统计学单元，具体采用Map/Reduce的方法将复杂的统计和计算分配给各个节点处理，各个节点计算完成将结果汇总至主节点，完成复杂的计算过程，其中的统计分析包括在特定的时间周期内从多个维度对事件进行统计，获得包括均值、标准差的统计数据，计算一段时间的行为基线，通过置信区间的设置，发现超出正常行为基线的异常安全事件。大数据分析平台使用了聚类/分类/推荐分析算法持续地从安全事件的多个维度(向量)朝设定的类别进行聚类运算，找到当前一段时间的事件热点，从而实现对海量事件的实时宏观分析；

其中的机器学习算法包括决策树、数理统计、假设检验，通过对一定时间周期内的安全事件的多维度进行学习，建立正常的基线，通过分析安全事件的特征值与基线的偏差，超出置信区间的事件会作为异常事件，并可对安全趋势进行预测。机器学习算法可依据采集到的完整的安全数据始终不断地进行学习，以保持最新的基线模型，极大提高发现异常行为和未知威胁的准确性。

所述基于机器学习和统计学单元还实现对异常的数据集进行攻击源特征识别，所述攻击源特征识别过程如下：

第一步：连接数据库，从数据库中选择需要进行特征识别的数据；

第二步：对数据进行标准化的判断，判断数据是否满足特征识别处理的要求，如果数据满足要求则进行下一步的处理，如果数据不满足要求则必须将数据进行标准化处理之后才能进行下一步的特征识别处理；

第三步：对数据进行特征识别处理和分析处理之后输出异常的数据集合，形成攻击源特征识别分析报告；

针对网络入侵检测的具体要求，在充分借鉴划分聚类思想和层次聚类思想基础上，本发明设计了基于K-means集群算法的攻击源特征识别，属于动态增量的聚类算法，满足入侵检测中聚类的基本要求。首先算法采用动态的确定聚类的数量，然后根据所确定的聚类数量进行聚类分析；其次算法不仅可以有效的发现球状簇，而且对其他形状的簇具有良好的适应性；第三，算法可以对聚类中产生的孤立点进行处理，并且适应大量数据的要求。动态增量聚类算法的思路如下：在聚类算法中引入一个控制聚类大小的阀值，该阀值能够控制聚类内对象的相似程度，聚类算法中簇的数量根据阀值r动态确定，当r的值越大时，簇内的对象相似程度越高，对应的簇的数量就越多。在初始簇形成之后，再综合考虑簇之间的差异情况，根据差异情况对簇进行合并。在此算法的基础上实现了聚类算法模型的构建。如图1所示，其中，第三步中对数据进行特征识别处理具体包括如下内容：

(3.1)从第一步获取并分析数据集C，计算数据集中每一个数据对象的距离和S_i、距离均和W；

(3.2)在整个数据集内部的数据对象i，如果Si>W，那么这个数据集内的点就会认为是孤立点，不作为计算对象；

(3.3)将数据集C中的孤立点分离出来，然后删除孤立点，这样可以得到消除孤立点之后的样本集合C’，得到C’之后再计算C’中样本的总数n；

(3.4)计算k的值，k初始值为k＝n^0.5；

(3.5)将样本集合C’输入到k-means算法，通过运算得到k个聚类；

(3.6)通过k-means算法分别计算算法中各个参数的值；

(3.7)如果两个聚类中的任意两个子集满足聚类条件，则将这两个子集合并成一个聚类，同时将k的值减1，并输出k的值；

(3.8)通过计算C’中任意两点的距离D，并找出C’距离最近的两个样本数据，找出这两个样本数据将这两个样本数据放入集合Cm，之后从C’中删除这两个样本数据；

(3.9)重复步骤(3.1)-(3.8)，直到集合Cm内的样本数据数目m≥an/k(0≤a≤1),较佳的取值为a≈0.75；

(3.10)这样最终就形成了k个集合，这时计算C’中的样本数据算数平均值，形成k个聚类中心；

(3.11)重复以上步骤，每次计算后更新数据对象的平均值，直到平均值不再发生变化，结束特征识别过程，形成最后k个聚类中心的特征识别报告。

所述大数据的采集支持单个事件采集器和多个事件采集器，其中单个事件采集器利用系统的硬件多核特性，采用并行事件流水线采集方式和异步非阻塞的事件采集方式两种方式并行对数据进行采集。两种采集方式的并行大大提升了事件的采集和预处理的性能。其中异步非阻塞的事件采集方式，借助高速缓存快速地进行事件并行流水线处理。所述分布式海量日志采集方式则能够进一步提升事件采集的性能表现。

所述大数据的存储采用分布式存储事件的分布式查询方式，内置map-reduce算法，将所有针对事件的大规模查询操作分解为多个并行的较小规模查询，并将分布式查询结果集进行装配返回请求者，实现整个过程对查询请求者完全透明。

本发明的方法的大数据态势感知预警平台还提供统计分析工具R语言的接口，安全分析人员可使用全世界应用最广泛的统计分析工具对安全数据进行分析，并提供直观的图形界面分析报表，以便及时发现异常安全事件。

上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (4)

1.一种基于K-means集群算法的攻击源特征识别方法，其特征在于包括如下步骤：

A.大数据的采集：通过分布式部署的安全事件采集器高速采集安全事件，采集器对采集到的原始安全数据和事件进行预处理，包括泛化、过滤和归并，并将其发送至大数据态势感知预警平台；

B.大数据的存储：大数据态势感知预警平台使用关系数据库和分布式文件系统保存收到的结构化的事件和原始事件，通过分布式存储节点，将其保存至分布于平台中各节点中的文件系统中，并通过专用的数据库适配工具实现结构化数据和非结构化数据的转换；其中，所述分布式文件系统采用冗余式保存技术，实现了安全数据的安全存储，每个节点上的数据都在其他节点上有备份，一旦节点损坏，系统会重新分配数据；

C.大数据的分析：大数据态势感知预警平台还设置有安全事件分析模块对大数据进行安全分析，并输出分析报告，所述安全事件分析模块包括基于特征的、基于行为的、基于机器学习和统计学的三个分析单元；

其中，所述基于特征的分析单元采用了基于CEP的流式计算框架自动地对采集来的网络数据进行实时和历史分析，具体包括将所有的关联规则都预编译为CQL(ContinuousQuery Language，持续查询语言)，送入CEP引擎，对实时事件流进行模式匹配；其中，所述模式匹配模型采用不确定有限状态机(Nondeterministic Finite Automata，NFA)结合RETE算法，通过基于特征的规则关联分析引擎，识别已知模式的攻击和违规的其他操作数据；

其中，所述基于行为的分析单元采用基于异常检测的主动分析模式，建立被观测对象正常基准行为，通过对实时活动与基准行为的对比来揭示可疑的攻击活动，具体包括动态基线分析过程和预测分析过程；

所述动态基线分析过程，采用周期性基线分析的方法，根据历史数据计算得出，通常是一个单周期数据库轮廓线，这条曲线由若干数据轮廓点组成，每个轮廓点代表一个采样时点，一个新的实际测量值如果没有超过基线范围，则通过加权平均算法更新旧的轮廓值，如果新的实际测量值超过基线范围则丢弃，不参与新轮廓值计算；如此往复循环，基线始终处于动态变化中；

所述预测分析过程，采用基于时间窗置信区间的检测模型，在实际运行中不断自我调整和逼近，自动剔除历史时间窗内的异常历史数据，实现历史时间窗数据与网络实际正常流量行为特征的高度吻合，从而提高了对异常行为报警的准确性；

其中，所述基于机器学习和统计学单元，具体采用Map/Reduce的方法将复杂的统计和计算分配给各个节点处理，各个节点计算完成将结果汇总至主节点，完成复杂的计算过程，其中的统计分析包括在特定的时间周期内从多个维度对事件进行统计，获得包括均值、标准差的统计数据，计算一段时间的行为基线，通过置信区间的设置，发现超出正常行为基线的异常安全事件；

其中的机器学习算法包括决策树、数理统计、假设检验，通过对一定时间周期内的安全事件的多维度进行学习，建立正常的基线，通过分析安全事件的特征值与基线的偏差，超出置信区间的事件会作为异常事件，并可对安全趋势进行预测；

所述基于机器学习和统计学单元还实现对异常的数据集进行攻击源特征识别，所述攻击源特征识别过程如下：

第一步：连接数据库，从数据库中选择需要进行特征识别的数据；

第二步：对数据进行标准化的判断，判断数据是否满足特征识别处理的要求，如果数据满足要求则进行下一步的处理，如果数据不满足要求则必须将数据进行标准化处理之后才能进行下一步的特征识别处理；

第三步：对数据进行特征识别处理和分析处理之后输出异常的数据集合，形成攻击源特征识别分析报告；

其中，第三步中对数据进行特征识别处理具体包括如下内容：

(3.1)从第一步获取并分析数据集C，计算数据集中每一个数据对象的距离和S_i、距离均和W；

(3.2)在整个数据集内部的数据对象i，如果Si>W，那么这个数据集内的点就会认为是孤立点，不作为计算对象；

(3.3)将数据集C中的孤立点分离出来，然后删除孤立点，这样得到消除孤立点之后的样本集合C’，得到C’之后再计算C’中样本的总数n；

(3.4)计算k的值，k初始值为k＝n^0.5；

(3.5)将样本集合C’输入到k-means算法，通过运算得到k个聚类；

(3.6)通过k-means算法分别计算算法中各个参数的值；

(3.7)如果两个聚类中的任意两个子集满足聚类条件，则将这两个子集合并成一个聚类，同时将k的值减1，并输出k的值；

(3.8)通过计算C’中任意两点的距离D，并找出C’距离最近的两个样本数据，找出这两个样本数据将这两个样本数据放入集合Cm，之后从C’中删除这两个样本数据；

(3.9)重复步骤(3.1)-(3.8)，直到集合Cm内的样本数据数目m≥an/k(0≤a≤1),较佳的取值为a≈0.75；

(3.10)这样最终就形成了k个集合，这时计算C’中的样本数据算数平均值，形成k个聚类中心；

(3.11)重复以上步骤，每次计算后更新数据对象的平均值，直到平均值不再发生变化，结束特征识别过程，形成最后k个聚类中心的特征识别报告。

2.根据权利要求1所述的基于K-means集群算法的攻击源特征识别方法，其特征在于：所述大数据的采集支持单个事件采集器和多个事件采集器，其中单个事件采集器利用系统的硬件多核特性，采用并行事件流水线采集方式和异步非阻塞的事件采集方式两种方式并行对数据进行采集；其中异步非阻塞的事件采集方式，借助高速缓存快速地进行事件并行流水线处理。

3.根据权利要求1所述的基于K-means集群算法的攻击源特征识别方法，其特征在于：所述大数据的存储采用分布式存储事件的分布式查询方式，内置map-reduce算法，将所有针对事件的大规模查询操作分解为多个并行的较小规模查询，并将分布式查询结果集进行装配返回请求者，实现整个过程对查询请求者完全透明。

4.根据权利要求1所述的基于K-means集群算法的攻击源特征识别方法，其特征在于：所述大数据态势感知预警平台还提供统计分析工具R语言的接口。

Images