CN107645493B - 一种ip组相似度计算方法 - Google Patents

Abstract

本发明涉及一种IP组相似度计算方法，取任一IP，得到IP的本身字段属性、地域信息属性、告警时间属性和告警类型属性的高维特征向量，加权组合得到当前IP的组合特征向量，进而得到所有待分组IP的组合特征向量，聚类得到IP组，以均方根误差RMSE衡量每个IP组的相似度。本发明的方法考量了IP的多维属性，结合IP本身的字段、地域特征及行为模式，得到IP组相似度更有说服力，精准度更高。

Description

一种IP组相似度计算方法

技术领域

本发明涉及特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法的技术领域，特别涉及一种网络安全领域的、基于高维映射和加权K-Means聚类的IP组相似度计算方法。

背景技术

IP是Internet Protocol(互联网协议)的外语缩写，在互联网中，它是能使连接到网上的所有计算机网络实现相互通信的一套规则，规定了计算机在互联网上进行通信时应当遵守的规则。任何厂家生产的计算机系统，只要遵守IP协议就可以在互联网上互连互通。

通过计算IP间的相似度，可以使分析视角从单个IP转到整个IP组，从而为IP行为分析和规律发现提供了便利，进而可以更好地保障网络安全。

在现有技术中，IP相似度计算方法是直接根据IP(一般表示为A.B.C.D)本身的4个字段信息，采用聚类方法如DBSCAN、K-Medoids等进行聚类，然后计算IP组相似度，这些聚类方法只考虑了单一的IP字段信息，没有利用IP的其他属性及行为特征，所以聚类效果不尽如人意。

发明内容

本发明的主要目的在于克服现有技术中的不足，提供一种优化的IP组相似度计算方法。

本发明的技术方案为，一种IP组相似度计算方法，所述方法包括以下步骤：

步骤1：取任一IP，所述IP的属性包括IP的本身字段属性、IP的地域信息属性、IP的告警时间属性和IP的告警类型属性；将IP同一属性的字段取值统一到同一高维空间，得到IP的本身字段属性的高维特征向量V₁、IP的地域信息属性的高维特征向量V₂、IP的告警时间属性的高维特征向量V₃和IP的告警类型属性的高维特征向量V₄；

步骤2：对得到的高维特征向量进行加权，组合得到当前IP的组合特征向量V＝[λ₁.*V₁,λ₂.*V₂,λ₃×V₃,λ₄×V₄]，其中，.*表示向量的对应元素相乘，λ₁和λ₂为权重向量，λ₁和λ₂中的每个元素的取值范围为[1,100],λ₃和λ₄为权重值，λ₃、λ₄∈[1,100]；

步骤3：重复步骤1至步骤2，得到N_IP个待分组IP的组合特征向量V后，进行下一步；

步骤4：利用K-Means算法，将所有待分组IP进行聚类，得到K个IP组，

其中，β为参数，β∈[1,50]；

步骤5：以均方根误差RMSE衡量每个IP组的相似度。

优选地，所述得到IP的本身字段属性的高维特征向量包括以下步骤：

步骤1.1.1：令所述IP为标准格式A.B.C.D，其中，A、B、C、D为字段，A、B、C、D∈[0,255]；

步骤1.1.2：所述IP的字段映射到高维空间的高维特征向量为V₁＝(A,B,C,D)；

步骤1.1.3：归一化所得向量，得到

步骤1.1.4：以V₁'代替V₁。

优选地，所述得到IP的地域信息属性的高维特征向量包括以下步骤：

步骤1.2.1：取所述IP的经纬度信息，经度longitude∈[-180°,180°]，纬度latitude∈[-90°,90°]，其中，东经为正，西经为负，北纬为正，南纬为负；

步骤1.2.2：所述IP的地域信息映射到高维空间的高维特征向量为V₂＝(longitude,latitude)；

步骤1.2.3：归一化所得向量，得到

步骤1.2.4：以V₂'代替V₂。

优选地，所述得到IP的告警时间属性的高维特征向量包括以下步骤：

步骤1.3.1：获得在T分钟时间内，对第1分钟至第T分钟的每分钟的告警次数；

步骤1.3.2：所述IP的告警时间属性映射到高维空间的高维特征向量为V₃＝(c₁,…,c_i,…,c_T)，其中，c_i表示第i分钟各种安全设备产生告警的次数总和，0＜i≤T，i为整数。

优选地，所述得到IP的告警类型属性的高维特征向量包括以下步骤：

步骤1.4.1：令所有安全设备对IP进行告警的类别为N类；

步骤1.4.2：获得在T分钟时间内，第j类告警的次数总和n_j，得到IP的告警时间属性映射到高维空间的高维特征向量V₄＝(n₁,…,n_j,…,n_N)，0＜j≤N，j为整数。

优选地，所述步骤4中，聚类采用欧氏距离进行距离度量。

优选地，所述步骤5中，以均方根误差RMSE衡量每个IP组的相似度包括以下步骤：

步骤5.1：令第k个IP组的聚类中心为V_k,mean，共有N_k个IP的组合特征向量，集合为X(k)；

步骤5.2：第k个IP组的RMSE为

优选地，所述步骤5.2中，RMSE越小，IP组相似度越大，RMSE越大，IP组相似度越小。

本发明通过对IP的本身字段属性、IP的地域信息属性、IP的告警时间属性和IP的告警类型属性进行高维映射，得到属性对应的高维特征向量，对得到的高维特征向量进行加权，得到IP在高维空间的组合特征向量，然后利用K-Means对不同的IP进行聚类形成IP组，以均方根误差衡量每个IP组的相似度。本发明的方法考量了IP的多维属性，结合IP本身的字段、地域特征及行为模式，得到IP组相似度更有说服力，精准度更高。

具体实施方式

首先需要说明的是，本发明是计算机技术在信息安全技术领域的一种应用。在本发明的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明，凡本发明申请文件提及的软件功能模块均属此范畴，申请人不再一一列举。

本发明涉及一种IP组相似度计算方法，所述方法包括以下步骤。

步骤1：取任一IP，所述IP的属性包括IP的本身字段属性、IP的地域信息属性、IP的告警时间属性和IP的告警类型属性；将IP同一属性的字段取值统一到同一高维空间，得到IP的本身字段属性的高维特征向量V₁、IP的地域信息属性的高维特征向量V₂、IP的告警时间属性的高维特征向量V₃和IP的告警类型属性的高维特征向量V₄。

本发明中，高维映射是指，将IP同一属性字段取值统一到同一个高维空间，IP之间的距离计算更为简便，用于判断其相似性。

所述得到IP的本身字段属性的高维特征向量包括以下步骤：

步骤1.1.1：令所述IP为标准格式A.B.C.D，其中，A、B、C、D为字段，A、B、C、D∈[0,255]；

步骤1.1.2：所述IP的字段映射到高维空间的高维特征向量为V₁＝(A,B,C,D)；

步骤1.1.3：归一化所得向量，得到

步骤1.1.4：以V₁'代替V₁。

本发明中，IP的形式一般为A.B.C.D，每个字段的取值范围为0至255。一般情况下，两个IP间，对应的字段越相近，说明这两个IP越可能是被同一个人或组织所拥有。

本发明中，举例来说，取一网站，IP为115.239.210.27，则其映射到高维空间的向量V₁＝(115,239,210,27)，其归一化后的向量为

本发明中，归一化可以简化计算，使得向量成为标量，使物理系统数值的绝对值变成某种相对值关系。

所述得到IP的地域信息属性的高维特征向量包括以下步骤：

步骤1.2.1：取所述IP的经纬度信息，经度longitude∈[-180°,180°]，纬度latitude∈[-90°,90°]，其中，东经为正，西经为负，北纬为正，南纬为负；

步骤1.2.2：所述IP的地域信息映射到高维空间的高维特征向量为V₂＝(longitude,latitude)；

步骤1.2.3：归一化所得向量，得到

步骤1.2.4：以V₂'代替V₂。

本发明中，采用经纬度信息表达地域信息，两个IP的地域信息越接近，则越有可能是同一人或组织的IP。

本发明中，前述IP为115.239.210.27，所述地域为浙江省杭州市，杭州市中心的经纬度信息为东经120.2°、北纬30.3°，其经纬度映射到高维空间的向量为V₂＝(120.2°,30.3°)，其经过归一化后的向量为

本发明中，归一化可以简化计算，使得向量成为标量，使物理系统数值的绝对值变成某种相对值关系。

所述得到IP的告警时间属性的高维特征向量包括以下步骤：

步骤1.3.1：获得在T分钟时间内，对第1分钟至第T分钟的每分钟的告警次数；

步骤1.3.2：所述IP的告警时间属性映射到高维空间的高维特征向量为V₃＝(c₁,…,c_i,…,c_T)，其中，c_i表示第i分钟各种安全设备产生告警的次数总和，0＜i≤T，i为整数。

本发明中，现有的各种安全设备都会对IP进行告警，在T分钟的时间内，对第1分钟至第T分钟的每分钟的告警次数进行统计，产生告警的时间重合度越高，说明越有可能是同一个人或组织。

本发明中，一般情况下，T可以取60。

所述得到IP的告警类型属性的高维特征向量包括以下步骤：

步骤1.4.1：令所有安全设备对IP进行告警的类别为N类；

步骤1.4.2：获得在T分钟时间内，第j类告警的次数总和n_j，得到IP的告警时间属性映射到高维空间的高维特征向量V₄＝(n₁,…,n_j,…,n_N)，0＜j≤N，j为整数。

本发明中，现有的各种安全设备都会对IP进行告警，告警可以进行归类，如N类，在同一时间段内，产生告警的类型重合度越高，说明越有可能是同一个人或组织。

步骤2：对得到的高维特征向量进行加权，组合得到当前IP的组合特征向量V＝[λ₁.*V₁,λ₂.*V₂,λ₃×V₃,λ₄×V₄]，其中，.*表示向量的对应元素相乘，λ₁和λ₂为权重向量，λ₁和λ₂中的每个元素的取值范围为[1,100],λ₃和λ₄为权重值，λ₃、λ₄∈[1,100]。

本发明中，不同属性在高维空间的重要性有所不同，所以在聚类前，需要对高维特征向量进行加权组合。

本发明中，IP本身字段属性的高维特征向量为V₁，权重为λ₁，λ₁可根据实施环境调整，在当前实施例中为λ₁＝[8,4,2,1]。

本发明中，地域信息属性的高维特征向量为V₂，权重为λ₂，λ₂可根据实施环境调整，在当前实施例中为λ₂＝[10,5]。

本发明中，告警时间属性的高维特征向量为V₃，权重为λ₃，λ₃可根据实施环境调整，在当前实施例中为λ₃＝1。

本发明中，告警类型属性的高维特征向量为V₄，权重为λ₄，λ₄可根据实施环境调整，在当前实施例中为λ₄＝1。

步骤3：重复步骤1至步骤2，得到N_IP个待分组IP的组合特征向量V后，进行下一步。

步骤4：利用K-Means算法，将所有待分组IP进行聚类，得到K个IP组，

其中，β为参数，β∈[1,50]；。

所述步骤4中，聚类采用欧氏距离进行距离度量。

本发明中，β可取20。

步骤5：以均方根误差RMSE衡量每个IP组的相似度。

所述步骤5中，以均方根误差RMSE衡量每个IP组的相似度包括以下步骤：

步骤5.1：令第k个IP组的聚类中心为V_k,mean，共有N_k个IP的组合特征向量，集合为X(k)；

步骤5.2：第k个IP组的RMSE为

所述步骤5.2中，RMSE越小，IP组相似度越大，RMSE越大，IP组相似度越小。

需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (8)

1.一种IP组相似度计算方法，其特征在于：所述方法包括以下步骤：

步骤1：取任一IP，所述IP的属性包括IP的字段属性、IP的地域信息属性、IP的告警时间属性和IP的告警类型属性；将IP同一属性的字段取值统一到同一高维空间，得到IP的字段属性的高维特征向量V₁、IP的地域信息属性的高维特征向量V₂、IP的告警时间属性的高维特征向量V₃和IP的告警类型属性的高维特征向量V₄；

步骤2：对得到的高维特征向量进行加权，组合得到当前IP的组合特征向量V＝[λ₁.*V₁,λ₂.*V₂,λ₃×V₃,λ₄×V₄]，其中，.*表示向量的对应元素相乘，λ₁和λ₂为权重向量，λ₁和λ₂中的每个元素的取值范围为[1,100],λ₃和λ₄为权重值，λ₃、λ₄∈[1,100]；

步骤3：重复步骤1至步骤2，得到N_IP个待分组IP的组合特征向量V后，进行下一步；

步骤4：利用K-Means算法，将所有待分组IP进行聚类，得到K个IP组，

其中，β为参数，β∈[1,50]；

步骤5：以均方根误差RMSE衡量每个IP组的相似度。

2.根据权利要求1所述的一种IP组相似度计算方法，其特征在于：所述得到IP的字段属性的高维特征向量包括以下步骤：

步骤1.1.1：令所述IP为标准格式A.B.C.D，其中，A、B、C、D为字段，A、B、C、D∈[0,255]；

步骤1.1.2：所述IP的字段映射到高维空间的高维特征向量为V₁＝(A,B,C,D)；

步骤1.1.3：归一化所得向量，得到

步骤1.1.4：以V₁'代替V₁。

3.根据权利要求1所述的一种IP组相似度计算方法，其特征在于：所述得到IP的地域信息属性的高维特征向量包括以下步骤：

步骤1.2.1：取所述IP的经纬度信息，经度longitude∈[-180°,180°]，纬度latitude∈[-90°,90°]，其中，东经为正，西经为负，北纬为正，南纬为负；

步骤1.2.2：所述IP的地域信息映射到高维空间的高维特征向量为V₂＝(longitude,latitude)；

步骤1.2.3：归一化所得向量，得到

步骤1.2.4：以V₂'代替V₂。

4.根据权利要求1所述的一种IP组相似度计算方法，其特征在于：

所述得到IP的告警时间属性的高维特征向量包括以下步骤：

步骤1.3.1：获得在T分钟时间内，对第1分钟至第T分钟的每分钟的告警次数；

步骤1.3.2：所述IP的告警时间属性映射到高维空间的高维特征向量为V₃＝(c₁,…,c_i,…,c_T)，其中，c_i表示第i分钟各种安全设备产生告警的次数总和，0＜i≤T，i为整数。

5.根据权利要求1所述的一种IP组相似度计算方法，其特征在于：

所述得到IP的告警类型属性的高维特征向量包括以下步骤：

步骤1.4.1：令所有安全设备对IP进行告警的类别为N类；

步骤1.4.2：获得在T分钟时间内，第j类告警的次数总和n_j，得到IP的告警时间属性映射到高维空间的高维特征向量V₄＝(n₁,…,n_j,…,n_N)，0＜j≤N，j为整数。

6.根据权利要求1所述的一种IP组相似度计算方法，其特征在于：所述步骤4中，聚类采用欧氏距离进行距离度量。

7.根据权利要求1所述的一种IP组相似度计算方法，其特征在于：所述步骤5中，以均方根误差RMSE衡量每个IP组的相似度包括以下步骤：

步骤5.1：令第k个IP组的聚类中心为V_k,mean，共有N_k个IP的组合特征向量，集合为X(k)；

步骤5.2：第k个IP组的RMSE为

8.根据权利要求7所述的一种IP组相似度计算方法，其特征在于：所述步骤5.2中，RMSE越小，IP组相似度越大，RMSE越大，IP组相似度越小。