CN116015818A - 一种基于机器学习的ioc检测方法、装置、介质及设备 - Google Patents

Abstract

本发明涉及计算机安全领域，特别是涉及一种基于机器学习的IOC检测方法、装置、介质及设备。包括：获取多个已知情报指标。使用机器学习的聚类算法，根据每一已知情报指标对应的属性值对每一已知情报指标进行聚类，生成多个族群。根据每一族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息。根据威胁判定信息对目标行为进行检测，生成对应的检测信息。本发明中从已知情报指标本身出发，通过机器学习的聚类方法，可以快速将具有较强相关性的多个已知情报指标聚类成一个族群。通过将多个具有强关联的已知情报指标同时作为威胁的判断依据，可以增加判断依据的数量以及维度，进而提高威胁判断时的准确率，提高检测能力。

Description

一种基于机器学习的IOC检测方法、装置、介质及设备

技术领域

本发明涉及计算机安全领域，特别是涉及一种基于机器学习的IOC检测方法、装置、介质及设备。

背景技术

随着互联网的快速发展，网络攻击事件频发，针对个人、公司以及国家的攻击行为数量日益攀升，网络攻击所带来的经济利益和政治利益是此类事件频发的主因，网络安全已经成为国家的重点关注方向，没有网络安全就没有国家安全，如何有效的追踪攻击来源，及时阻止或预防攻击事件的发生显得尤为重要。

情报指标也即IOC(IndicatorsofCompromise，陷落标识)是一种作为检测攻击的重要指标。通过IOC可以更加容易的还原攻击实体的实体画像，还原攻击实体的攻击路径和行为，从而保障网络安全。但是，现有的利用IOC进行威胁检测时，均是利用单一的IOC作为指标进行的威胁判断，其检测精度较低。

发明内容

针对上述技术问题，本发明采用的技术方案为：

根据本发明的一个方面，提供了一种基于机器学习的IOC检测方法，方法包括如下步骤：

获取多个已知情报指标。每一已知情报指标具有多个对应的属性值。

使用机器学习的聚类算法，根据每一已知情报指标对应的属性值对每一已知情报指标进行聚类，生成多个族群。

根据每一族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息。

根据威胁判定信息对目标行为进行检测，生成对应的检测信息。

在本发明中，进一步的，在根据每一族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息之后，该方法还包括：

每隔一个探测间隔，对当前探测周期对应的每一族群进行指标探测处理，生成下一探测周期对应的未知情报指标。

指标探测处理包括：

从族群中获取符合预设指标类型的已知情报指标，生成当前探测周期对应的探测指标集。

根据当前探测周期对应的探测指标集中的已知情报指标，获取下一探测周期对应的未知情报指标。

在本发明中，进一步的，预设指标类型为IP地址或域名。

根据当前探测周期对应的探测指标集中的已知情报指标，获取下一探测周期对应的未知情报指标，包括：

获取当前探测周期对应的探测指标集中的每一IP地址和域名分别对应的网络资源。

获取每一网络资源中的可执行体。

将可执行体作为下一探测周期对应的未知情报指标。

在本发明中，进一步的，预设指标类型为可执行体。

从族群中获取符合预设指标类型的已知情报指标，生成当前探测周期对应的探测指标集，包括：

从族群中获取预设指标类型为可执行体的第一已知情报指标。

从每一第一已知情报指标中的提取目标字符串。为每一目标字符串，匹配对应的IP地址或域名。

将匹配到的IP地址和域名，作为当前探测周期对应的探测指标集。

在本发明中，进一步的，在生成下一探测周期对应的未知情报指标之后，方法还包括：

根据未知情报指标对应的属性值，对每一未知情报指标进行聚类，生成多个第二族群。

根据多个第二族群对当前探测周期对应的族群进行更新，生成下一探测周期对应的族群。

在本发明中，进一步的，探测间隔为情报指标的存活时长。

在本发明中，进一步的，机器学习的聚类算法包括K-Mean聚类算法。

根据本发明的第二个方面，提供了一种基于机器学习的IOC检测装置，包括：

获取模块，用于获取多个已知情报指标。每一已知情报指标具有多个对应的属性值。

聚类模块，用于使用机器学习的聚类算法，根据每一已知情报指标对应的属性值对每一已知情报指标进行聚类，生成多个族群。

判定信息生成模块，用于根据每一族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息。

检测信息生成模块，用于根据威胁判定信息对目标行为进行检测，生成对应的检测信息。

根据本发明的第三个方面，提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种基于机器学习的IOC检测方法。

根据本发明的第四个方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于机器学习的IOC检测方法。

本发明至少具有以下有益效果：

本发明中使用机器学习的聚类算法，根据每一已知情报指标对应的属性值对每一已知情报指标进行聚类，生成多个族群。然后，再根据族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息。由于通过机器学习的聚类算法可以将，具有较强关联的多个已知情报指标聚类成一个族群。从已知情报指标本身出发，通过机器学习的聚类方法，可以快速将具有较强相关性的多个已知情报指标聚类成一个族群。将族群中的所有已知情报指标以及所有属性值作为威胁行为的判断依据。通过将多个具有强关联的已知情报指标同时作为威胁的判断依据，可以增加判断依据的数量以及维度，进而提高威胁判断时的准确率，提高检测能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于机器学习的IOC检测方法的流程图。

图2为本发明实施例提供的一种基于机器学习的IOC检测装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个方面，如图1所示，提供了一种基于机器学习的IOC检测方法，该方法包括如下步骤：

S100:获取多个已知情报指标。每一已知情报指标具有多个对应的属性值。

情报指标：计算机取证中的入侵指标，是在网络或操作系统上观察到的，以高可信度表示计算机入侵的人工制品。情报指标网络层面的常见的有IP、域名、URL、网站证书，主机层面的有文件Hash、文件名、进程名、互斥体、服务名等，更复杂的还有邮件相关的，包括收发件邮箱、附件名等，至于特定类型的情报指标是否能够被消费还取决用户获取匹配对象的能力。当然，IP和域名的适用场景最多，也因此是最主流最具可用性的情报指标类型。

每一个情报指标均会对应至少一个属性值。本发明中通过每一已知情报指标对应的属性值来对其进行分类。具体的，本实施例中的属性包括是否恶意、归属组织、地理位置和信誉度等类别。每一已知情报指标均可以根据自身具有的特征来为对应的属性进行赋值，没有的属性可以赋值为空。如进程名就没有地理位置这个属性特征，但是具有归属组织的属性特征，由此，可以在为进程名进行属性赋值时，地理位置对应的值为空或是为零；归属组织根据进程名实际的归属进行赋值即可。在进行赋值时需要使各个属性的值均位于同一区间中，由此便于后续的分类计算。如已知情报指标为IP：202.xxx.xx，则其对应的地理位置的属性值为北京。为了便于计算需要为所有的地理位置进行编码。并将各个属性对应的属性值的编码存储在对应的映射表中，后期通过映射来将编码赋值到对应的属性中。

同时，为了进一步提高所获取到的现有的已知情报指标的准确性，还需要使用现有的专用检测工具集来对已知情报指标是否为恶意进行进一步的判别检测，以去除噪声。

S200:使用机器学习的聚类算法，根据每一已知情报指标对应的属性值对每一已知情报指标进行聚类，生成多个族群。优选的，机器学习的聚类算法包括K-Mean聚类算法。

在进行多次迭代之后K-Mean聚类算法会将多个已知情报指标聚类为对应的多个族群。每一族群中包括的多个已知情报指标的相关性较强。通常K代表最终的分类的数量，也即得到的族群的数量。K可以为人为设置，如4-7。优选为K＝5。

当然，在通过K-Mean聚类算法进行聚类之后，依然还会存在部分已知情报指标无法被归属至已有的类别中情况。对于该种情况可按照下述方式进行继续分类：

将剩余的每一已知情报指标的属性值与每一族群中包括含的所有属性值进行匹配；

当已知情报指标的属性值与族群中包括含的所有属性值的重合度大于重合阈值的时候，将该已知情报指标归属至这个族群中。重合度可以为已知情报指标的属性值与族群中包括含的所有属性值为相同值的数量。具体的，重合阈值可以为4。

当已知情报指标的属性值与每一族群中包括含的所有属性值的重合度均小于或等于重合阈值的时候，可以通过人工研判的方式对该已知情报指标进行分类。具体可以为归属到某一已有的族群中或者再新增一个对应的族群。

S300:根据每一族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息。

本步骤中将族群中的所有已知情报指标以及所有属性值作为威胁行为的判断依据。通过将多个具有强关联的已知情报指标同时作为威胁的判断依据，可以增加判断依据的数量以及维度，进而提高生成的威胁判定信息在进行威胁判断时的准确率，提高检测能力。

S400:根据威胁判定信息对目标行为进行检测，生成对应的检测信息。

本发明中使用机器学习的聚类算法，根据每一已知情报指标对应的属性值对每一已知情报指标进行聚类，生成多个族群。然后，再根据族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息。由于通过机器学习的聚类算法可以将具有较强关联的多个已知情报指标聚类成一个族群。从已知情报指标本身出发，通过机器学习的聚类方法，可以快速将具有较强相关性的多个已知情报指标聚类成一个族群。将族群中的所有已知情报指标以及所有属性值作为威胁行为的判断依据。通过将多个具有强关联的已知情报指标同时作为威胁的判断依据，可以增加判断依据的数量以及维度，进而提高威胁判断时的准确率，提高检测能力。

作为本发明一种可能的实施例，在S300:根据每一族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息之后，该方法还包括：

S500:每隔一个探测间隔，对当前探测周期对应的每一族群进行指标探测处理，生成下一探测周期对应的未知情报指标。优选的，探测间隔为情报指标的存活时长。

一般恶意的情报指标为了避免被安全软件查杀，会在被监测到之后随时更换对应的IP或域名。所以一般恶意的情报指标的存活时长(有效可用时长)均比较短，所以需要进行实时更新，否则所得到的情报指标为已经失效的情报指标，起不到威胁检测的作用。具体的，探测间隔可以为3-7天。

指标探测处理包括：

S501:从族群中获取符合预设指标类型的已知情报指标，生成当前探测周期对应的探测指标集。

预设指标类型为可以进行网络访问的类型。如IP地址、域名、URL等网络路径。

S502:根据当前探测周期对应的探测指标集中的已知情报指标，获取下一探测周期对应的未知情报指标。

本实施例中，从已有的已知情报指标出发进行探测，可以得到更多的未知情报指标，再经过后续对未知情报指标进行聚类，可以生成更多新的族群。由此，通过新的族群来生成更多的威胁判定信息，以进一步提高对威胁的检测能力。且本实施例中会每隔一个探测间隔来进行一次对未知情报指标的自动化探测，由此不仅可以快速收集更多的情报指标，以扩充检测集。同时也可以通过定期更新来尽可能保证获取到的情报指标的有效性。

本发明对于环境无过高需求，只需要训练一定数量的已有的已知情报指标，即可对未知情报指标进行分类，并通过固定周期的自动化探测，捕获更多与原有已知情报指标关联的未知情报指标。由此，可以更快速的捕获新的情报指标，进而提升情报能力。

作为本发明一种可能的实施例，预设指标类型为IP地址或域名。

S502:根据当前探测周期对应的探测指标集中的已知情报指标，获取下一探测周期对应的未知情报指标，包括：

S512:获取当前探测周期对应的探测指标集中的每一IP地址和域名分别对应的网络资源。

S522:获取每一网络资源中的可执行体。

S532:将可执行体作为下一探测周期对应的未知情报指标。

本实施例中，对域名和IP地址进行自动化探测，探测所有可以访问的网络路径，将路径中包含的格式为PE、ELF、APK等各平台的可执行文件下载下来，作为未知情报指标进行收集。由于相似的情报指标总会具有相似的行为或者属性，所以从一个情报指标探测出新的情报指标(未知情报指标)也具有与这个情报指标类似属性，由此，可以降低新获取的未知情报指标的误报率。

作为本发明一种可能的实施例，预设指标类型为可执行体。

S501:从族群中获取符合预设指标类型的已知情报指标，生成当前探测周期对应的探测指标集，包括：

S511:从族群中获取预设指标类型为可执行体的第一已知情报指标。

S521:从每一第一已知情报指标中的提取目标字符串。目标字符串为IP地址或域名对应的字符串。

S531:为每一目标字符串，匹配对应的IP地址或域名。

S541:将匹配到的IP地址和域名，作为当前探测周期对应的探测指标集。

本实施例中的预设指标类型为可执行体。在该情况下，可以从这些对应的可执行体中提取可转化为IP地址和域名的特定字符串，然后再将这些字符串匹配为对应的IP地址或域名。然后再通过S512-S532来实现对未知情报指标的探测。

作为本发明一种可能的实施例，在生成下一探测周期对应的未知情报指标之后，该方法还包括：

S600:根据未知情报指标对应的属性值，对每一未知情报指标进行聚类，生成多个第二族群。

S700:根据多个第二族群对当前探测周期对应的族群进行更新，生成下一探测周期对应的族群。

本实施例中，将以上所有收集的未知情报指标进行聚类，进而形成新的多个第二族群。由此可以将未知情报指标中包含的原有的关系联系到新的分类，进而丰富情报指标的关系，便于后续进行溯源，追踪。

由于本实施例中为将根据已知情报指标自动探测得到的未知情报指标进行聚类，所以新得到的未知情报指标的属性与对应的作为探测源的已知情报指标的属性有继承关系。也即，新得到的未知情报指标的属性会包括作为探测源的已知情报指标的属性。同时K-Mean聚类算法也为已经由之前的已知情报指标进行迭代训练后的得到的K-Mean聚类算法。此时的K-Mean聚类算法已经获得了对情报指标进行分类的先验知识。所以再次使用K-Mean聚类算法对未知情报指标进行聚类时，相当于通过已知关系属性进行再次聚类分析，可以减少对未知情报指标进行分类时的迭代次数，减少计算量，进而减少对服务资源的消耗。

根据本发明的第二个方面，如图2所示，提供了一种基于机器学习的IOC检测装置，包括：

获取模块，用于获取多个已知情报指标。每一已知情报指标具有多个对应的属性值。

聚类模块，用于使用机器学习的聚类算法，根据每一已知情报指标对应的属性值对每一已知情报指标进行聚类，生成多个族群。

判定信息生成模块，用于根据每一族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息。

检测信息生成模块，用于根据威胁判定信息对目标行为进行检测，生成对应的检测信息。

本发明中使用机器学习的聚类算法，根据每一已知情报指标对应的属性值对每一已知情报指标进行聚类，生成多个族群。然后，再根据族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息。由于通过机器学习的聚类算法可以将，具有较强关联的多个已知情报指标聚类成一个族群。从已知情报指标本身出发，通过机器学习的聚类方法，可以快速将具有较强相关性的多个已知情报指标聚类成一个族群。将族群中的所有已知情报指标以及所有属性值作为威胁行为的判断依据。通过将多个具有强关联的已知情报指标同时作为威胁的判断依据，可以增加判断依据的数量以及维度，进而提高威胁判断时的准确率，提高检测能力。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.一种基于机器学习的IOC检测方法，其特征在于，所述方法包括如下步骤：

获取多个已知情报指标；每一所述已知情报指标具有多个对应的属性值；

使用机器学习的聚类算法，根据每一所述已知情报指标对应的属性值对每一所述已知情报指标进行聚类，生成多个族群；

根据每一所述族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息；

根据所述威胁判定信息对目标行为进行检测，生成对应的检测信息。

2.根据权利要求1所述的方法，其特征在于，在根据每一所述族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息之后，所述方法还包括：

每隔一个探测间隔，对当前探测周期对应的每一族群进行指标探测处理，生成下一探测周期对应的未知情报指标；

所述指标探测处理包括：

从族群中获取符合预设指标类型的已知情报指标，生成当前探测周期对应的探测指标集；

根据所述当前探测周期对应的探测指标集中的已知情报指标，获取下一探测周期对应的未知情报指标。

3.根据权利要求2所述的方法，其特征在于，所述预设指标类型为IP地址或域名；

根据所述当前探测周期对应的探测指标集中的已知情报指标，获取下一探测周期对应的未知情报指标，包括：

获取所述当前探测周期对应的探测指标集中的每一IP地址和域名分别对应的网络资源；

获取每一所述网络资源中的可执行体；

将所述可执行体作为下一探测周期对应的未知情报指标。

4.根据权利要求2所述的方法，其特征在于，所述预设指标类型为可执行体；

从族群中获取符合预设指标类型的已知情报指标，生成当前探测周期对应的探测指标集，包括：

从族群中获取预设指标类型为可执行体的第一已知情报指标；

从每一所述第一已知情报指标中的提取目标字符串；

为每一所述目标字符串，匹配对应的IP地址或域名；

将匹配到的IP地址和域名，作为当前探测周期对应的探测指标集。

5.根据权利要求2所述的方法，其特征在于，在生成下一探测周期对应的未知情报指标之后，所述方法还包括：

根据所述未知情报指标对应的属性值，对每一所述未知情报指标进行聚类，生成多个第二族群；

根据多个所述第二族群对当前探测周期对应的族群进行更新，生成下一探测周期对应的族群。

6.根据权利要求2所述的方法，其特征在于，所述探测间隔为情报指标的存活时长。

7.根据权利要求1所述的方法，其特征在于，所述机器学习的聚类算法包括K-Mean聚类算法。

8.一种基于机器学习的IOC检测装置，其特征在于，包括：

获取模块，用于获取多个已知情报指标；每一所述已知情报指标具有多个对应的属性值；

聚类模块，用于使用机器学习的聚类算法，根据每一所述已知情报指标对应的属性值对每一所述已知情报指标进行聚类，生成多个族群；

判定信息生成模块，用于根据每一所述族群中包括的所有已知情报指标以及所有属性值，生成对应的威胁判定信息；

检测信息生成模块，用于根据所述威胁判定信息对目标行为进行检测，生成对应的检测信息。

9.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种基于机器学习的IOC检测方法。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种基于机器学习的IOC检测方法。

Images