CN109902176B - 一种数据关联拓展方法及非暂时性的计算机指令存储介质 - Google Patents

Abstract

本公开涉及一种数据关联拓展方法及非暂时性的计算机指令存储介质，所述数据关联拓展方法包括：基于第一特征信息与第二特征信息的聚类结果进行拟合；其中，所述第一特征信息对应于输入数据，所述第二特征信息对应于已有的威胁线索；所述拟合结果用于获取与所述输入数据相关联的威胁线索。本公开所提供的数据关联拓展方法，通过对已有的威胁线索的第二特征信息进行聚类，建立已有的威胁线索之间的关联，基于第一特征信息去自动拟合第二特征信息的聚类结果，以根据拟合结果得到与输入线索相关联的威胁线索，不需要人工参与，提高了数据关联拓展的效率，且准确率也较高。

Description

一种数据关联拓展方法及非暂时性的计算机指令存储介质

技术领域

本公开涉及互联网领域，尤其涉及一种数据关联拓展方法及非暂时性的计算机指令存储介质。

背景技术

安全厂商、企业以及国家政府都越来越重视威胁情报的发展，对网络安全情报信息的共享以及将基础威胁情报高级化有着迫切的期待和需求。现有的威胁线索关联拓展方法主要以人工结合半自动化分析程序对威胁线索进行处理分析，在分析处理过程过度依赖分析师的人工参与，关联分析结果与分析师的水平有关，导致分析结果质量参差不齐，随着威胁线索数据业务量的增大，原本的依靠半自动化的分析方式已经不能满足现有需求，迫切需要全自动化的威胁线索自动化关联拓展系统的出现，以解决日益增长的威胁线索分析需求，同时保证威胁线索的分析质量以及准确性，但由于威胁线索数据以及基础数据难以收集，关联拓展方式复杂，目前还缺乏有效的解决方案。

发明内容

为了解决以上技术问题，本公开的实施例提供了一种数据关联拓展的效率较高，且准确率也较高的数据关联拓展方法及非暂时性的计算机指令存储介质。

根据本公开的第一方案，提供了一种数据关联拓展方法，所述数据关联拓展方法包括：基于第一特征信息与第二特征信息的聚类结果进行拟合；其中，所述第一特征信息对应于输入数据，所述第二特征信息对应于已有的威胁线索；所述拟合结果用于获取与所述输入数据相关联的威胁线索。

在一些实施例中，所述第二特征信息的聚类结果通过第一聚类获取，且基于所述聚类结果建立学习模型，以供所述第一特征信息输入。

在一些实施例中，所述数据关联拓展方法还包括：在根据拟合结果获取不到与所述输入数据相关联的威胁线索的情况下，将第三特征信息添加到所述第二特征信息的聚类结果中进行第二聚类；其中，所述第三特征信息对应于所述输入数据；所述第三特征信息的类型与所述第一特征信息的类型不相同。

在一些实施例中，所述第二特征信息的类型至少包括所述第一特征信息的类型和所述第三特征信息的类型。

在一些实施例中，在基于第一特征信息与第二特征信息的聚类结果进行拟合之前，包括：对第一输入数据进行拓展，以形成所述输入数据。

在一些实施例中，所述拓展包括IP地址拓展、域名拓展和hash拓展。

在一些实施例中，所述数据关联拓展方法还包括：基于时间维度获取与所述输入数据相关联的威胁线索。

在一些实施例中，在基于第一特征信息与第二特征信息的聚类结果进行拟合之前，包括：对所述第二特征信息进行向量化。

在一些实施例中，在基于第一特征信息与第二特征信息的聚类结果进行拟合之前，还包括：对所述第一特征信息进行向量化。

根据本公开的第二方案，提供了一种非暂时性的计算机指令存储介质，其上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下步骤：基于第一特征信息与第二特征信息的聚类结果进行拟合；其中，所述第一特征信息对应于输入数据，所述第二特征信息对应于已有的威胁线索；所述拟合结果用于获取与所述输入数据相关联的威胁线索。

与现有技术相比，本公开的有益效果在于：

本公开所提供的数据关联拓展方法，通过对已有的威胁线索的第二特征信息进行聚类，建立已有的威胁线索之间的关联，基于第一特征信息去自动拟合第二特征信息的聚类结果，以根据拟合结果得到与输入线索相关联的威胁线索，不需要人工参与，提高了数据关联拓展的效率，且准确率也较高。

应当理解，前面的一般描述和以下详细描述都仅是示例性和说明性的，而不是用于限制本公开。

本节提供本公开中描述的技术的各种实现或示例的概述，并不是所公开技术的全部范围或所有特征的全面公开。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1为根据本公开实施例的数据关联拓展方法的流程图；

图2为根据本公开的数据关联拓展方法的一个具体实施例的流程图。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。

图1为根据本公开实施例的数据关联拓展方法的流程图，如图1所示，本公开提供了一种数据关联拓展方法，该方法包括步骤S101至S102：

在步骤S101，基于第一特征信息与第二特征信息的聚类结果进行拟合；其中，所述第一特征信息对应于输入数据，所述第二特征信息对应于已有的威胁线索。可选的，第一特征信息可以为包含有木马访问的域名、端口、邮箱、IP地址等信息，已有的威胁线索可以为木马访问的邮箱、端口、以及相似木马连接的域名等信息，第二特征信息可以为包含有木马访问的邮箱信息、域名信息、域名历史解析IP、域名与样本间的联系、样本的黑白、域名注册者、域名服务提供商等，在此不作具体限定。

在步骤S102，拟合结果用于获取与输入数据相关联的威胁线索。具体说来，第二特征信息的聚类结果中包含第二特征信息之间的相关度，即第二特征信息之间的关联距离，可以根据第一特征信息与第二特征信息的拟合程度以及第二特征信息之间的关联距离确定与输入数据相关联的威胁线索，例如，提取输入数据中的邮箱信息作为第一特征信息，根据该邮箱信息去拟合第二特征信息的聚类结果，进而得到与该邮箱信息相关联的域名信息、注册人、注册时间、注册时长等，如此，使用户根据输入数据得到与其相关联的数个、数类威胁线索。

本公开所提供的数据关联拓展方法，通过对已有的威胁线索的第二特征信息进行聚类，建立已有的威胁线索之间的关联，基于第一特征信息去自动拟合第二特征信息的聚类结果，以根据拟合结果得到与输入线索相关联的威胁线索，不需要人工参与，提高了数据关联拓展的效率，且准确率也较高。

在一些实施例中，第二特征信息的聚类结果通过第一聚类获取，且基于聚类结果建立学习模型，以供第一特征信息输入。具体的，在基于已有的威胁线索提取第二特征信息之后对第二特征信息进行向量化，在将第一特征信息输入学习模型中进行拟合之前也对第一特征信息进行向量化，如此，能够快速地得到拟合结果，根据拟合结果获取与输入数据相关联的威胁线索。具体说来，输入数据和已有的威胁线索包括字符串和数字，在提取到特征信息后首先将进行数字化后再进行向量化，例如，端口802的状态为“开”，需要将“开”转化为“1”。可选的，第一聚类的方式可以为多种，在此不做具体限定。

在一些实施例中，在步骤S102，所述数据关联拓展方法还包括：在根据拟合结果获取不到与输入数据相关联的威胁线索的情况下，将第三特征信息添加到第二特征信息的聚类结果中进行第二聚类；其中，第三特征信息对应于输入数据；第三特征信息的类型与第一特征信息的类型不相同，根据第二聚类的结果获取与输入数据相关联的威胁线索。具体的，在第一特征信息与第二特征信息的聚类结果的拟合程度小于预设值时，认为根据拟合结果获取不到与输入数据相关联的威胁线索，提取输入数据的第三特征信息并将其加入到第二特征信息的聚类结果中进行第二聚类，第二聚类中包含第三特征信息之间的相关度，根据相关度可以得到与输入数据相关联的威胁线索。可选的，第二聚类的方式与第一聚类的方式可以相同也可以不同，在此不做具体限定。

在一些实施例中，第二特征信息的类型至少包括第一特征信息的类型和第三特征信息的类型，以便根据第一特征信息或第三特征信息以较快的速度去自动拟合学习模型中已有的威胁线索的第二特征信息的聚类结果，提高了数据关联拓展的效率，且准确率也较高，得到的数据关联拓展结果更全面。

在一些实施例中，在基于第一特征信息与第二特征信息的聚类结果进行拟合之前，包括：对第一输入数据进行拓展，以形成输入数据。具体说来，第一输入数据一般为单一数据，通过对第一输入数据进行拓展，能够找到更多与第一输入数据相关联的数据，例如，第一输入数据为域名，通过对域名进行拓展找到该域名的历史解析IP、注册邮箱，将域名信息、历史解析IP以及注册邮箱作为输入数据输入到学习模型中，如此，能够根据丰富的输入数据得到更全面的关联结果。

在一些实施例中，拓展包括IP地址拓展、域名拓展和hash拓展。具体说来，根据第一输入数据的类型分为3种拓展方式：IP地址拓展，使用IP地址通过存储的域名历史解析记录反查到IP地址上解析的域名、域名上关联的样本的hash以及IP上关联的样本的hash；域名拓展，使用域名查询到该域名当前解析的IP地址、历史解析的IP地址、以及其关联的样本的hash；hash拓展，使用hash查询样本关联的IP或者域名，再使用查询到的IP或域名，进行上述的IP地址拓展或域名拓展。

在一些实施例中，所述数据关联拓展方法还包括：基于时间维度获取与输入数据相关联的威胁线索。具体的，根据已有的威胁线索的时间，以远到近或以近到远的时间顺序获取与输入数据相关联的威胁线索，如域名注册时间和到期时间、whois信息修改时间、域名首次解析IP的时间、域名变更解析IP的时间、关联样本发现时间等，例如，攻击者于2018年9月11日注册了一个恶意域名abc.com，于2018年10月20日解析到了IP地址10.10.10.10，最早一次发现的恶意样本于2018年11月1日连接到了攻击者的域名地址上。基于时间维度获取与输入数据相关联的威胁线索能够清楚简洁的表明威胁线索数据随时间的变化情况，便于用户查看。

具体的，图2为根据本公开的数据关联拓展方法的一个具体实施例的流程图，如图2所示，该数据关联拓展方法包括步骤S201至S215：

在步骤S201，用户输入第一输入数据。

在步骤S202，对第一输入数据进行拓展，以形成输入数据。

在步骤S203，提取输入数据的第一特征信息。

在步骤S204，对第一特征信息进行向量化。

在步骤S205，基于已有的威胁情报与基础数据进行拓展，以形成已有的威胁线索。具体说来，已有的威胁情报可以为域名、IP地址、样本hash等，基础数据可以为DNS记录、WHOIS信息、全球指纹等，在此不做具体限定，对已有的威胁情报与基础数据进行拓展，建立已有的威胁情报与基础数据之间的关联，以便得到更全面的与输入数据相关联的威胁线索。

在步骤S206，提取已有的威胁线索的第二特征信息。

在步骤S207，对第二特征信息进行向量化。

在步骤S208，对向量化后的第二特征信息进行第一聚类，基于第一聚类结果建立学习模型。具体的，第一聚类的方式具体包括：先随机选取K个对象(即第二特征信息)作为初始聚类中心，计算每个对象与各个初始聚类中心之间的距离，把每个对象分配给距离它最近的初始聚类中心，其中，聚类中心以及分配给它们的对象就代表一个聚类，然后重新计算各个聚类的聚类中心，重新计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心，这个过程将不断重复直到满足终止条件，得到第二特征信息的聚类结果，具体的，终止条件可以为没有(或最小数目)对象被重新分配给不同的聚类或聚类中心不再发生变化或各对象与聚类中心的误差平方和局部最小。

在步骤S209，基于第一特征信息与学习模型中第二特征信息的第一聚类结果进行拟合。

在步骤S210，根据拟合结果获取与输入数据相关联的威胁线索。

在步骤S211，判断是否存在与输入数据相关联的威胁线索。如不存在与输入数据相关联的威胁线索，进入到步骤S212。

在步骤S212，提取输入数据的第三特征信息，其中，第一特征信息的类型与第三特征信息的类型不相同。

在步骤S213，对第三特征信息进行向量化。

在步骤S214，将向量化后的第三特征信息加入到学习模型中第二特征信息的第一聚类结果中形成新的数据集，对新的数据集进行第二聚类。

在步骤S215，根据第二聚类结果获取与输入数据相关联的威胁线索。

本公开的实施例还提供了一种非暂时性的计算机指令存储介质，其上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下步骤：基于第一特征信息与第二特征信息的聚类结果进行拟合；其中，第一特征信息对应于输入数据，第二特征信息对应于已有的威胁线索；拟合结果用于获取与输入数据相关联的威胁线索。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本公开的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上实施例仅为本公开的示例性实施例，不用于限制本公开，本公开的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本公开做出各种修改或等同替换，这种修改或等同替换也应视为落在本公开的保护范围内。

Claims (8)

1.一种数据关联拓展方法，其特征在于，包括：

基于第一特征信息去拟合第二特征信息的聚类结果；其中，

所述第一特征信息对应于输入数据，所述第二特征信息对应于已有的威胁线索；

拟合的结果用于获取与所述输入数据相关联的威胁线索，

所述第二特征信息的聚类结果通过第一聚类获取，且

基于所述聚类结果建立学习模型，以供所述第一特征信息输入，

在根据拟合的结果获取不到与所述输入数据相关联的威胁线索的情况下，将第三特征信息添加到所述第二特征信息的聚类结果中进行第二聚类；其中，

所述第三特征信息对应于所述输入数据；

所述第三特征信息的类型与所述第一特征信息的类型不相同。

2.根据权利要求1所述的数据关联拓展方法，其特征在于，所述第二特征信息的类型至少包括所述第一特征信息的类型和所述第三特征信息的类型。

3.根据权利要求2所述的数据关联拓展方法，其特征在于，在基于第一特征信息去拟合第二特征信息的聚类结果之前，包括：

对第一输入数据进行拓展，以形成所述输入数据。

4.根据权利要求3所述的数据关联拓展方法，其特征在于，所述拓展包括IP地址拓展、域名拓展和hash拓展。

5.根据权利要求1所述的数据关联拓展方法，其特征在于，所述数据关联拓展方法还包括：

基于时间维度获取与所述输入数据相关联的威胁线索。

6.根据权利要求4所述的数据关联拓展方法，其特征在于，在基于第一特征信息去拟合第二特征信息的聚类结果之前，包括：对所述第二特征信息进行向量化。

7.根据权利要求5所述的数据关联拓展方法，其特征在于，在基于第一特征信息去拟合第二特征信息的聚类结果之前，还包括：

对所述第一特征信息进行向量化。

8.一种非暂时性的计算机指令存储介质，其上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下步骤：

基于第一特征信息去拟合第二特征信息的聚类结果；其中，

所述第一特征信息对应于输入数据，所述第二特征信息对应于已有的威胁线索；

拟合的结果用于获取与所述输入数据相关联的威胁线索，所述第二特征信息的聚类结果通过第一聚类获取，且

基于所述聚类结果建立学习模型，以供所述第一特征信息输入，

在根据拟合的结果获取不到与所述输入数据相关联的威胁线索的情况下，将第三特征信息添加到所述第二特征信息的聚类结果中进行第二聚类；

所述第三特征信息对应于所述输入数据；

所述第三特征信息的类型与所述第一特征信息的类型不相同。

Images