CN113722573B - 生成网络安全威胁数据集合的方法、系统和存储介质 - Google Patents

Abstract

提供了生成网络安全威胁数据集合的方法、系统和存储介质，该方法包括：对于网络安全威胁数据存储库中存储的每个网络安全威胁数据，根据与网络安全威胁数据有关的历史信息来计算网络安全威胁数据的活跃度指标；根据网络安全威胁数据所要应用的网络安全检测业务的要求，确定要生成的网络安全威胁数据集合中包括的网络安全威胁数据的规格信息；以及根据所计算的网络安全威胁数据的活跃度指标和所确定的网络安全威胁数据的规格信息，从多个网络安全威胁数据中生成网络安全威胁数据集合。还提供了用于检测网络安全的方法。

Description

生成网络安全威胁数据集合的方法、系统和存储介质

技术领域

本发明涉及用于生成网络安全威胁数据集合的方法、系统和存储介质。

背景技术

网络安全设备的网络安全检测能力主要依赖于网络安全威胁数据存储库的有效性。但是，目前业界对网络安全威胁数据的管理方法比较简单，使得使用场景难以匹配复杂的分析场景。

发明内容

根据本公开的第一方面，提供了一种用于生成网络安全威胁数据集合的方法，包括：对于网络安全威胁数据存储库中存储的多个网络安全威胁数据中的每个网络安全威胁数据，根据与网络安全威胁数据有关的历史信息来计算网络安全威胁数据的活跃度指标，其中，所述活跃度指标指示网络安全威胁数据在当前网络环境中的活跃程度；根据网络安全威胁数据所要应用的网络安全检测业务的要求，确定要生成的网络安全威胁数据集合中包括的网络安全威胁数据的规格信息；以及根据所计算的网络安全威胁数据的活跃度指标和所确定的网络安全威胁数据的规格信息，从所述网络安全威胁数据存储库中存储的所述多个网络安全威胁数据中生成要应用于所述网络安全检测业务的网络安全威胁数据集合。

根据本公开的第二方面，提供了一种用于检测网络安全的方法，包括：获取根据前述任一项所述的方法所生成的网络安全威胁数据集合；以及将所获取的网络安全威胁数据集合应用于网络安全检测业务。

根据本公开的第三方面，提供了一种计算机实现的系统，包括：一个或多个处理器；以及一个或多个存储器，被配置为存储一系列计算机可执行指令，其中所述一系列计算机可执行指令在由所述一个或多个处理器运行时使得所述一个或多个处理器执行前述任一项所述的方法。

根据本公开的第四方面，提供了一种非暂态的计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器运行时使得所述一个或多个处理器执行根据前述任一项所述的方法。

根据本公开的一些实施例，可以极大地提升对网络安全威胁数据的管理能力和应用价值。

根据参照附图的以下描述，本发明的其它特性特征和优点将变得清晰。

附图说明

所包括的附图用于说明性目的，并且仅用于提供本文所公开的发明性装置以及将其应用到计算设备的方法的可能结构和布置的示例。这些附图决不限制本领域的技术人员在不脱离实施方案的实质和范围的前提下可对实施方案进行的在形式和细节方面的任何更改。所述实施方案通过下面结合附图的具体描述将更易于理解，其中类似的附图标记表示类似的结构元件。

图1是示意性地示出根据本公开的一些实施例的用于生成网络安全威胁数据集合的过程的流程图。

图2是示意性地示出根据本公开的一些实施例的用于计算网络安全威胁数据的活跃度指标的过程的流程图。

图3是示意性地示出根据本公开的一些实施例的用于计算加权和的过程的流程图。

图4是示意性地示出根据本公开的一些实施例的用于将原始威胁数据录入到网络安全威胁数据存储库的过程的流程图。

图5是示意性地示出根据本公开的一些实施例的用于将原始威胁数据添加到网络安全威胁数据存储库中的过程的流程图。

图6是示意性地示出根据本公开的一些实施例的用于对原始威胁数据进行数据预处理的过程的流程图。

图7是示意性地示出根据本公开的一些实施例的用于指定网络安全威胁数据的生命力指标的初始值的过程的流程图。

图8是示意性地示出根据本公开的一些实施例的用于判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据的过程的流程图。

图9是示意性地示出根据本公开的一些实施例的用于对网络安全威胁数据存储库进行维护的过程的流程图。

图10是示意性地示出根据本公开的一些实施例的用于对网络安全威胁数据存储库中的网络安全威胁数据进行有效性检查的过程的流程图。

图11是示意性地示出根据本公开的一些实施例的用于检测网络安全的过程的流程图。

图12是示意性地示出根据本公开的一些实施例的用于对网络安全威胁数据存储库进行更新的过程的流程图。

图13是示出可用于实施根据本公开的一些实施例的方法的信息处理设备的示意性框图。

具体实施方式

在本部分中提供了根据本文所述实施方案的装置和方法的代表性应用。提供这些示例仅是为了添加上下文并有助于理解所述实施方案。对于本领域的技术人员因此将显而易见的是，本发明所述的实施方案可在不具有这些具体细节中的一些或全部的情况下实施。在其它情况下，未详细描述熟知的工艺步骤，以便避免不必要地模糊本发明所述的实施方案。其它应用也是可能的，使得以下示例不应视为是限制性的。

如上所述，目前业界对网络安全威胁数据的管理方法比较简单，使得使用场景难以匹配复杂的分析场景。例如，目前业界对网络安全威胁数据的管理方法可能存在如下不足。

例如，目前的网络安全威胁数据存储库的规模通常比较大，而庞大的网络安全威胁数据存储库通常难以直接应用于在线检测场景。一般而言，在分析数据集合确定的情况下，网络安全检测的性能与网络安全威胁数据存储库的规模呈现正相关的关系。换言之，网络安全威胁数据存储库的规模越大，网络安全检测的时延就越长。

又例如，在网络安全威胁数据的存储方面，目前的通常方式是直接存储大量原始数据，而没有进行存储和检测方面的优化设计，从而导致大量的数据存储冗余。

再例如，在生成网络安全威胁数据集合方面，目前的通常方式是网络安全威胁数据集合中包括的网络安全威胁数据的数量越庞大越好，而没有考虑网络安全威胁数据与应用场景的针对性，也没有考虑网络安全威胁数据的有效性。因此，目前的技术可能会对网络安全检测带来干扰。

采用本公开的技术方案，可以极大地提升对网络安全威胁数据的管理能力和应用价值。

图1是示意性地示出根据本公开的一些实施例的用于生成网络安全威胁数据集合的过程100的流程图。

如图1中所示，在步骤S101中，可以对于网络安全威胁数据存储库中存储的多个网络安全威胁数据中的每个网络安全威胁数据，根据与网络安全威胁数据有关的历史信息来计算网络安全威胁数据的活跃度指标，其中，所述活跃度指标指示网络安全威胁数据在当前网络环境中的活跃程度。

根据本公开的一些实施例，网络安全威胁数据的活跃度指标的分值越高，则该网络安全威胁数据越容易在网络安全检测业务中被命中。利用网络安全威胁数据的活跃度指标，可以便于根据不同的应用场景、不用的业务需求，定制化地生成包括特定活跃度指标分值的网络安全威胁数据的网络安全威胁数据集合。换言之，利用网络安全威胁数据的活跃度指标生成的网络安全威胁数据具有比较高的命中概率，从而可以极大地提高网络安全检测业务的检测效率。

根据本公开的一些实施例，与网络安全威胁数据有关的历史信息包括以下各项中的至少之一：网络安全威胁数据的数据来源；网络安全威胁数据的未更新时长；网络安全威胁数据的关联度；网络安全威胁数据的最近命中情况；和网络安全威胁数据的生命力指标，其中，生命力指标指示网络安全威胁数据的时效性。注意，与网络安全威胁数据有关的历史信息不限于上述各项。

根据本公开的一些实施例，网络安全威胁数据的数据来源(Data_Source)例如可以包括：网络安全威胁数据可以是从网络中抓取的；网络安全威胁数据可以是从特定数据提供商获得的；网络安全威胁数据可以是用户自己构建的。注意，网络安全威胁数据的数据来源不限于上述各项。

根据本公开的一些实施例，网络安全威胁数据的不同的数据来源可以具有不同的可靠性等级，诸如非常可靠、比较可靠、中等可靠、比较不可靠、非常不可靠等，可以分别对应于数值5到1等。通常，网络安全威胁数据的数据来源的可靠性等级越低，网络安全威胁数据的置信度越低。注意，网络安全威胁数据的数据来源的可靠性等级不限于上述示例。例如，如果网络安全威胁数据是从特定数据提供商获得的，则网络安全威胁数据的可靠性等级可以为非常可靠。又例如，如果网络安全威胁数据是从网络中抓取的，则网络安全威胁数据的可靠性等级可以为中等可靠。再例如，如果网络安全威胁数据是用户自己构建的，则网络安全威胁数据的可靠性等级可以为比较不可靠。

根据本公开的一些实施例，网络安全威胁数据的未更新时长(Old_Time)是通过计算当前时间(Current_Time)与网络安全威胁数据的更新时间(Update_Time)之间的时间差来获得的。换言之，可以通过如下公式(1)计算网络安全威胁数据的未更新时长(Old_Time)：

Old_Time＝Current_Time-Update_Time (1)

根据本公开的一些实施例，当将网络安全威胁数据录入到网络安全威胁数据存储库中时，可以更新网络安全威胁数据的更新时间。通常，网络安全威胁数据的未更新时长越长，即网络安全威胁数据越久没有更新，则网络安全威胁数据的时效性就越弱。根据本公开的一些实施例，可以利用时间戳来计算当前时间与网络安全威胁数据的更新时间之间的时间差作为网络安全威胁数据的未更新时长。

根据本公开的一些实施例，网络安全威胁数据的关联度(Co_Relation)基于网络安全威胁数据的关联主体、关联方式和关联数量中的至少之一。

根据本公开的一些实施例，网络安全威胁数据的关联方式可以例如是一个域名关联到一个或多个IP地址、或者一个IP地址关联到一个或多个域名。根据本公开的一些实施例，网络安全威胁数据的关联主体可以例如是域名、IP地址、文件MD5值等。例如，如果网络安全威胁数据的关联方式是一个域名关联到一个或多个IP地址，则网络安全威胁数据的关联主体可以为域名。又例如，如果网络安全威胁数据的关联方式是一个IP地址关联到一个或多个域名，则网络安全威胁数据的关联主体可以为IP地址。根据本公开的一些实施例，网络安全威胁数据的关联数量可以例如是一个域名所关联的IP地址的数量、或者一个IP地址所关联的域名的数量等。

根据本公开的一些实施例，网络安全威胁数据的最近命中情况(Recent_Num_Query)基于网络安全威胁数据的入库时间、最近命中时间和命中次数中的至少之一。

根据本公开的一些实施例，网络安全威胁数据的入库时间可以是当将网络安全威胁数据录入到网络安全威胁数据存储库中时的时间。根据本公开的一些实施例，网络安全威胁数据的最近命中时间可以是网络安全威胁数据最近一次被命中时的时间。根据本公开的一些实施例，网络安全威胁数据的命中次数可以是网络安全威胁数据从被录入到网络安全威胁数据存储库中以来的累积被命中次数。根据本公开的一些实施例，可以使用插值的方法，基于网络安全威胁数据的入库时间、最近命中时间和命中次数中的至少之一来计算网络安全威胁数据的最近命中情况(Recent_Num_Query)。注意，插值的方法可以是本领域已知的任何插值方法，在此不再赘述。

根据本公开的一些实施例，网络安全威胁数据的生命力指标(Vitality)可以指示网络安全威胁数据的时效性。通常，网络安全威胁数据的生命力指标的值越大，则网络安全威胁数据的时效性就越强。当将网络安全威胁数据录入到网络安全威胁数据存储库中时，可以为网络安全威胁数据指定生命力指标的初始值。后面将详细描述如何为网络安全威胁数据指定生命力指标的初始值。根据本公开的一些实施例，可以调整网络安全威胁数据的生命力指标的值，例如可以根据网络安全威胁数据的命中情况来调整网络安全威胁数据的生命力指标的值。例如，当网络安全威胁数据在网络安全检测业务中被命中时，可以增加网络安全威胁数据的生命力指标的值。另外，例如，当网络安全威胁数据在网络安全检测业务中未被命中时，可以减小网络安全威胁数据的生命力指标的值。

下面结合图2来详细描述用于计算网络安全威胁数据的活跃度指标的过程。图2是示意性地示出根据本公开的一些实施例的用于计算网络安全威胁数据的活跃度指标的过程200的流程图。

如图2中所示，在步骤S201中，可以分别为网络安全威胁数据的数据来源、未更新时长、关联度、最近命中情况和生命力指标指定相应的权重。

根据本公开的一些实施例，可以为网络安全威胁数据的数据来源(Data_Source)指定第一权重“a”。注意，第一权重“a”可以是0与1之间的任意实数(包括端点0和1)。

根据本公开的一些实施例，可以为网络安全威胁数据的未更新时长(Old_Time)指定第二权重“b”。注意，第二权重“b”可以是0与1之间的任意实数(包括端点0和1)。

根据本公开的一些实施例，可以为网络安全威胁数据的关联度(Co_Relation)指定第三权重“c”。注意，第三权重“c”可以是0与1之间的任意实数(包括端点0和1)。

根据本公开的一些实施例，可以为网络安全威胁数据的最近命中情况(Recent_Num_Query)指定第四权重“d”。注意，第四权重“d”可以是0与1之间的任意实数(包括端点0和1)。

根据本公开的一些实施例，可以为网络安全威胁数据的生命力指标(Vitality)指定第五权重“e”。注意，第五权重“e”可以是0与1之间的任意实数(包括端点0和1)。

在步骤S201之后，用于计算网络安全威胁数据的活跃度指标的过程200可以进行到步骤S203。在步骤S203中，可以基于网络安全威胁数据的数据来源、未更新时长、关联度、最近命中情况和生命力指标及其相应的权重来计算加权和，并且将所获得的加权和作为网络安全威胁数据的活跃度指标(R)。

根据本公开的一些实施例，可以计算网络安全威胁数据的数据来源(Data_Source)及其第一权重“a”的加权“a*Data_Source”，可以计算网络安全威胁数据的未更新时长(Old_Time)及其第二权重“b”的加权“b*Old_Time”，可以计算网络安全威胁数据的关联度(Co_Relation)及其第三权重“c”的加权“c*Co_Relation”，可以计算网络安全威胁数据的最近命中情况(Recent_Num_Query)及其第四权重“d”的加权“d*Recent_Num_Query”，可以计算网络安全威胁数据的生命力指标(Vitality)及其第五权重“e”的加权“e*Vitality”。然后，可以将所计算的各个加权相加以得到加权和“a*Data_Source+b*Old_Time+c*Co_Relation+d*Recent_Num_Query+e*Vitality”，并且将所获得的加权和作为网络安全威胁数据的活跃度指标(R)。换言之，通过如下公式(2)来计算网络安全威胁数据的活跃度指标(R)：

R＝a*Data_Source+b*Old_Time+c*Co_Relation+d*Recent_Num_Query+e*Vitality(2)

下面结合图3来详细描述用于计算加权和的过程。图3是示意性地示出根据本公开的一些实施例的用于计算加权和的过程300的流程图。

如图3所示，在步骤S301中，可以分别将对网络安全威胁数据的数据来源、未更新时长、关联度、最近命中情况和生命力指标进行对数运算后获得的对数运算结果乘以相应的权重以得到相应的乘法结果。

根据本公开的一些实施例，可以将对网络安全威胁数据的数据来源(Data_Source)进行对数运算后获得的对数运算结果“log(Data_Source)”乘以第一权重“a”以得到乘法结果“a*log(Data_Source)”，可以将对网络安全威胁数据的未更新时长(Old_Time)进行对数运算后获得的对数运算结果“log(Old_Time)”乘以第二权重“b”以得到乘法结果“b*log(Old_Time)”，可以将对网络安全威胁数据的关联度(Co_Relation)进行对数运算后获得的对数运算结果“log(Co_Relation)”乘以第三权重“c”以得到乘法结果“c*log(Co_Relation)”，可以将对网络安全威胁数据的最近命中情况(Recent_Num_Query)进行对数运算后获得的对数运算结果“log(Recent_Num_Query)”乘以第四权重“d”以得到乘法结果“d*log(Recent_Num_Query)”，可以将对网络安全威胁数据的生命力指标(Vitality)进行对数运算后获得的对数运算结果“log(Vitality)”乘以第五权重“e”以得到乘法结果“e*log(Vitality)”。

在步骤S301之后，用于计算加权和的过程300可以进行到步骤S303。在步骤S303中，可以将所获得的所有乘法结果相加以得到加权和。

根据本公开的一些实施例，可以将所获得的所有乘法结果相加以得到加权和“a*log(Data_Source)+b*log(Old_Time)+c*log(Co_Relation)+d*log(Recent_Num_Query)+e*log(Vitality)”。然后，可以将所获得的加权和作为网络安全威胁数据的活跃度指标(R)。换言之，通过如下公式(3)来计算网络安全威胁数据的活跃度指标(R)：

R＝a*log(Data_Source)+b*log(Old_Time)+c*log(Co_Relation)+d*log(Recent_Num_Query)+e*log(Vitality)(3)

注意，用于计算加权和的过程不限于上述示例，还可以采用其他方式来计算加权和。

在步骤S303之后，用于计算加权和的过程300可以结束。

返回参考图2，在步骤S203之后，用于计算网络安全威胁数据的活跃度指标的过程200可以结束。

返回参考图1，在步骤S101之后，用于生成网络安全威胁数据集合的过程100可以进行到步骤S103。在步骤S103中，可以根据网络安全威胁数据所要应用的网络安全检测业务的要求，确定要生成的网络安全威胁数据集合中包括的网络安全威胁数据的规格信息。

根据本公开的一些实施例，要生成的网络安全威胁数据集合中包括的网络安全威胁数据的规格信息可以包括以下各项中的至少之一：网络安全威胁数据的威胁类型；和网络安全威胁数据的数量。

根据本公开的一些实施例，可以根据网络安全威胁数据所要应用的网络安全检测业务的要求、应用场景等因素来确定要生成的网络安全威胁数据集合中包括的网络安全威胁数据的威胁类型、数量等基本规格信息。

返回参考图1，在步骤S103之后，用于生成网络安全威胁数据集合的过程100可以进行到步骤S105。在步骤S105中，可以根据所计算的网络安全威胁数据的活跃度指标和所确定的网络安全威胁数据的规格信息，从网络安全威胁数据存储库中存储的多个网络安全威胁数据中生成要应用于网络安全检测业务的网络安全威胁数据集合。

在步骤S103之后，用于生成网络安全威胁数据集合的过程100可以结束。

根据本公开的一些实施例，可以根据网络安全威胁数据的诸如数据来源、最近命中次数等各种历史信息来计算网络安全威胁数据的活跃度指标，有效地生成要应用于网络安全检测业务的网络安全威胁数据集合，从而可以极大地提高网络安全威胁数据的命中率，并且可以实现实时在线网络安全检测的性能要求。

下面结合图4来描述根据本公开的一些实施例的用于将原始威胁数据录入到网络安全威胁数据存储库的过程。图4是示意性地示出根据本公开的一些实施例的用于将原始威胁数据录入到网络安全威胁数据存储库的过程400的流程图。

如图4所示，在步骤S401中，可以从网络安全威胁数据存储库外部获取原始威胁数据。

根据本公开的一些实施例，例如，可以从网络中抓取网络安全威胁数据；可以从特定数据提供商获得网络安全威胁数据；可以由用户自己构的网络安全威胁数据。

在步骤S401之后，用于将原始威胁数据录入到网络安全威胁数据存储库的过程400可以进行到步骤S403。在步骤S403中，可以判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据。

下面结合图8来详细描述用于判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据的过程。图8是示意性地示出根据本公开的一些实施例的用于判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据的过程800的流程图。

如图8所示，在步骤S801中，可以从原始威胁数据中抽取与威胁类型和内容主体有关的信息。

根据本公开的一些实施例，原始威胁数据(或者网络安全威胁数据)的威胁类型可以是例如域名、IP地址、文件MD5值等。根据本公开的一些实施例，原始威胁数据(或者网络安全威胁数据)的内容主体可以是与威胁类型对应的具体内容，例如与域名对应的“xxx.xxx.cc”、与IP地址对应的“202.111.xxx.xxx”、与文件MD5值对应的“abc49xx…”等。

在步骤S801之后，用于判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据的过程800可以进行到步骤S803。在步骤S803中，可以通过将从原始威胁数据中抽取的与威胁类型和内容主体有关的第一信息和网络安全威胁数据存储库中的网络安全威胁数据的与威胁类型和内容主体有关的第二信息进行比较，判断第一信息和第二信息是否相同。

如果第一信息和第二信息相同(步骤S803中为“是”)，则用于判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据的过程800可以进行到步骤S805。在步骤S805中，可以确定网络安全威胁数据存储库中存在与所获取的原始威胁数据相同的网络安全威胁数据。

如果第一信息和第二信息不相同(步骤S803中为“否”)，则用于判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据的过程800可以进行到步骤S807。在步骤S807中，可以确定网络安全威胁数据存储库中不存在与所获取的原始威胁数据相同的网络安全威胁数据。

在步骤S805或步骤S807之后，用于判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据的过程800可以结束。

返回参考图4，如果网络安全威胁数据存储库中存在与所获取的原始威胁数据相同的网络安全威胁数据(步骤S403中为“是”)，则用于将原始威胁数据录入到网络安全威胁数据存储库的过程400可以进行到步骤S405。在步骤S405中，可以利用原始威胁数据更新网络安全威胁数据存储库中的相应的网络安全威胁数据。

根据本公开的一些实施例，在网络安全威胁数据存储库中存在与所获取的原始威胁数据相同的网络安全威胁数据的情况下，可以利用原始威胁数据中的相应存储字段的信息来更新网络安全威胁数据存储库中的相应的网络安全威胁数据。后面将更详细地说明原始威胁数据(或网络安全威胁数据)中的各个存储字段。

根据本公开的上述实施例，由于在将原始威胁数据录入到网络安全威胁数据存储库中时会判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据，所以可以有效减少网络安全威胁数据存储库中的存储冗余。

返回参考图4，如果网络安全威胁数据存储库中不存在与所获取的原始威胁数据相同的网络安全威胁数据(步骤S403中为“否”)，则用于将原始威胁数据录入到网络安全威胁数据存储库的过程400可以进行到步骤S407。在步骤S407中，可以将原始威胁数据添加到网络安全威胁数据存储库中作为网络安全威胁数据。

根据本公开的一些实施例，在网络安全威胁数据存储库中不存在与所获取的原始威胁数据相同的网络安全威胁数据的情况下，可以将原始威胁数据作为新的网络安全威胁数据添加到网络安全威胁数据存储库中。

下面结合图5来详细描述用于将原始威胁数据添加到网络安全威胁数据存储库中的过程。图5是示意性地示出根据本公开的一些实施例的用于将原始威胁数据添加到网络安全威胁数据存储库中的过程500的流程图。

如图5所示，在步骤S501中，可以对原始威胁数据进行数据预处理以得到符合所述网络安全威胁数据存储库的存储格式要求的标准化威胁数据。

下面结合图6来详细描述用于对原始威胁数据进行数据预处理的过程。图6是示意性地示出根据本公开的一些实施例的用于对原始威胁数据进行数据预处理的过程600的流程图。

如图6所示，在步骤S601中，可以分别按照网络安全威胁数据存储库中的网络安全威胁数据的存储字段从原始威胁数据中抽取相应的信息。

根据本公开的一些实施例，网络安全威胁数据的存储字段包括以下各项中的至少之一：编号；入库时间；更新时间；数据来源；威胁类型；内容主体；简要描述；地区；关联主体；关联方式；关联数量；最近命中时间；和命中次数。注意，网络安全威胁数据的存储字段不限于上述各项。

根据本公开的一些实施例，网络安全威胁数据的编号可以是例如网络安全威胁数据的序号等。根据本公开的一些实施例，网络安全威胁数据的入库时间可以是当将网络安全威胁数据录入到网络安全威胁数据存储库中时的时间。根据本公开的一些实施例，网络安全威胁数据的更新时间可以是当利用原始威胁数据更新网络安全威胁数据存储库中的对应网络安全威胁数据时的时间。根据本公开的一些实施例，网络安全威胁数据的数据来源(Data_Source)例如可以包括：网络安全威胁数据可以是从网络中抓取的；网络安全威胁数据可以是从特定数据提供商获得的；网络安全威胁数据可以是用户自己构建的。根据本公开的一些实施例，网络安全威胁数据的威胁类型可以是例如域名、IP地址、文件MD5值等。根据本公开的一些实施例，网络安全威胁数据的内容主体可以是与威胁类型对应的具体内容，例如与域名对应的“xxx.xxx.cc”、与IP地址对应的“202.111.xxx.xxx”、与文件MD5值对应的“abc49xx…”等。根据本公开的一些实施例，网络安全威胁数据的简要描述可以例如是对网络安全威胁数据的诸如备注之类的概要描述。根据本公开的一些实施例，网络安全威胁数据的地区可以是网络安全威胁数据所涉及的区域范围，例如某个国家、某个省、某个县或某个城市等。根据本公开的一些实施例，网络安全威胁数据的关联方式可以例如是一个域名关联到一个或多个IP地址、或者一个IP地址关联到一个或多个域名。根据本公开的一些实施例，网络安全威胁数据的关联主体可以例如是域名、IP地址、文件MD5值等。例如，如果网络安全威胁数据的关联方式是一个域名关联到一个或多个IP地址，则网络安全威胁数据的关联主体可以为域名。又例如，如果网络安全威胁数据的关联方式是一个IP地址关联到一个或多个域名，则网络安全威胁数据的关联主体可以为IP地址。根据本公开的一些实施例，网络安全威胁数据的关联数量可以例如是一个域名所关联的IP地址的数量、或者一个IP地址所关联的域名的数量等。根据本公开的一些实施例，网络安全威胁数据的最近命中时间可以是网络安全威胁数据最近一次被命中时的时间。根据本公开的一些实施例，网络安全威胁数据的命中次数可以是网络安全威胁数据从被录入到网络安全威胁数据存储库中以来的累积被命中次数。

在步骤S601之后，用于对原始威胁数据进行数据预处理的过程600可以进行到步骤S603。在步骤S603中，可以根据所抽取的相应的信息为原始威胁数据指定与原始威胁数据对应的网络安全威胁数据的生命力指标的初始值。

下面结合图7来详细描述用于指定网络安全威胁数据的生命力指标的初始值的过程。图7是示意性地示出根据本公开的一些实施例的用于指定网络安全威胁数据的生命力指标的初始值的过程700的流程图。

如图7所示，在步骤S701中，可以根据所抽取的与数据来源和威胁类型中的至少之一有关的信息来指定与原始威胁数据对应的网络安全威胁数据的生命力指标的初始值。

根据本公开的一些实施例，可以根据网络安全威胁数据的数据来源的可靠性等级为网络安全威胁数据指定不同的生命力指标初始值。例如，如果网络安全威胁数据的数据来源的可靠性等级越高，则为网络安全威胁数据指定的生命力指标初始值就越大，反之亦然。

根据本公开的一些实施例，可以根据网络安全威胁数据的威胁类型的不同为网络安全威胁数据指定不同的生命力指标初始值。例如，如果网络安全威胁数据的威胁类型为文件MD5值，则为网络安全威胁数据指定较大的生命力指标初始值。又例如，如果网络安全威胁数据的威胁类型为域名，则为网络安全威胁数据指定较小的生命力指标初始值。

在步骤S701之后，用于指定网络安全威胁数据的生命力指标的初始值的过程700可以结束。

返回参考图6，在步骤S603之后，用于对原始威胁数据进行数据预处理的过程600可以结束。

返回参考图5，在步骤S501之后，用于将原始威胁数据添加到网络安全威胁数据存储库中的过程500可以进行到步骤S503。在步骤S503中，可以将标准化威胁数据添加到网络安全威胁数据存储库中作为网络安全威胁数据。

在步骤S503之后，用于将原始威胁数据添加到网络安全威胁数据存储库中的过程500可以结束。

根据本公开的上述实施例，由于在将原始威胁数据录入到网络安全威胁数据存储库中时保存了网络安全威胁数据间的关联和网络安全威胁数据的命中情况等有用信息，所以可以有效减少网络安全威胁数据存储库中的存储冗余。

返回参考图4，在步骤S405或步骤S407之后，用于将原始威胁数据录入到网络安全威胁数据存储库的过程400可以结束。

根据本公开的上述实施例，由于在将原始威胁数据录入到网络安全威胁数据存储库中时会判断网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据，而且还保存了网络安全威胁数据间的关联和网络安全威胁数据的命中情况等有用信息，所以可以有效减少网络安全威胁数据存储库中的存储冗余。

下面结合图9来详细描述用于对网络安全威胁数据存储库进行维护的过程。图9是示意性地示出根据本公开的一些实施例的用于对网络安全威胁数据存储库进行维护的过程900的流程图。

如图9所示，在步骤S901中，可以对网络安全威胁数据存储库中的网络安全威胁数据进行有效性检查。

根据本公开的一些实施例，可以定期地对网络安全威胁数据存储库中的网络安全威胁数据进行有效性检查，以及时地将失效的网络安全威胁数据从网络安全威胁数据存储库中移除，以避免对网络安全检测业务带来干扰。

下面结合图10来详细描述用于对网络安全威胁数据存储库中的网络安全威胁数据进行有效性检查的过程。图10是示意性地示出根据本公开的一些实施例的用于对网络安全威胁数据存储库中的网络安全威胁数据进行有效性检查的过程1000的流程图。

如图10所示，在步骤S1001中，可以根据网络安全威胁数据存储库中的网络安全威胁数据的生命力指标和/或活跃度指标来判断网络安全威胁数据是否有效。

根据本公开的一些实施例，可以根据网络安全威胁数据存储库中的网络安全威胁数据的生命力指标来判断网络安全威胁数据是否有效。例如，当网络安全威胁数据的生命力指标的值变成零时，可以指示该网络安全威胁数据已经失效。

根据本公开的一些实施例，可以根据网络安全威胁数据存储库中的网络安全威胁数据的活跃度指标来判断网络安全威胁数据是否有效。例如，当网络安全威胁数据的活跃度指标的分值低于预定分数阈值时，可以指示该网络安全威胁数据已经失效。注意，可以根据经验或统计地确定预定分数阈值，本公开对此不做限制。

根据本公开的一些实施例，还可以根据网络安全威胁数据存储库中的网络安全威胁数据的生命力指标和活跃度指标两者来判断网络安全威胁数据是否有效。

在步骤S1001之后，用于对网络安全威胁数据存储库中的网络安全威胁数据进行有效性检查的过程1000可以结束。

返回参考图9，在步骤S901之后，用于对网络安全威胁数据存储库进行维护的过程900可以进行到步骤S903。在步骤S903中，可以在网络安全威胁数据存储库中的网络安全威胁数据失效的情况下，将失效的网络安全威胁数据从网络安全威胁数据存储库中剔除。

在步骤S903之后，用于对网络安全威胁数据存储库进行维护的过程900可以结束。

根据本公开的上述实施例，可以及时地将失效的网络安全威胁数据从网络安全威胁数据存储库中移除，以避免对网络安全检测业务带来干扰。

下面结合图11来详细描述用于检测网络安全的过程。图11是示意性地示出根据本公开的一些实施例的用于检测网络安全的过程1100的流程图。

如图11所示，在步骤S1101中，可以获取根据前述任一项所述的方法所生成的网络安全威胁数据集合。

在步骤S1101之后，用于检测网络安全的过程1100可以进行到步骤S1103。在步骤S1103中，可以将所获取的网络安全威胁数据集合应用于网络安全检测业务。

在步骤S1103之后，用于检测网络安全的过程1100可以结束。

根据本公开的上述实施例，可以依据不同的场景、不同的网络安全检测安全要求，定制化地生成特定类型、特定数量、特定活跃度指标的网络安全威胁数据集合，以应对不同的网络安全检测业务的要求，从而提升了应用价值。

下面结合图12来详细描述用于对网络安全威胁数据存储库进行更新的过程。图12是示意性地示出根据本公开的一些实施例的用于对网络安全威胁数据存储库进行更新的过程1200的流程图。

如图12所示，在步骤S1201中，可以根据网络安全检测业务的命中结果来更新被命中的网络安全威胁数据的相应的存储字段和/或调整在计算网络安全威胁数据的活跃度指标时使用的历史信息的权重。

根据本公开的一些实施例，在网络安全检测业务完成之后，可以根据网络安全检测业务的命中结果来更新被命中的网络安全威胁数据的相应的存储字段，例如最近命中时间、命中次数、生命力指标等存储字段。

根据本公开的一些实施例，在网络安全检测业务完成之后，可以根据网络安全检测业务的命中结果调整在计算网络安全威胁数据的活跃度指标时使用的历史信息的权重，例如上述第一权重“a”至第五权重“e”。

根据本公开的一些实施例，在网络安全检测业务完成之后，还可以根据网络安全检测业务的命中结果来进行上述更新和调整两者。

在步骤S1201之后，用于对网络安全威胁数据存储库进行更新的过程1200可以进行到步骤S1203。在步骤S1203中，可以根据更新后的网络安全威胁数据的相应的存储字段和/或调整后的权重来重新计算网络安全威胁数据的生命力指标和活跃度指标。

在步骤S1203之后，用于对网络安全威胁数据存储库进行更新的过程1200可以结束。

根据本公开的上述实施例，可以不断地对网络安全威胁数据存储库中的网络安全威胁数据进行更新，及时地发现并且剔除老旧失效数据，以避免对网络安全检测业务带来干扰。

根据本公开的一些实施例，提供了一种计算机实现的系统，包括：一个或多个处理器；以及一个或多个存储器，被配置为存储一系列计算机可执行指令，其中所述一系列计算机可执行指令在由所述一个或多个处理器运行时使得所述一个或多个处理器执行前述任一项所述的方法。

根据本公开的一些实施例，提供了一种非暂态的计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器运行时使得所述一个或多个处理器执行根据前述任一项所述的方法。

图13是示出可用于实施根据本公开的一些实施例的方法的信息处理设备的示意性框图。

在图13中，中央处理单元(CPU)1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中，也根据需要存储当CPU 1301执行各种处理等等时所需的数据。CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入/输出接口1305也连接到总线1304。

下述部件连接到输入/输出接口1305：输入部分1306(包括键盘、鼠标等等)、输出部分1307(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1308(包括硬盘等)、通信部分1309(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1309经由网络比如因特网执行通信处理。根据需要，驱动器1310也可连接到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图13所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

所述指令代码由机器读取并执行时，可执行上述根据本公开实施例的方法。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开各个方面的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、python等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。

也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

注意，为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

Claims (18)

1.一种用于生成网络安全威胁数据集合的方法，包括：

对于网络安全威胁数据存储库中存储的多个网络安全威胁数据中的每个网络安全威胁数据，根据与网络安全威胁数据有关的历史信息来计算网络安全威胁数据的活跃度指标，其中，所述活跃度指标指示网络安全威胁数据在当前网络环境中的活跃程度，所述与网络安全威胁数据有关的历史信息包括网络安全威胁数据的数据来源、未更新时长、关联度、最近命中情况和生命力指标，其中，所述生命力指标指示网络安全威胁数据的时效性；

根据网络安全威胁数据所要应用的网络安全检测业务的要求，确定要生成的网络安全威胁数据集合中包括的网络安全威胁数据的规格信息；以及

根据所计算的网络安全威胁数据的活跃度指标和所确定的网络安全威胁数据的规格信息，从所述网络安全威胁数据存储库中存储的所述多个网络安全威胁数据中生成要应用于所述网络安全检测业务的网络安全威胁数据集合；

其中，所述根据与网络安全威胁数据有关的历史信息来计算网络安全威胁数据的活跃度指标包括：

分别为网络安全威胁数据的数据来源、未更新时长、关联度、最近命中情况和生命力指标指定相应的权重，以及

基于网络安全威胁数据的数据来源、未更新时长、关联度、最近命中情况和生命力指标及其相应的权重来计算加权和，并且将所获得的加权和作为网络安全威胁数据的所述活跃度指标。

2.根据权利要求1所述的方法，其中，网络安全威胁数据的所述未更新时长是通过计算当前时间与网络安全威胁数据的更新时间之间的时间差来获得的。

3.根据权利要求1所述的方法，其中，网络安全威胁数据的所述关联度基于网络安全威胁数据的关联主体、关联方式和关联数量中的至少之一。

4.根据权利要求1所述的方法，其中，网络安全威胁数据的最近命中情况基于网络安全威胁数据的入库时间、最近命中时间和命中次数中的至少之一。

5.根据权利要求1-4任意一项所述的方法，其中，所述基于网络安全威胁数据的数据来源、未更新时长、关联度、最近命中情况和生命力指标及其相应的权重来计算加权和包括：

分别将对网络安全威胁数据的数据来源、未更新时长、关联度、最近命中情况和生命力指标进行对数运算后获得的对数运算结果乘以相应的权重以得到相应的乘法结果；以及

将所获得的所有乘法结果相加以得到所述加权和。

6.根据权利要求1所述的方法，还包括：

从所述网络安全威胁数据存储库外部获取原始威胁数据；

判断所述网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据；

若是，则利用所述原始威胁数据更新所述网络安全威胁数据存储库中的相应的网络安全威胁数据；

若否，则将所述原始威胁数据添加到所述网络安全威胁数据存储库中作为网络安全威胁数据。

7.根据权利要求6所述的方法，其中，所述将所述原始威胁数据添加到所述网络安全威胁数据存储库中包括：

对所述原始威胁数据进行数据预处理以得到符合所述网络安全威胁数据存储库的存储格式要求的标准化威胁数据；以及

将所述标准化威胁数据添加到所述网络安全威胁数据存储库中作为网络安全威胁数据。

8.根据权利要求7所述的方法，其中，所述对所述原始威胁数据进行数据预处理以得到符合所述网络安全威胁数据存储库的存储格式要求的标准化威胁数据包括：

分别按照所述网络安全威胁数据存储库中的网络安全威胁数据的存储字段从所述原始威胁数据中抽取相应的信息；以及

根据所抽取的相应的信息为所述原始威胁数据指定与所述原始威胁数据对应的网络安全威胁数据的生命力指标的初始值。

9.根据权利要求8所述的方法，其中，网络安全威胁数据的所述存储字段包括以下各项中的至少之一：编号；入库时间；更新时间；数据来源；威胁类型；内容主体；简要描述；地区；关联主体；关联方式；关联数量；最近命中时间；和命中次数。

10.根据权利要求9所述的方法，其中，所述根据所抽取的相应的信息为所述原始威胁数据指定与所述原始威胁数据对应的网络安全威胁数据的生命力指标的初始值包括：

根据所抽取的与数据来源和威胁类型中的至少之一有关的信息来指定与所述原始威胁数据对应的网络安全威胁数据的生命力指标的初始值。

11.根据权利要求6所述的方法，其中，所述判断所述网络安全威胁数据存储库中是否存在与所获取的原始威胁数据相同的网络安全威胁数据包括：

从所述原始威胁数据中抽取与威胁类型和内容主体有关的信息；

通过将从所述原始威胁数据中抽取的与威胁类型和内容主体有关的第一信息和所述网络安全威胁数据存储库中的网络安全威胁数据的与威胁类型和内容主体有关的第二信息进行比较，判断第一信息和第二信息是否相同；

若第一信息和第二信息相同，则确定所述网络安全威胁数据存储库中存在与所获取的原始威胁数据相同的网络安全威胁数据；

若第一信息和第二信息不相同，则确定所述网络安全威胁数据存储库中不存在与所获取的原始威胁数据相同的网络安全威胁数据。

12.根据权利要求1所述的方法，还包括：

对所述网络安全威胁数据存储库中的网络安全威胁数据进行有效性检查；

在所述网络安全威胁数据存储库中的网络安全威胁数据失效的情况下，将失效的网络安全威胁数据从所述网络安全威胁数据存储库中剔除。

13.根据权利要求12所述的方法，其中，所述对所述网络安全威胁数据存储库中的网络安全威胁数据进行有效性检查包括：

根据所述网络安全威胁数据存储库中的网络安全威胁数据的生命力指标和/或活跃度指标来判断网络安全威胁数据是否有效。

14.根据权利要求1所述的方法，其中，所述要生成的网络安全威胁数据集合中包括的网络安全威胁数据的规格信息包括以下各项中的至少之一：

网络安全威胁数据的威胁类型；和

网络安全威胁数据的数量。

15.一种用于检测网络安全的方法，包括：

获取根据权利要求1-14中任一项所述的方法所生成的网络安全威胁数据集合；以及

将所获取的网络安全威胁数据集合应用于网络安全检测业务。

16.根据权利要求15所述的方法，还包括：

根据所述网络安全检测业务的命中结果来更新被命中的网络安全威胁数据的相应的存储字段和/或调整在计算网络安全威胁数据的活跃度指标时使用的历史信息的权重；以及

根据更新后的网络安全威胁数据的相应的存储字段和/或调整后的权重来重新计算网络安全威胁数据的生命力指标和活跃度指标。

17.一种计算机实现的系统，包括：

一个或多个处理器；以及

一个或多个存储器，被配置为存储一系列计算机可执行指令，

其中所述一系列计算机可执行指令在由所述一个或多个处理器运行时使得所述一个或多个处理器执行根据权利要求1-16中的任一项所述的方法。

18.一种非暂态的计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器运行时使得所述一个或多个处理器执行根据权利要求1-16中的任一项所述的方法。