CN106055981A - 威胁情报的生成方法及装置 - Google Patents

威胁情报的生成方法及装置 Download PDF

Info

Publication number
CN106055981A
CN106055981A CN201610391152.8A CN201610391152A CN106055981A CN 106055981 A CN106055981 A CN 106055981A CN 201610391152 A CN201610391152 A CN 201610391152A CN 106055981 A CN106055981 A CN 106055981A
Authority
CN
China
Prior art keywords
domain
file
name information
information
malicious file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610391152.8A
Other languages
English (en)
Other versions
CN106055981B (zh
Inventor
边亮
陈雍
刘嘉磊
赵雨婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hongxiang Technical Service Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201610391152.8A priority Critical patent/CN106055981B/zh
Publication of CN106055981A publication Critical patent/CN106055981A/zh
Application granted granted Critical
Publication of CN106055981B publication Critical patent/CN106055981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/562—Static detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Virology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种威胁情报的生成方法及装置。该方法包括：扫描并获取样本集合中包含的多个恶意文件；根据预设的分类规则对所述多个恶意文件进行分类；根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；将所述域名信息存储到预设的黑集合中，根据所述黑集合生成威胁情报。由此可见，本发明实施例提供的威胁情报的生成方法及装置，至少能够解决传统的网络防御方式因实时性较差，而无法及时发现最新出现的恶意文件的技术问题。

Description

威胁情报的生成方法及装置
技术领域
本发明涉及网络通信技术领域，具体涉及一种威胁情报的生成方法及装置。
背景技术
随着通信技术的不断发展，互联网已经融入了生活的方方面面。然而，黑客技术作为互联网发展的衍生物，也变得无孔不入，日益严峻地威胁着网络安全。为此，出现了各种各样的防御手段来应对黑客的入侵。例如，网盾、杀毒软件、安全卫士、网络保镖等安全软件都能够在一定程度上抵御黑客的入侵，维护网络安全。
但是，发明人在实现本发明的过程中，发现现有技术中的上述安全软件至少存在如下问题：现有的安全软件大多是根据数据访问记录来查杀恶意文件，但是，由于数据访问记录具有一定的滞后性，导致实时性较差，无法及时发现最新出现的恶意文件，因此，安全防御效果较差。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的威胁情报的生成方法及装置。
依据本发明的一个方面，提供了一种威胁情报的生成方法，包括：扫描并获取样本集合中包含的多个恶意文件；根据预设的分类规则对所述多个恶意文件进行分类；根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；将所述域名信息存储到预设的黑集合中，根据所述黑集合生成威胁情报。
可选地，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
可选地，所述提取各个类别的恶意文件中包含的域名信息的实现方式包括：动态提取方式和/或静态提取方式，其中，所述动态提取方式通过虚拟机或沙箱实现，所述静态提取方式通过预设的脚本文件实现。
可选地，所述提取各个类别的恶意文件中包含的域名信息的步骤之后，所述将所述域名信息存储到预设的黑集合中的步骤之前，进一步包括步骤：根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种：根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
可选地，所述将所述域名信息存储到预设的黑集合中的步骤之后，进一步包括步骤：根据聚类算法对所述黑集合中的各个域名进行聚类处理；其中，所述聚类算法包括相似度算法。
可选地，进一步包括步骤：获取并展示聚类处理后的各个域名信息之间的关联关系。
可选地，所述根据所述黑集合生成威胁情报的步骤具体包括：判断访问请求中是否包含所述黑集合中的域名信息，若判断结果为是，针对所述访问请求生成威胁提示信息，和/或对所述访问请求进行拦截。
可选地，所述样本集合为增量样本集合和/或全量样本集合，且所述恶意文件包括以下中的一种或多种：后门程序、病毒和木马。
依据本发明的另一方面，提供了一种威胁情报的生成装置，包括：扫描模块，适于扫描并获取样本集合中包含的多个恶意文件；分类模块，适于根据预设的分类规则对所述多个恶意文件进行分类；提取模块，适于根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；生成模块，适于将所述域名信息存储到预设的黑集合中，根据所述黑集合生成威胁情报。
可选地，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
可选地，所述提取模块具体用于：通过虚拟机或沙箱进行动态提取，通过预设的脚本文件进行静态提取。
可选地，进一步包括：过滤模块，适于根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种：根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
可选地，进一步包括：聚类模块，适于根据聚类算法对所述黑集合中的各个域名进行聚类处理；其中，所述聚类算法包括相似度算法。
可选地，进一步包括：展示模块，适于获取并展示聚类处理后的各个域名信息之间的关联关系。
可选地，所述生成模块具体用于：判断访问请求中是否包含所述黑集合中的域名信息，若判断结果为是，针对所述访问请求生成威胁提示信息，和/或对所述访问请求进行拦截。
可选地，所述样本集合为增量样本集合和/或全量样本集合，且所述恶意文件包括以下中的一种或多种：后门程序、病毒和木马。
在本发明提供的威胁情报的生成方法及装置中，首先，基于样本集合获取恶意文件，然后，根据恶意文件中包含的域名信息生成黑集合，最后，根据黑集合来生成威胁情报。由于样本集合能够实时更新，因此，本发明中的黑集合也可以实时更新，以便收入更加全面的黑域名，并据此生成更为准确的威胁情报。由此可见，本发明提供的方式由于实时性更好，因此，能够更加及时地发现潜在的威胁，从而提升了网络安全性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种威胁情报的生成方法的流程图；
图2示出了本发明另一个实施例提供的一种威胁情报的生成方法的流程图；
图3示出了白集合的生成方法的流程图；
图4示出了本发明另一个实施例提供的一种威胁情报的生成装置的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种威胁情报的生成方法及装置，至少能够解决传统的网络防御方式因实时性较差，而无法及时发现最新出现的恶意文件的技术问题。
图1示出了本发明实施例提供的一种威胁情报的生成方法的流程图。如图1所示，该方法包括：
步骤S110：扫描并获取样本集合中包含的多个恶意文件。
其中，样本集合既可以是增量样本集合也可以是全量样本集合。由于样本集合能够实时更新，因此，能够及时收录最新出现的恶意文件。具体扫描时，可以通过各种类型的扫描器来判断样本集合中的各个文件是否为恶意文件。
步骤S120：根据预设的分类规则对多个恶意文件进行分类。
其中，分类规则可以灵活设定。例如，在本实施例中，可以将恶意文件进一步细分为木马、病毒和后门几种类别。
步骤S130：根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息。
其中，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址，利用文件结构特征能够快速准确地定位域名信息的位置。具体提取时，可以通过动态提取方式和/或静态提取方式实现。其中，动态提取方式可以通过虚拟机或沙箱实现，静态提取方式可以通过预设的脚本文件实现。
步骤S140：将域名信息存储到预设的黑集合中，根据黑集合生成威胁情报。
其中，根据黑集合生成威胁情报的步骤具体包括：每当接收到访问请求时，判断访问请求中是否包含黑集合中的域名信息，若判断结果为是，则针对访问请求生成威胁提示信息，和/或对访问请求进行拦截。
由此可见，在本发明提供的威胁情报的生成方法中，首先，基于样本集合获取恶意文件，然后，根据恶意文件中包含的域名信息生成黑集合，最后，根据黑集合来生成威胁情报。由于样本集合能够实时更新，因此，本发明中的黑集合也可以实时更新，以便收入更加全面的黑域名，并据此生成更为准确的威胁情报。由此可见，本发明提供的方式由于实时性更好，因此，能够更加及时地发现潜在的威胁，从而提升了网络安全性。
图2示出了本发明另一个具体实施例提供的一种威胁情报的生成方法的流程图。如图2所示，该方法包括：
步骤S210：扫描并获取样本集合中包含的多个恶意文件。
其中，该样本集合中的样本来源可能源于一个或多个公司的样本文件，并且，该样本集合可以通过该公司的增量样本文件和/或全量样本文件生成。总之，每当有新增样本时，该样本集合可以根据新增样本进行实时更新，以尽可能及时地收录更加全面的样本文件。
具体地，扫描过程可以通过各种类型的扫描器或查杀器实现。通过扫描能够确定样本集合中的各个文件的文件属性，例如，正常的白文件、感染性文件、流氓推广性文件以及恶意文件等。总之，通过本步骤能够将文件属性为恶意文件的样本文件全部提取出来，以备后续处理。
其中，本步骤中的恶意文件的具体涵盖范围可以根据需要灵活设定，例如，恶意文件可以是广义的，包括木马、病毒、后门等各种类型，以便尽可能全面地收集黑域名；或者，恶意文件也可以是狭义的，仅包括木马、病毒或后门中的其中一种类型，以便有针对性地处理特定类型的文件。在本实施例中，恶意文件的涵盖范围较宽，包括木马、病毒、后门等各种类型。
步骤S220：根据预设的分类规则对多个恶意文件进行分类。
由于恶意文件的种类繁多，为了便于后续处理，在本步骤中，按照预设的分类规则将上一步骤中得到的多个恶意文件进一步细分为多种类别。具体地，可以将恶意文件进一步划分为如下几种类别：木马、病毒以及后门。本领域技术人员还可以根据需要将恶意文件进一步细分为更多种类型或合并为更少的类型，本发明对具体的分类方式和分类数量不做限定，只要能够实现便于后续处理的效果即可。例如，对于后门而言，又进一步包含多种家族及变种，如灰鸽子、大灰狼等多种，此时，可以进一步将后门细分为多种子类型，以便后期进行更为细致的分类处理。
具体实现时，为了确定恶意文件的具体类型，可以通过更加精细的扫描器进行二次扫描。或者，也可以预先分析各种类型的恶意文件的结构特征，并根据各种类型的恶意文件的结构特征编写相应的脚本文件，通过脚本文件自动提取恶意文件的部分内容并判断是否符合某一类型的结构特征，根据判断结果进行分类。另外，除了通过脚本实现分类之外，还可以灵活通过虚拟机或沙箱等虚拟执行的方式进行分类，本发明对此不作限定。
步骤S230：根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息。
其中，各个类别的恶意文件的文件结构特征可以预先通过人工分析或机器学习等多种方式确定。每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。例如，对于大灰狼或灰鸽子类型的恶意文件而言，其中包含域名信息的位置是相对固定的，该固定位置可能是某一子文件的倒数10个字节或两个偏移。由此可见，根据各个类别的恶意文件的文件结构特征，能够快速定位其中包含的域名信息。
具体地，定位并提取各个类别的恶意文件中包含的域名信息的步骤至少能够通过下述两种方式实现：在第一种实现方式中，通过动态提取方式进行动态提取。相应地，可以通过虚拟机或沙箱对恶意文件进行虚拟执行，在执行过程中通过抓包来确定其中包含的域名信息。该方式能够获取到恶意文件执行过程中的动态信息，能够更加准确地确定恶意文件的行为特征。在第二种实现方式中，通过静态提取方式进行静态提取。相应地，可以根据恶意文件的文件结构特征编写脚本文件，该脚本文件的功能在于：定位恶意文件中包含域名信息的位置，并自动提取该位置所包含的域名信息。该方式由于不需要虚拟执行，因此更节约内存空间，处理速度更快。具体实现时，本领域技术人员可以灵活采取上述两种方式中的至少一种，或者，也可以将两种方式相结合，以充分发挥二者的优势。
步骤S240：根据预设的过滤规则对提取到的域名信息进行过滤。
本步骤是一个可选的步骤，在本发明其他的实施例中也可以省略本步骤。本步骤的执行目的在于：过滤掉不符合要求的域名信息，以提高后续建立的黑集合的纯度，进而提高威胁情报的准确度。其中，过滤规则可以灵活制定，例如，可以包括下述两种规则中的至少一种：第一种规则为，根据预设的白名单过滤掉包含在白名单中的域名信息，其中，白名单可以预先通过各种方式建立，其中存储已被确定为安全域名的域名信息，通过该种方式能够过滤掉因测试目的或其他目的而被写入恶意文件中的安全域名。第二种规则为，根据预设的域名规则过滤掉不符合域名规则的域名信息，其中，域名规则是预先确定的正常域名应满足的规则，通过该种方式能够过滤掉非正常域名，例如某些恶意文件中会包含由乱码构成的假域名。通过过滤能够去除恶意文件的域名信息中的噪点，确保从恶意文件中提取到的域名为纯黑的域名，即恶意域名。
步骤S250：将过滤后的域名信息存储到预设的黑集合中，根据聚类算法对黑集合中的各个域名进行聚类处理。
其中，黑集合用于存储所有恶意域名。为了便于溯源，可以对黑集合中存储的海量的恶意域名进行聚类，从而将相同类型的恶意域名聚为一类，以便快速溯源。具体聚类时，可以通过各种聚类算法，如相似度算法实现。在第一种聚类方式中，可以通过相似度算法计算两个或多个域名之间的相似度，如果相似度大于预设阈值则将其聚为一类。在第二种聚类方式中，可以将包含相同目标地址的两个或多个恶意样本中所包含的恶意域名聚为一类，或者，将包含相同的报头名字的恶意样本中所包含的恶意域名聚为一类，以便溯源。
步骤S260：获取并展示聚类处理后的各个域名信息之间的关联关系。
其中，上一步骤中的聚类处理过程以及本步骤中的展示过程并非本发明中必需的，在本发明其他的实施例中，也可以省略聚类或展示过程。另外，本步骤的执行顺序也可以调整到最后。具体展示时，可以以树状分支的形式或列表的形式进行展示，本发明对具体展示方式不做限定，只要能够清晰地显示出各个域名信息之间的关联关系即可。通过本步骤能够直观地显示各个域名信息之间的关联，为溯源提供便利。
步骤S270：根据黑集合生成威胁情报。
具体地，根据黑集合生成威胁情报的步骤可通过如下方式实现：每当接收到访问请求时，判断访问请求中是否包含黑集合中的域名信息，若判断结果为是，针对该访问请求生成威胁提示信息，和/或针对该访问请求进行拦截。具体实现时，本实施例中的方法可以集成到各类安全软件中，该安全软件能够监测路由或交换机处的报文等形式的访问请求，提取其中包含的域名信息，将提取到的域名信息与黑集合中存储的各个域名进行匹配，以确定是否需要产生威胁情报。
由此可见，本发明实施例中的方式能够根据样本生成黑集合，并根据黑集合产生威胁情报。由于样本能够根据增量样本进行实时扩充，因此，黑集合可以实时生成并更新，以提高防御效果。在整个防御过程中，威胁情报会不断地被收集、丰富、分析、再收集形成一个闭环。另外，在本实施例中，预先设定了恶意样本的分类规则以及各个类别的恶意文件的文件结构特征，在提取恶意文件中包含的域名信息时，可以根据恶意文件的类型及该类型文件的结构特征快速提取，提升了处理效率。
另外，在上述实施例中，在步骤S270之前，还可以进一步根据白文件生成白集合，并根据白集合产生威胁情报。相应地，在上述步骤S270中，当访问请求中未包含出现在黑集合中的域名信息时，进一步判断该访问请求中是否包含白集合中的域名信息，若判断结果为是，确定无需生成威胁情报；若判断结果为否，确定该访问请求为不确定性请求，针对该访问请求生成优先级较低的威胁情报，以供用户参考。由此可见，通过白名单与黑名单相结合的方式，能够将不属于黑集合的域名信息进一步根据其是否属于白集合而确定其是否为潜在的恶意域名。
其中，图3示出了生成白集合的方法流程图，如图3所示，该方法包括如下步骤：
步骤S310：扫描并获取样本集合中包含的多个白文件。
其中，该样本集合中的样本来源可能源于一个或多个公司的样本文件，并且，该样本集合可以通过该公司的增量样本文件和/或全量样本文件生成。总之，每当有新增样本时，该样本集合可以根据新增样本进行实时更新，以尽可能及时地收录更加全面的样本文件。
具体地，扫描过程可以通过各种类型的扫描器或查杀器实现。通过扫描能够确定样本集合中的各个文件的文件属性，例如，正常的白文件、感染性文件、流氓推广性文件以及恶意文件等。总之，通过本步骤能够将文件属性为白文件的样本文件全部提取出来，以备后续处理。
步骤S320：根据预设的分类规则对多个白文件进行分类。
由于白文件的种类繁多，为了便于后续处理，在本步骤中，可以按照预设的分类规则将上一步骤中得到的多个白文件进一步细分为多种类别。本发明对具体的分类方式和分类数量不做限定，只要能够实现便于后续处理的效果即可。例如，可以根据文件类型将白文件划分为压缩文件和非压缩文件，或者根据文件功能将白文件划分为安装文件、执行文件和文本文件等。
具体实现时，为了确定白文件的具体类型，可以通过更加精细的扫描器进行二次扫描。或者，也可以预先分析各种类型的白文件的结构特征，并根据各种类型的白文件的结构特征编写相应的脚本文件，通过脚本文件自动提取白文件的部分内容并判断是否符合某一类型的结构特征，根据判断结果进行分类。另外，除了通过脚本实现分类之外，还可以灵活通过虚拟机或沙箱等虚拟执行的方式进行分类，本发明对此不作限定。
步骤S330：根据各个类别的白文件的文件结构特征，提取各个类别的白文件中包含的域名信息。
其中，各个类别的白文件的文件结构特征可以预先通过人工分析或机器学习等多种方式确定。每个类别的白文件的文件结构特征中定义了该类别的白文件中包含域名信息的字段的位置或偏移地址。根据各个类别的白文件的文件结构特征，能够快速定位其中包含的域名信息。
具体地，定位并提取各个类别的白文件中包含的域名信息的步骤至少能够通过下述两种方式实现：在第一种实现方式中，通过动态提取方式进行动态提取。相应地，可以通过虚拟机或沙箱对恶意文件进行虚拟执行，在执行过程中通过抓包来确定其中包含的域名信息。该方式能够获取到白文件执行过程中的动态信息，能够更加准确地确定白文件的行为特征。在第二种实现方式中，通过静态提取方式进行静态提取。相应地，可以根据白文件的文件结构特征编写脚本文件，该脚本文件的功能在于：定位白文件中包含域名信息的位置，并自动提取该位置所包含的域名信息。该方式由于不需要虚拟执行，因此更节约内存空间，处理速度更快。具体实现时，本领域技术人员可以灵活采取上述两种方式中的至少一种，或者，也可以将两种方式相结合，以充分发挥二者的优势。
另外，上述的步骤S320是一个可选的步骤，在本发明其他的实施例中，如果白文件的种类单一，也可以省略步骤S320，即：不对白文件进行分类，相应地，在本步骤中，直接从多个白文件中提取域名信息并存储到白集合。
步骤S340：根据预设的过滤规则对提取到的域名信息进行过滤，将过滤后的域名信息存储到预设的白集合中。
本步骤是一个可选的步骤，在本发明其他的实施例中也可以省略本步骤。本步骤的执行目的在于：过滤掉不符合要求的域名信息，以提高后续建立的白集合的纯度，进而提高威胁情报的准确度。其中，过滤规则可以灵活制定，例如，可以包括下述两种规则中的至少一种：第一种规则为，根据预设的黑名单过滤掉包含在黑名单中的域名信息，其中，黑名单可以预先通过各种方式建立，其中存储已被确定为恶意域名的域名信息，通过该种方式能够过滤掉因测试目的或其他目的而被写入白文件中的恶意域名。第二种规则为，根据预设的域名规则过滤掉不符合域名规则的域名信息，其中，域名规则是预先确定的正常域名应满足的规则，通过该种方式能够过滤掉非正常域名，例如某些白文件中会包含由乱码构成的假域名。通过过滤能够去除白文件的域名信息中的噪点，确保最终得到的白集合中的域名均为安全域名。
更进一步地，在上述生成的白集合和黑集合的基础上，本发明实施例还可以进一步对未知域名进行预测，例如，将未知域名与预设的黑集合中存储的各个黑域名进行比较，得到第一比较结果；将未知域名与预设的白集合中存储的各个白域名进行比较，得到第二比较结果；根据第一比较结果以及第二比较结果预测未知域名是否为黑域名。具体地，根据第一比较结果能够确定未知域名与黑域名之间的相似度，根据第二比较结果能够确定未知域名与白域名之间的相似度，若未知域名与黑域名之间的相似度更高，则预测该未知域名为黑域名；若未知域名与白域名之间的相似度更高，则预测该未知域名为白域名。
图4示出了本发明另一实施例提供的威胁情报的生成装置的结构示意图，如图4所示，该装置包括：扫描模块41、分类模块42、提取模块43和生成模块44。
扫描模块41适于扫描并获取样本集合中包含的多个恶意文件。
分类模块42适于根据预设的分类规则对所述多个恶意文件进行分类。
提取模块43适于根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息。
生成模块44适于将所述域名信息存储到预设的黑集合中，根据所述黑集合生成威胁情报。
可选地，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
可选地，所述提取模块具体用于：通过虚拟机或沙箱进行动态提取，通过预设的脚本文件进行静态提取。
可选地，进一步包括：过滤模块，适于根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种：根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
可选地，进一步包括：聚类模块，适于根据聚类算法对所述黑集合中的各个域名进行聚类处理；其中，所述聚类算法包括相似度算法。
可选地，进一步包括：展示模块，适于获取并展示聚类处理后的各个域名信息之间的关联关系。
可选地，所述生成模块具体用于：判断访问请求中是否包含所述黑集合中的域名信息，若判断结果为是，针对所述访问请求生成威胁提示信息，和/或对所述访问请求进行拦截。
可选地，所述样本集合为增量样本集合和/或全量样本集合，且所述恶意文件包括以下中的一种或多种：后门程序、病毒和木马。
上述各个模块的具体结构和工作原理可参照方法实施例中相应部分的描述，此处不再赘述。
在本发明提供的威胁情报的生成方法及装置中，首先，基于样本集合获取恶意文件，然后，根据恶意文件中包含的域名信息生成黑集合，最后，根据黑集合来生成威胁情报。由于样本集合能够实时更新，因此，本发明中的黑集合也可以实时更新，以便收入更加全面的黑域名，并据此生成更为准确的威胁情报。由此可见，本发明提供的方式由于实时性更好，因此，能够更加及时地发现潜在的威胁，从而提升了网络安全性。
本发明的实施例公开了：
A1、一种威胁情报的生成方法，包括：
扫描并获取样本集合中包含的多个恶意文件；
根据预设的分类规则对所述多个恶意文件进行分类；
根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；
将所述域名信息存储到预设的黑集合中，根据所述黑集合生成威胁情报。
A2、根据A1所述的方法，其中，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
A3、根据A1所述的方法，其中，所述提取各个类别的恶意文件中包含的域名信息的实现方式包括：动态提取方式和/或静态提取方式，其中，所述动态提取方式通过虚拟机或沙箱实现，所述静态提取方式通过预设的脚本文件实现。
A4、根据A1所述的方法，其中，所述提取各个类别的恶意文件中包含的域名信息的步骤之后，所述将所述域名信息存储到预设的黑集合中的步骤之前，进一步包括步骤：根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种：根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
A5、根据A1-4任一所述的方法，其中，所述将所述域名信息存储到预设的黑集合中的步骤之后，进一步包括步骤：根据聚类算法对所述黑集合中的各个域名进行聚类处理；其中，所述聚类算法包括相似度算法。
A6、根据A5所述的方法，其中，进一步包括步骤：获取并展示聚类处理后的各个域名信息之间的关联关系。
A7、根据A1所述的方法，其中，所述根据所述黑集合生成威胁情报的步骤具体包括：判断访问请求中是否包含所述黑集合中的域名信息，若判断结果为是，针对所述访问请求生成威胁提示信息，和/或对所述访问请求进行拦截。
A8、根据A1所述的方法，其中，所述样本集合为增量样本集合和/或全量样本集合，且所述恶意文件包括以下中的一种或多种：后门程序、病毒和木马。
B9、一种威胁情报的生成装置，包括：
扫描模块，适于扫描并获取样本集合中包含的多个恶意文件；
分类模块，适于根据预设的分类规则对所述多个恶意文件进行分类；
提取模块，适于根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；
生成模块，适于将所述域名信息存储到预设的黑集合中，根据所述黑集合生成威胁情报。
B10、根据B9所述的装置，其中，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
B11、根据B9所述的装置，其中，所述提取模块具体用于：通过虚拟机或沙箱进行动态提取，通过预设的脚本文件进行静态提取。
B12、根据B9所述的装置，其中，进一步包括：
过滤模块，适于根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种：根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
B13、根据B9-12任一所述的装置，其中，进一步包括：
聚类模块，适于根据聚类算法对所述黑集合中的各个域名进行聚类处理；其中，所述聚类算法包括相似度算法。
B14、根据B13所述的装置，其中，进一步包括：
展示模块，适于获取并展示聚类处理后的各个域名信息之间的关联关系。
B15、根据B9所述的装置，其中，所述生成模块具体用于：判断访问请求中是否包含所述黑集合中的域名信息，若判断结果为是，针对所述访问请求生成威胁提示信息，和/或对所述访问请求进行拦截。
B16、根据B9所述的装置，其中，所述样本集合为增量样本集合和/或全量样本集合，且所述恶意文件包括以下中的一种或多种：后门程序、病毒和木马。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种威胁情报的生成方法，包括：
扫描并获取样本集合中包含的多个恶意文件；
根据预设的分类规则对所述多个恶意文件进行分类；
根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；
将所述域名信息存储到预设的黑集合中，根据所述黑集合生成威胁情报。
2.根据权利要求1所述的方法，其中，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
3.根据权利要求1所述的方法，其中，所述提取各个类别的恶意文件中包含的域名信息的实现方式包括：动态提取方式和/或静态提取方式，其中，所述动态提取方式通过虚拟机或沙箱实现，所述静态提取方式通过预设的脚本文件实现。
4.根据权利要求1所述的方法，其中，所述提取各个类别的恶意文件中包含的域名信息的步骤之后，所述将所述域名信息存储到预设的黑集合中的步骤之前，进一步包括步骤：根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种：根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
5.根据权利要求1-4任一所述的方法，其中，所述将所述域名信息存储到预设的黑集合中的步骤之后，进一步包括步骤：根据聚类算法对所述黑集合中的各个域名进行聚类处理；其中，所述聚类算法包括相似度算法。
6.根据权利要求5所述的方法，其中，进一步包括步骤：获取并展示聚类处理后的各个域名信息之间的关联关系。
7.根据权利要求1所述的方法，其中，所述根据所述黑集合生成威胁情报的步骤具体包括：判断访问请求中是否包含所述黑集合中的域名信息，若判断结果为是，针对所述访问请求生成威胁提示信息，和/或对所述访问请求进行拦截。
8.根据权利要求1所述的方法，其中，所述样本集合为增量样本集合和/或全量样本集合，且所述恶意文件包括以下中的一种或多种：后门程序、病毒和木马。
9.一种威胁情报的生成装置，包括：
扫描模块，适于扫描并获取样本集合中包含的多个恶意文件；
分类模块，适于根据预设的分类规则对所述多个恶意文件进行分类；
提取模块，适于根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；
生成模块，适于将所述域名信息存储到预设的黑集合中，根据所述黑集合生成威胁情报。
10.根据权利要求9所述的装置，其中，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
CN201610391152.8A 2016-06-03 2016-06-03 威胁情报的生成方法及装置 Active CN106055981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610391152.8A CN106055981B (zh) 2016-06-03 2016-06-03 威胁情报的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610391152.8A CN106055981B (zh) 2016-06-03 2016-06-03 威胁情报的生成方法及装置

Publications (2)

Publication Number Publication Date
CN106055981A true CN106055981A (zh) 2016-10-26
CN106055981B CN106055981B (zh) 2019-08-20

Family

ID=57170194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610391152.8A Active CN106055981B (zh) 2016-06-03 2016-06-03 威胁情报的生成方法及装置

Country Status (1)

Country Link
CN (1) CN106055981B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368856A (zh) * 2017-07-25 2017-11-21 深信服科技股份有限公司 恶意软件的聚类方法及装置、计算机装置及可读存储介质
CN107609400A (zh) * 2017-09-28 2018-01-19 深信服科技股份有限公司 计算机病毒分类方法、系统、设备及计算机可读存储介质
CN107730096A (zh) * 2017-09-29 2018-02-23 北京神州绿盟信息安全科技股份有限公司 一种情报数据源的质量评估方法及装置
CN108388631A (zh) * 2018-02-13 2018-08-10 北京奇安信科技有限公司 一种威胁情报共享的方法、代理装置及系统
CN109740344A (zh) * 2018-11-28 2019-05-10 北京奇安信科技有限公司 威胁情报模型建立方法、装置、电子设备及存储介质
CN109784049A (zh) * 2018-12-21 2019-05-21 北京奇安信科技有限公司 威胁数据处理的方法、设备、系统和介质
CN109862003A (zh) * 2019-01-24 2019-06-07 深信服科技股份有限公司 本地威胁情报库的生成方法、装置、系统及存储介质
CN110149318A (zh) * 2019-04-26 2019-08-20 北京奇安信科技有限公司 邮件元数据的处理方法及装置、存储介质、电子装置
CN110868418A (zh) * 2019-11-18 2020-03-06 杭州安恒信息技术股份有限公司 一种威胁情报生成方法、装置
CN111277585A (zh) * 2020-01-16 2020-06-12 深信服科技股份有限公司 威胁处理方法、装置、设备和可读存储介质
CN111641611A (zh) * 2020-05-20 2020-09-08 深信服科技股份有限公司 一种数据处理方法、设备、系统及计算机存储介质
CN113726826A (zh) * 2021-11-04 2021-11-30 北京微步在线科技有限公司 一种威胁情报生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667979A (zh) * 2009-10-12 2010-03-10 哈尔滨工程大学 基于链接域名和用户反馈的反钓鱼邮件系统及方法
CN102222187A (zh) * 2011-06-02 2011-10-19 国家计算机病毒应急处理中心 基于域名构造特征的挂马网页检测方法
CN102622553A (zh) * 2012-04-24 2012-08-01 腾讯科技（深圳）有限公司 检测网页安全的方法及装置
JP2013077154A (ja) * 2011-09-30 2013-04-25 Kddi Corp マルウェア検知装置およびプログラム
CN103632084A (zh) * 2012-08-20 2014-03-12 百度在线网络技术（北京）有限公司 恶意特征数据库的建立方法、恶意对象检测方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667979A (zh) * 2009-10-12 2010-03-10 哈尔滨工程大学 基于链接域名和用户反馈的反钓鱼邮件系统及方法
CN102222187A (zh) * 2011-06-02 2011-10-19 国家计算机病毒应急处理中心 基于域名构造特征的挂马网页检测方法
JP2013077154A (ja) * 2011-09-30 2013-04-25 Kddi Corp マルウェア検知装置およびプログラム
CN102622553A (zh) * 2012-04-24 2012-08-01 腾讯科技（深圳）有限公司 检测网页安全的方法及装置
CN103632084A (zh) * 2012-08-20 2014-03-12 百度在线网络技术（北京）有限公司 恶意特征数据库的建立方法、恶意对象检测方法及其装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368856A (zh) * 2017-07-25 2017-11-21 深信服科技股份有限公司 恶意软件的聚类方法及装置、计算机装置及可读存储介质
CN107368856B (zh) * 2017-07-25 2021-10-19 深信服科技股份有限公司 恶意软件的聚类方法及装置、计算机装置及可读存储介质
CN107609400A (zh) * 2017-09-28 2018-01-19 深信服科技股份有限公司 计算机病毒分类方法、系统、设备及计算机可读存储介质
CN107730096A (zh) * 2017-09-29 2018-02-23 北京神州绿盟信息安全科技股份有限公司 一种情报数据源的质量评估方法及装置
CN108388631A (zh) * 2018-02-13 2018-08-10 北京奇安信科技有限公司 一种威胁情报共享的方法、代理装置及系统
CN109740344A (zh) * 2018-11-28 2019-05-10 北京奇安信科技有限公司 威胁情报模型建立方法、装置、电子设备及存储介质
CN109740344B (zh) * 2018-11-28 2024-04-19 奇安信科技集团股份有限公司 威胁情报模型建立方法、装置、电子设备及存储介质
CN109784049A (zh) * 2018-12-21 2019-05-21 北京奇安信科技有限公司 威胁数据处理的方法、设备、系统和介质
CN109862003B (zh) * 2019-01-24 2022-02-22 深信服科技股份有限公司 本地威胁情报库的生成方法、装置、系统及存储介质
CN109862003A (zh) * 2019-01-24 2019-06-07 深信服科技股份有限公司 本地威胁情报库的生成方法、装置、系统及存储介质
CN110149318A (zh) * 2019-04-26 2019-08-20 北京奇安信科技有限公司 邮件元数据的处理方法及装置、存储介质、电子装置
CN110149318B (zh) * 2019-04-26 2022-07-05 奇安信科技集团股份有限公司 邮件元数据的处理方法及装置、存储介质、电子装置
CN110868418A (zh) * 2019-11-18 2020-03-06 杭州安恒信息技术股份有限公司 一种威胁情报生成方法、装置
CN111277585B (zh) * 2020-01-16 2022-09-30 深信服科技股份有限公司 威胁处理方法、装置、设备和可读存储介质
CN111277585A (zh) * 2020-01-16 2020-06-12 深信服科技股份有限公司 威胁处理方法、装置、设备和可读存储介质
CN111641611A (zh) * 2020-05-20 2020-09-08 深信服科技股份有限公司 一种数据处理方法、设备、系统及计算机存储介质
CN113726826A (zh) * 2021-11-04 2021-11-30 北京微步在线科技有限公司 一种威胁情报生成方法及装置
CN113726826B (zh) * 2021-11-04 2022-06-17 北京微步在线科技有限公司 一种威胁情报生成方法及装置

Also Published As

Publication number Publication date
CN106055981B (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN106055981A (zh) 威胁情报的生成方法及装置
JP7274535B2 (ja) ネットワークデータ特性評価のシステムと方法
CN108347430B (zh) 基于深度学习的网络入侵检测和漏洞扫描方法及装置
Li et al. Deeppayload: Black-box backdoor attack on deep learning models through neural payload injection
CN105897752B (zh) 未知域名的安全检测方法及装置
CN103679031B (zh) 一种文件病毒免疫的方法和装置
Liu et al. A novel approach for detecting browser-based silent miner
US20110041179A1 (en) Malware detection
CN103150509B (zh) 一种基于虚拟执行的病毒检测系统
CN112685737A (zh) 一种app的检测方法、装置、设备及存储介质
US20210064746A1 (en) Analysis apparatus, analysis method, and analysis program
CN107888571A (zh) 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统
Martín et al. ADROIT: Android malware detection using meta-information
CN106357689A (zh) 威胁数据的处理方法及系统
CN108804925A (zh) 用于检测恶意代码的方法和系统
CN105653949B (zh) 一种恶意程序检测方法及装置
CN105897751B (zh) 威胁情报的生成方法及装置
CN103617390A (zh) 一种恶意网页判断方法、装置和系统
CN112600797A (zh) 异常访问行为的检测方法、装置、电子设备及存储介质
CN117454376A (zh) 工业互联网数据安全检测响应与溯源方法及装置
CN105760761A (zh) 软件行为分析方法和装置
CN103646213B (zh) 一种恶意软件的分类方法和装置
CN110532772A (zh) 文件检测方法、模型、设备及计算机可读存储介质
US20240056475A1 (en) Techniques for detecting living-off-the-land binary attacks
CN114972827A (zh) 资产识别方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220725

Address after: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, Binhai New Area, Tianjin

Patentee after: 3600 Technology Group Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230712

Address after: 1765, floor 17, floor 15, building 3, No. 10 Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: Beijing Hongxiang Technical Service Co.,Ltd.

Address before: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, Binhai New Area, Tianjin

Patentee before: 3600 Technology Group Co.,Ltd.