CN108460278B - 一种威胁情报处理方法及装置 - Google Patents

一种威胁情报处理方法及装置 Download PDF

Info

Publication number
CN108460278B
CN108460278B CN201810148469.8A CN201810148469A CN108460278B CN 108460278 B CN108460278 B CN 108460278B CN 201810148469 A CN201810148469 A CN 201810148469A CN 108460278 B CN108460278 B CN 108460278B
Authority
CN
China
Prior art keywords
threat
data
information
intelligence
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810148469.8A
Other languages
English (en)
Other versions
CN108460278A (zh
Inventor
白敏�
高浩浩
汪列军
韩志立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxin Technology Group Co Ltd
Original Assignee
Qianxin Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxin Technology Group Co Ltd filed Critical Qianxin Technology Group Co Ltd
Priority to CN201810148469.8A priority Critical patent/CN108460278B/zh
Publication of CN108460278A publication Critical patent/CN108460278A/zh
Application granted granted Critical
Publication of CN108460278B publication Critical patent/CN108460278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种威胁情报处理方法及装置，所述方法包括：获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据；将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果；若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示。所述装置包括：数据预处理模块、数据检测模块和结果显示模块。本发明实施例通过获取多源情报的威胁指标数据并进行预处理和检测，得到威胁检测结果，确定威胁情报后将所述威胁检测结果发送至显示终端进行显示，保证了恶意IP检测及恶意文件查杀的实时性和覆盖率。

Description

一种威胁情报处理方法及装置
技术领域
本发明实施例涉及数据安全技术领域，具体涉及一种威胁情报处理方法及装置。
背景技术
随着互联网的不断发展，信息安全攻击的方式已经转变为“精准化的定向攻击”。这些攻击行为在攻击之前都会对攻击对象进行精确的信息收集，主动挖掘被攻击对象的相关漏洞，然后择机对目标对象进行攻击。因此，如何在攻击发生之前，对可能发生的攻击进行准确、及时预警，成为当下企业亟待解决的安全问题。
目前出现了各种各样的防御手段来应对黑客的入侵。例如，网盾、杀毒软件、安全卫士、网络保镖等安全软件都能够在一定程度上抵御黑客的入侵，维护网络安全。
但是，发明人在实现本发明的过程中，发现现有技术中的上述安全软件至少存在如下问题：现有的安全软件大多是根据数据访问记录来查杀恶意文件，但是，由于数据访问记录具有一定的滞后性和片面性，导致实时性和覆盖率较差，无法及时和全面地发现最新出现的恶意文件。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种威胁情报处理方法及装置。
第一方面，本发明实施例提出一种威胁情报处理方法，包括：
获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据；
将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果；
若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示。
可选地，所述获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据，具体包括：
获取多源情报的威胁指标IOC数据，并对所述IOC数据进行数据归一化处理、去噪处理、静态化处理和去重处理，得到待分析数据。
可选地，所述将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果，具体包括：
若判断获知所述待分析数据与本地或云端的威胁数据匹配后确定为威胁情报，则将所述威胁情报输入威胁情报检测模型进行检测，得到威胁检测结果；
其中，所述本地或云端的威胁数据包括定期更新的白名单、黑名单和威胁系数变更名单。
可选地，所述若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示，具体包括：
若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端，以使所述显示终端显示所述威胁情报的威胁统计评分和匹配检测情况。
可选地，所述方法还包括：
根据所述威胁检测结果和/或用户的输入指令确定所述威胁情报的威胁权重，并根据所述威胁权重确定所述威胁情报的可信度。
可选地，所述方法还包括：
将可信度大于阈值的威胁情报从云端下载至本地，以方便本地实时地进行数据匹配。
可选地，所述方法还包括：
将所述威胁情报存储至本地数据库，并对所述威胁情报建立本地索引。
可选地，所述方法还包括：
根据所述威胁情报生成告警信息，将所述告警信息发送至所述显示终端进行显示，并将所述告警信息存储至所述本地数据库。
可选地，所述方法还包括：
将所述威胁情报下发给防火墙FW设备、入侵预防系统IPS设备，根据所述威胁情报生成安全通告，并将所述安全通告发送至各网元设备。
可选地，所述威胁情报检测模型包括统一资源定位符URL分析方法、恶意样本分析方法、日志处理匹配方法和远程命令和控制服务器c&c、捕获恶意流量的槽洞sinkhole、文件信誉情报的检测学习模型，所述检测学习模型根据日志的输入不断自学习优化。
可选地，所述多源情报包括：企业自产情报、第三方情报聚合部分和云端情报中心提供的情报信息。
第二方面，本发明实施例还提出一种威胁情报处理装置，包括：
数据预处理模块，用于获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据；
数据检测模块，用于将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果；
结果显示模块，用于若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示。
可选地，所述数据预处理模块具体用于获取多源情报的威胁指标IOC数据，并对所述IOC数据进行数据归一化处理、去噪处理、静态化处理和去重处理，得到待分析数据。
可选地，所述数据检测模块具体用于若判断获知所述待分析数据与本地或云端的威胁数据匹配后确定为威胁情报，则将所述威胁情报输入威胁情报检测模型进行检测，得到威胁检测结果；
其中，所述本地或云端的威胁数据包括定期更新的白名单、黑名单和威胁系数变更名单。
可选地，所述结果显示模块具体用于若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端，以使所述显示终端显示所述威胁情报的威胁统计评分和匹配检测情况。
可选地，所述装置还包括：
可信度确定模块，用于根据所述威胁检测结果和/或用户的输入指令确定所述威胁情报的威胁权重，并根据所述威胁权重确定所述威胁情报的可信度。
可选地，所述装置还包括：
本地下载模块，用于将可信度大于阈值的威胁情报从云端下载至本地，以方便本地实时地进行数据匹配。
可选地，所述装置还包括：
索引建立模块，用于将所述威胁情报存储至本地数据库，并对所述威胁情报建立本地索引。
可选地，所述装置还包括：
告警显示模块，用于根据所述威胁情报生成告警信息，将所述告警信息发送至所述显示终端进行显示，并将所述告警信息存储至所述本地数据库。
可选地，所述装置还包括：
情报下发模块，用于将所述威胁情报下发给防火墙FW设备、入侵预防系统IPS设备，根据所述威胁情报生成安全通告，并将所述安全通告发送至各网元设备。
可选地，所述威胁情报检测模型包括统一资源定位符URL分析方法、恶意样本分析方法、日志处理匹配方法和远程命令和控制服务器c&c、捕获恶意流量的槽洞sinkhole、文件信誉情报的检测学习模型，所述检测学习模型根据日志的输入不断自学习优化。
可选地，所述多源情报包括：企业自产情报、第三方情报聚合部分和云端情报中心提供的情报信息。
第三方面，本发明实施例还提出一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。
由上述技术方案可知，本发明实施例通过获取多源情报的威胁指标数据并进行预处理和检测，得到威胁检测结果，确定威胁情报后将所述威胁检测结果发送至显示终端进行显示，保证了恶意IP检测及恶意文件查杀的实时性和覆盖率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种威胁情报处理方法的流程示意图；
图2为本发明一实施例提供的云端下载情报和第三方情报源的处理过程示意图；
图3为本发明一实施例提供的威胁情报分析检测平台的结构示意图；
图4为本发明一实施例提供的具体数据处理流程示意图；
图5为本发明一实施例提供的一种威胁情报处理装置的结构示意图；
图6为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本实施例提供的一种威胁情报处理方法的流程示意图，包括：
S101、获取多源情报的IOC(Indicator of Compromise，威胁指标)数据，并对所述IOC数据进行预处理，得到待分析数据；
其中，所述多源情报包括：企业自产情报、第三方情报聚合部分和云端情报中心提供的情报信息。
所述预处理是指对IOC数据进行规范化处理，以方便后续的数据分析。
S102、将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果；
其中，所述威胁情报检测模型包括统一资源定位符URL分析方法、恶意样本分析方法、日志处理匹配方法和远程命令和控制服务器c&c、捕获恶意流量的槽洞sinkhole、文件信誉情报的检测学习模型，所述检测学习模型根据日志的输入不断自学习优化。
具体地，将待分析数据输入威胁情报检测模型后，根据URL分析方法、恶意样本分析方法、日志处理匹配方法和c&c、sinkhole、文件信誉情报的检测学习模型进行检测和分析，得到威胁检测结果，确认待分析数据是否包含威胁情报，即是否为恶意文件。
S103、若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示。
通过将威胁检测结果发送至显示终端进行显示，能够便于用于实时了解威胁风险，以便及时采取相应措施。
本实施例通过获取多源情报的威胁指标数据并进行预处理和检测，得到威胁检测结果，确定威胁情报后将所述威胁检测结果发送至显示终端进行显示，保证了恶意IP检测及恶意文件查杀的实时性和覆盖率。
进一步地，在上述方法实施例的基础上，S101具体包括：
获取多源情报的威胁指标IOC数据，并对所述IOC数据进行数据归一化处理、去噪处理、静态化处理和去重处理，得到待分析数据。
具体地，对每次获取的IOC数据进行数据归一化处理、去噪处理、静态化处理和去重处理，以规范数据，并可以将IOC数据处理后得到的待分析数据存入kv数据库，以方便实时分析。
进一步地，在上述方法实施例的基础上，S102具体包括：
若判断获知所述待分析数据与本地或云端的威胁数据匹配后确定为威胁情报，则将所述威胁情报输入威胁情报检测模型进行检测，得到威胁检测结果；
其中，所述本地或云端的威胁数据包括定期更新的白名单、黑名单和威胁系数变更名单。
当接收到的日志记录及异构数据后，对日志记录和异构数据进行解析并入库，与本地及云端情报做检测引擎的匹配。
具体地，所述待分析数据与本地或云端的威胁数据匹配也称为“文件信誉检测”，通过把云端文件信誉库高频查询及重要的IOC情报下沉到本地，实现本地系统的实时查询。文件信誉库包括黑、白两种类型，每种类型中都包含MD5和Sha1。采用kv(kc)引擎数据库存储。
具体存入数据库的字段如下表所示：
属性 类型 可选值 说明
md5 字符串 n/a 样本对应的md5
sha1 字符串 n/a 样本对应的sha1
sha256 字符串 n/a 样本对应的sha256
type 字符串 黑/白/未知 样本判定结果
malicious_type 字符串 n/a 恶意类型
family 字符串 n/a 恶意家族
first_seen 时间 n/a 样本最早发现时间
filesize 数字 n/a 样本大小
filetype 字符串 n/a 样本类型
filename 字符串 n/a 样本名称
ioc 列表 n/a 样本相关已知cnc
network n/a 样本已知网络行为
文件信誉将定期更新，主要包括白名单的文件信誉更新(增量)、黑名单的文件信誉更新(增量)、value发生变更的文件信誉更新(全量)。通过定期进行情报IOC信息，日增量较大的情况下，对恶意文件进行Ioc匹配检测，同时反馈告知在线设备。并将更新后的数据导入第三方及企业自有情报IOC，更新集合到KV store。
进一步地，在上述方法实施例的基础上，S103具体包括：
若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端，以使所述显示终端显示所述威胁情报的威胁统计评分和匹配检测情况。
其中，所述威胁统计评分为待分析数据的威胁程度的评分，评分越高，其危险系数越大。
所述匹配检测情况为所述待分析数据与本地或云端的威胁数据匹配情况，包括其匹配项、匹配程度等信息。
进一步地，在上述方法实施例的基础上，所述方法还包括：
S104、根据所述威胁检测结果和/或用户的输入指令确定所述威胁情报的威胁权重，并根据所述威胁权重确定所述威胁情报的可信度。
具体地，根据威胁检测结果对各个威胁情报进行权重编排，权重高的可信度高，或者由用户可对各个威胁情报进行权重调整。
具体地，通过API网关聚合方式配置access key配置API key，支持提供get或Put方式进行情报的导入和查询，系统内部获取后整合处理，分别提供查询。当查询结果均存在并不同时，提供权重配置，优先显示和高可信度的权重比高的IOC信息，方便用户查看。
进一步地，在上述方法实施例的基础上，所述方法还包括：
S105、将可信度大于阈值的威胁情报从云端下载至本地，以方便本地实时地进行数据匹配。
具体地，通过提供restful查询接口，可供web browser或第三方应用程序直接在接口批量查询，且系统记录打点日志，并进行命中数的统计，包括接口收到提交查询MD5、HOST或domain等，返回IOC信息，打点记录信息，日志条目入库等。
其中，打点日志match_log表字段如下表所示：
Figure BDA0001579365920000091
Figure BDA0001579365920000101
本地下载可信度大于阈值的威胁情报后，同时支持整合第三方情报源或开源情报，如图2所示，获取云端情况cc、sinkhole、dga、file后，情报落地本地，进行解密或解压，分表入库，批量设置设备自身字段信息后，进行本地存储。同时获取第三方情报源或开源情报。根据cc、sinkhole、dga、文件信誉和第三方信誉格式化输出查询实例，并进行分类展示。若导入的第三方情报中包含无效字段和无关情报字段时，则在查找表中不提供关联查找信息，以及后续匹配字段。
进一步地，在上述方法实施例的基础上，所述方法还包括：
S106、将所述威胁情报存储至本地数据库，并对所述威胁情报建立本地索引。
具体地，威胁情报匹配后存入本地数据库，支持高性能匹配查询，并建立本地索引，方便数据查找。需要说明的是，可以将威胁情报去重后再建立索引，同时提供IOC定期升级，可以读取、删除、修改状态，并提供REST API接口。
进一步地，在上述方法实施例的基础上，所述方法还包括：
S107、根据所述威胁情报生成告警信息，将所述告警信息发送至所述显示终端进行显示，并将所述告警信息存储至所述本地数据库。
当本地上报日志与本地或云端的威胁数据进行匹配并且产生告警信息时，说明此日志中包含恶意信息，此时生成告警信息并记录打点数据库，使得用户及时或者威胁情报，以采取相应地措施。
需要说明的是，本实施例中除了告警消息，还包括调试信息和情报消息。情报消息包括，c&c情报、sinkhole情报、DGA情报以及文件信誉情报和IP情报等。调试信息包括debug、info、warn、error等级别信息。
进一步地，在上述方法实施例的基础上，所述方法还包括：
S108、将所述威胁情报下发给防火墙FW设备、入侵预防系统IPS设备，根据所述威胁情报生成安全通告，并将所述安全通告发送至各网元设备。
通过对IOC数据进行预处理和分析，匹配到流量、日志、恶意文件等信息，系统可以采取安全监控和主动策略控制下发给其他网元设备。在事件响应方面，通过自动推送高风险等级的IOC威胁情报安全通告给第三方和网络设备，同时可下载结构化数据如stix2格式或cvs格式的IOC文件信息，提高情报的落地及应用效率，建立全面的威胁评估，并提供特殊威胁检测，将外部情报源叠加到内部情报上，对现网中频繁出现的各类恶意IOC信息更加精确的捕获到。
具体来说，图3示出了威胁情报分析检测平台的结构示意图，所述威胁情报分析检测平台用于执行上述实施例提供的微信情报处理方法，具体用于处理事件中威胁情报产生的聚合、主动控制和事件响应。该平台包括：管理层和数据分析层，其中数据分析层包括深度分析模块和对比分析模块，包含了数据归一化处理、数据预处理、业务处理和前端展示等功能。数据归一化处理包括各异构数据源，包括外部IP情报、sinkhole、文件信誉等，企业产生维护的自有情报，以及第三方情报聚合；数据预处理包括数据去噪后进入KV store，静态化及去重存储，为本地查询及云端查询提高效率；业务处理包括URL分析模块、恶意样本分析模块以及日志处理匹配告警模块；前端展示包括系统的威胁统计评分和威胁情报的匹配检测情况展示。该平台还包括情报升级及入库升级，以及情报的反馈机制等。通过此平台能够准确检测到网络中的威胁并提供处置建议。
具体的数据处理流程如图4所示，本地获取日志后，由本地进行数据分析和告警，发送至FW等其他网络设备，并支持第三方数据聚合和流量日志及其他日志的分析。通过对现网中各类信息的分析，关注URL记录、域名、IP地址、恶意程序文件HASH、以及手机号等重要日志信息，支持解析的格式多种，可以为syslog、txt、json或者特定协议的PCAP网络数据包(如HTTP，DNS等)以及数据流进行解析入库，或者日志告警信息、FW日志或者DNS日志等。
图5示出了本实施例提供的一种威胁情报处理装置的结构示意图，所述装置包括：数据预处理模块501、数据检测模块502和结果显示模块503，其中：
所述数据预处理模块501用于获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据；
所述数据检测模块502用于将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果；
所述结果显示模块503用于若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示。
具体地，所述数据预处理模块501获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据；所述数据检测模块502将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果；所述结果显示模块503若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示。
本实施例通过获取多源情报的威胁指标数据并进行预处理和检测，得到威胁检测结果，确定威胁情报后将所述威胁检测结果发送至显示终端进行显示，保证了恶意IP检测及恶意文件查杀的实时性和覆盖率。
进一步地，在上述装置实施例的基础上，所述数据预处理模块501具体用于获取多源情报的威胁指标IOC数据，并对所述IOC数据进行数据归一化处理、去噪处理、静态化处理和去重处理，得到待分析数据。
进一步地，在上述装置实施例的基础上，所述数据检测模块502具体用于若判断获知所述待分析数据与本地或云端的威胁数据匹配后确定为威胁情报，则将所述威胁情报输入威胁情报检测模型进行检测，得到威胁检测结果；
其中，所述本地或云端的威胁数据包括定期更新的白名单、黑名单和威胁系数变更名单。
进一步地，在上述装置实施例的基础上，所述结果显示模块503具体用于若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端，以使所述显示终端显示所述威胁情报的威胁统计评分和匹配检测情况。
进一步地，在上述装置实施例的基础上，所述装置还包括：
可信度确定模块，用于根据所述威胁检测结果和/或用户的输入指令确定所述威胁情报的威胁权重，并根据所述威胁权重确定所述威胁情报的可信度。
进一步地，在上述装置实施例的基础上，所述装置还包括：
本地下载模块，用于将可信度大于阈值的威胁情报从云端下载至本地，以方便本地实时地进行数据匹配。
进一步地，在上述装置实施例的基础上，所述装置还包括：
索引建立模块，用于将所述威胁情报存储至本地数据库，并对所述威胁情报建立本地索引。
进一步地，在上述装置实施例的基础上，所述装置还包括：
告警显示模块，用于根据所述威胁情报生成告警信息，将所述告警信息发送至所述显示终端进行显示，并将所述告警信息存储至所述本地数据库。
进一步地，在上述装置实施例的基础上，所述装置还包括：
情报下发模块，用于将所述威胁情报下发给防火墙FW设备、入侵预防系统IPS设备，根据所述威胁情报生成安全通告，并将所述安全通告发送至各网元设备。
进一步地，在上述装置实施例的基础上，所述威胁情报检测模型包括统一资源定位符URL分析方法、恶意样本分析方法、日志处理匹配方法和远程命令和控制服务器c&c、捕获恶意流量的槽洞sinkhole、文件信誉情报的检测学习模型，所述检测学习模型根据日志的输入不断自学习优化。
进一步地，在上述装置实施例的基础上，所述多源情报包括：企业自产情报、第三方情报聚合部分和云端情报中心提供的情报信息。
本实施例所述的威胁情报处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
参照图6，所述电子设备，包括：处理器(processor)601、存储器(memory)602和总线603；
其中，
所述处理器601和存储器602通过所述总线603完成相互间的通信；
所述处理器601用于调用所述存储器602中的程序指令，以执行上述各方法实施例所提供的方法。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种威胁情报处理方法，其特征在于，包括：
获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据；
将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果；
若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示；
所述获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据，具体包括：
获取多源情报的威胁指标IOC数据，并对所述IOC数据进行数据归一化处理、去噪处理、静态化处理和去重处理，得到待分析数据；
所述将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果，具体包括：
若判断获知所述待分析数据与本地或云端的威胁数据匹配后确定为威胁情报，则将所述威胁情报输入威胁情报检测模型进行检测，得到威胁检测结果；
其中，所述本地或云端的威胁数据包括定期更新的白名单、黑名单和威胁系数变更名单。
2.根据权利要求1所述的方法，其特征在于，所述若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示，具体包括：
若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端，以使所述显示终端显示所述威胁情报的威胁统计评分和匹配检测情况。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述威胁检测结果和/或用户的输入指令确定所述威胁情报的威胁权重，并根据所述威胁权重确定所述威胁情报的可信度。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将可信度大于阈值的威胁情报从云端下载至本地，以方便本地实时地进行数据匹配。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述威胁情报存储至本地数据库，并对所述威胁情报建立本地索引。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述威胁情报生成告警信息，将所述告警信息发送至所述显示终端进行显示，并将所述告警信息存储至所述本地数据库。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述威胁情报下发给防火墙FW设备、入侵预防系统IPS设备，根据所述威胁情报生成安全通告，并将所述安全通告发送至各网元设备。
8.根据权利要求1所述的方法，其特征在于，所述威胁情报检测模型包括统一资源定位符URL分析方法、恶意样本分析方法、日志处理匹配方法和远程命令和控制服务器c&c、捕获恶意流量的槽洞sinkhole、文件信誉情报的检测学习模型，所述检测学习模型根据日志的输入不断自学习优化。
9.根据权利要求1所述的方法，其特征在于，所述多源情报包括：企业自产情报、第三方情报聚合部分和云端情报中心提供的情报信息。
10.一种威胁情报处理装置，其特征在于，包括：
数据预处理模块，用于获取多源情报的威胁指标IOC数据，并对所述IOC数据进行预处理，得到待分析数据；
数据检测模块，用于将所述待分析数据输入威胁情报检测模型进行检测，得到威胁检测结果；
结果显示模块，用于若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端进行显示；
所述数据预处理模块具体用于获取多源情报的威胁指标IOC数据，并对所述IOC数据进行数据归一化处理、去噪处理、静态化处理和去重处理，得到待分析数据；
所述数据检测模块具体用于若判断获知所述待分析数据与本地或云端的威胁数据匹配后确定为威胁情报，则将所述威胁情报输入威胁情报检测模型进行检测，得到威胁检测结果；
其中，所述本地或云端的威胁数据包括定期更新的白名单、黑名单和威胁系数变更名单。
11.根据权利要求10所述的装置，其特征在于，所述结果显示模块具体用于若根据所述威胁检测结果判断获知所述待分析数据为威胁情报，则将所述威胁检测结果发送至显示终端，以使所述显示终端显示所述威胁情报的威胁统计评分和匹配检测情况。
12.根据权利要求10所述的装置，其特征在于，所述装置还包括：
可信度确定模块，用于根据所述威胁检测结果和/或用户的输入指令确定所述威胁情报的威胁权重，并根据所述威胁权重确定所述威胁情报的可信度。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
本地下载模块，用于将可信度大于阈值的威胁情报从云端下载至本地，以方便本地实时地进行数据匹配。
14.根据权利要求10所述的装置，其特征在于，所述装置还包括：
索引建立模块，用于将所述威胁情报存储至本地数据库，并对所述威胁情报建立本地索引。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
告警显示模块，用于根据所述威胁情报生成告警信息，将所述告警信息发送至所述显示终端进行显示，并将所述告警信息存储至所述本地数据库。
16.根据权利要求10所述的装置，其特征在于，所述装置还包括：
情报下发模块，用于将所述威胁情报下发给防火墙FW设备、入侵预防系统IPS设备，根据所述威胁情报生成安全通告，并将所述安全通告发送至各网元设备。
17.根据权利要求10所述的装置，其特征在于，所述威胁情报检测模型包括统一资源定位符URL分析方法、恶意样本分析方法、日志处理匹配方法和远程命令和控制服务器c&c、捕获恶意流量的槽洞sinkhole、文件信誉情报的检测学习模型，所述检测学习模型根据日志的输入不断自学习优化。
18.根据权利要求10所述的装置，其特征在于，所述多源情报包括：企业自产情报、第三方情报聚合部分和云端情报中心提供的情报信息。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至9任一所述的方法。
20.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至9任一所述的方法。
CN201810148469.8A 2018-02-13 2018-02-13 一种威胁情报处理方法及装置 Active CN108460278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810148469.8A CN108460278B (zh) 2018-02-13 2018-02-13 一种威胁情报处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810148469.8A CN108460278B (zh) 2018-02-13 2018-02-13 一种威胁情报处理方法及装置

Publications (2)

Publication Number Publication Date
CN108460278A CN108460278A (zh) 2018-08-28
CN108460278B true CN108460278B (zh) 2020-07-14

Family

ID=63217050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810148469.8A Active CN108460278B (zh) 2018-02-13 2018-02-13 一种威胁情报处理方法及装置

Country Status (1)

Country Link
CN (1) CN108460278B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299174B (zh) * 2018-09-11 2021-02-19 奇安信科技集团股份有限公司 一种多源情报数据聚合处理方法及装置
CN109740344B (zh) * 2018-11-28 2024-04-19 奇安信科技集团股份有限公司 威胁情报模型建立方法、装置、电子设备及存储介质
CN110868381B (zh) * 2018-12-19 2022-04-19 北京安天网络安全技术有限公司 基于dns解析结果触发的流量数据收集方法、装置及电子设备
CN109784049B (zh) * 2018-12-21 2021-04-09 奇安信科技集团股份有限公司 威胁数据处理的方法、设备、系统和介质
CN110866253B (zh) * 2018-12-28 2022-05-27 北京安天网络安全技术有限公司 一种威胁分析方法、装置、电子设备及存储介质
CN109981627B (zh) * 2019-03-18 2021-02-26 武汉思普崚技术有限公司 网络威胁情报信息的更新方法及系统
CN110266670A (zh) * 2019-06-06 2019-09-20 深圳前海微众银行股份有限公司 一种终端网络外联行为的处理方法及装置
CN110460594B (zh) * 2019-07-31 2022-02-25 平安科技（深圳）有限公司 威胁情报数据采集处理方法、装置及存储介质
CN111177720B (zh) * 2019-08-08 2024-03-08 腾讯科技（深圳）有限公司 基于大数据生成威胁情报的方法、装置及可读存储介质
CN112434894A (zh) * 2019-08-23 2021-03-02 上海哔哩哔哩科技有限公司 一种实时风险控制方法、计算机设备及可读存储介质
CN110768955B (zh) * 2019-09-19 2022-03-18 杭州安恒信息技术股份有限公司 基于多源情报主动采集与聚合数据的方法
CN110708315A (zh) * 2019-10-09 2020-01-17 杭州安恒信息技术股份有限公司 资产漏洞的识别方法、装置和系统
CN110765198B (zh) * 2019-11-01 2023-05-26 云南电网有限责任公司信息中心 数据资源池建立方法及装置
CN110955893A (zh) * 2019-11-22 2020-04-03 杭州安恒信息技术股份有限公司 一种恶意文件威胁分析平台及恶意文件威胁分析方法
CN111065100B (zh) * 2019-11-27 2022-08-02 中国联合网络通信集团有限公司 威胁分析方法及装置和威胁分析系统
CN111092886B (zh) * 2019-12-17 2023-05-12 深信服科技股份有限公司 一种终端防御方法、系统、设备及计算机可读存储介质
CN111212049B (zh) * 2019-12-27 2022-04-12 杭州安恒信息技术股份有限公司 一种威胁情报ioc信誉度分析方法
CN111277585B (zh) * 2020-01-16 2022-09-30 深信服科技股份有限公司 威胁处理方法、装置、设备和可读存储介质
CN113497784B (zh) * 2020-03-20 2023-03-21 中国电信股份有限公司 检测情报数据的方法、装置及计算机可读存储介质
CN111935082B (zh) * 2020-06-28 2022-09-09 新浪网技术(中国)有限公司 一种网络威胁信息关联分析系统及方法
CN111814142A (zh) * 2020-06-29 2020-10-23 上海三零卫士信息安全有限公司 一种基于OpenIOC的大数据快速威胁检测系统
CN111782967B (zh) * 2020-07-02 2024-05-28 奇安信科技集团股份有限公司 信息处理方法、装置、电子设备和计算机可读存储介质
CN111641663B (zh) * 2020-07-06 2022-08-12 奇安信科技集团股份有限公司 一种安全检测方法和装置
CN111770106A (zh) * 2020-07-07 2020-10-13 杭州安恒信息技术股份有限公司 数据威胁分析的方法、装置、系统、电子装置和存储介质
CN111865959B (zh) * 2020-07-14 2021-04-27 南京聚铭网络科技有限公司 基于多源安全检测框架的检测方法及装置
CN112019519B (zh) * 2020-08-06 2023-04-07 杭州安恒信息技术股份有限公司 网络安全情报威胁度的检测方法、装置和电子装置
CN111988341B (zh) * 2020-09-10 2022-08-02 奇安信科技集团股份有限公司 数据处理方法、装置、计算机系统和存储介质
CN112153043A (zh) * 2020-09-22 2020-12-29 杭州安恒信息技术股份有限公司 一种网站安全检测方法、装置、电子设备和存储介质
CN112347474A (zh) * 2020-11-06 2021-02-09 奇安信科技集团股份有限公司 一种安全威胁情报的构建方法、装置、设备和存储介质
CN113992374B (zh) * 2021-10-20 2024-01-30 中国工商银行股份有限公司 多源威胁情报的处理方法及装置
CN113992436B (zh) * 2021-12-27 2022-03-01 北京微步在线科技有限公司 本地情报产生方法、装置、设备及存储介质
CN114500048B (zh) * 2022-01-26 2023-10-03 南方电网数字电网研究院有限公司 基于网络安全的外部威胁情报分析方法及系统
CN114143173B (zh) * 2022-01-30 2022-07-15 奇安信科技集团股份有限公司 数据处理方法、装置、设备和存储介质
CN115514529B (zh) * 2022-08-22 2023-09-22 智网安云(武汉)信息技术有限公司 一种威胁情报数据处理方法、设备及存储设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223530B2 (en) * 2013-11-13 2019-03-05 Proofpoint, Inc. System and method of protecting client computers
US9584541B1 (en) * 2015-02-12 2017-02-28 Lookingglass Cyber Solutions, Inc. Cyber threat identification and analytics apparatuses, methods and systems
CN110891048B (zh) * 2015-12-24 2021-09-03 华为技术有限公司 一种检测终端安全状况方法、装置及系统
CN106384048B (zh) * 2016-08-30 2021-05-07 北京奇虎科技有限公司 一种威胁信息处理方法与装置
CN106357689B (zh) * 2016-11-07 2019-07-09 北京奇虎科技有限公司 威胁数据的处理方法及系统
CN106909847B (zh) * 2017-02-17 2020-10-16 国家计算机网络与信息安全管理中心 一种恶意代码检测的方法、装置及系统
CN107391598B (zh) * 2017-06-30 2021-01-26 北京航空航天大学 一种威胁情报自动生成方法及系统

Also Published As

Publication number Publication date
CN108460278A (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
CN108460278B (zh) 一种威胁情报处理方法及装置
US10609059B2 (en) Graph-based network anomaly detection across time and entities
US11425148B2 (en) Identifying malicious network devices
CN109992989B (zh) 使用抽象语法树的用于查询注入检测的系统
US9300682B2 (en) Composite analysis of executable content across enterprise network
US11882137B2 (en) Network security blacklist derived from honeypot statistics
US9838419B1 (en) Detection and remediation of watering hole attacks directed against an enterprise
US20130167236A1 (en) Method and system for automatically generating virus descriptions
US20050120054A1 (en) Dynamic learning method and adaptive normal behavior profile (NBP) architecture for providing fast protection of enterprise applications
US20140156711A1 (en) Asset model import connector
CN105491053A (zh) 一种Web恶意代码检测方法及系统
US10505986B1 (en) Sensor based rules for responding to malicious activity
CN109074454A (zh) 基于赝象对恶意软件自动分组
KR102120232B1 (ko) 칼만필터 알고리즘을 이용한 사이버 표적공격 탐지 시스템 및 그 탐지 방법
JP2016146114A (ja) ブラックリストの管理方法
CN115134099B (zh) 基于全流量的网络攻击行为分析方法及装置
KR102424014B1 (ko) 사이버 위협 정보 처리 장치, 사이버 위협 정보 처리 방법 및 사이버 위협 정보 처리하는 프로그램을 저장하는 저장매체
CN107547490A (zh) 一种扫描器识别方法、装置及系统
CN111740868A (zh) 告警数据的处理方法和装置及存储介质
CN113595981B (zh) 上传文件威胁检测方法及装置、计算机可读存储介质
Bell et al. Catch me (on time) if you can: Understanding the effectiveness of twitter url blacklists
TW201928746A (zh) 偵測惡意程式的方法和裝置
KR20230103275A (ko) 사이버 보안 위협 정보 처리 장치, 사이버 보안 위협 정보 처리 방법 및 사이버 보안 위협 정보 처리하는 프로그램을 저장하는 저장매체
CN113572781A (zh) 网络安全威胁信息归集方法
US11792212B2 (en) IOC management infrastructure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100088 Building 3 332, 102, 28 Xinjiekouwai Street, Xicheng District, Beijing

Applicant after: Qianxin Technology Group Co.,Ltd.

Address before: 100015 Jiuxianqiao Chaoyang District Beijing Road No. 10, building 15, floor 17, layer 1701-26, 3

Applicant before: Beijing Qihoo Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant