CN110460594A - 威胁情报数据采集处理方法、装置及存储介质 - Google Patents

威胁情报数据采集处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110460594A
CN110460594A CN201910700841.6A CN201910700841A CN110460594A CN 110460594 A CN110460594 A CN 110460594A CN 201910700841 A CN201910700841 A CN 201910700841A CN 110460594 A CN110460594 A CN 110460594A
Authority
CN
China
Prior art keywords
information
data
enterprise
threat
operation platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910700841.6A
Other languages
English (en)
Other versions
CN110460594B (zh
Inventor
李洋
周亚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910700841.6A priority Critical patent/CN110460594B/zh
Publication of CN110460594A publication Critical patent/CN110460594A/zh
Priority to PCT/CN2020/093620 priority patent/WO2021017614A1/zh
Application granted granted Critical
Publication of CN110460594B publication Critical patent/CN110460594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/30Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/30Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance

Landscapes

  • Engineering & Computer Science (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明涉及数据安全技术领域,具体涉及一种威胁情报数据采集处理方法、装置及存储介质,方法包括S110:威胁情报运营平台采集企业的情报生产数据;S120:所述威胁情报运营平台根据所述情报生产数据来源确定待筛选威胁情报数据;S130:所述威胁情报运营平台对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并;S140:所述威胁情报运营平台将S130中确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业。本发明建立面向大型集团企业的“情报社区”,使企业成为情报的“生产者”,可以在“情报社区”实时地提供情报、及时地在行业分享情报。

Description

威胁情报数据采集处理方法、装置及存储介质
技术领域
本发明涉及数据安全技术领域,更为具体地,涉及一种威胁情报数据采集处理方法、装置及存储介质。
背景技术
所谓威胁情报,是某种基于一定证据的知识,包括上下文、机制、标示、含义和能够执行的建议,这些知识与资产所面临已有的或酝酿中的威胁或危害相关,可用于资产相关主体对威胁或危害的响应或处理决策提供信息支持。企业和机构使用威胁情报,以达到更好的满足其应对自身相关的安全威胁和进行更有效的安全防御为目的。
市面上现有的威胁情报系统,类似于360、绿盟、微步等等,都是基于推送和集中式情报提供模式,大型企业都是情报的“消费者”,不能及时地提供某行业的“自生产”情报,在企业威胁情报使用上存在一定的缺陷。
现阶段各安全厂商推出的威胁情报,由于厂商之间的商业和技术壁垒、以及缺乏统一交流标准等因素,威胁情报数据交换仍然非常少,导致情报的使用价值难以充分发挥。
在情报采集环节,现有安全厂商的数据采集一般通过反恶意软件实现,采集数据的规模和行业依赖于反恶意软件的部署情况,存在数据采集覆盖面不全、采集环境不一致等情况。对于流量层面的采集,安全厂商往往依赖与电信运营商的合作来进行,这中间存在客户隐私层面的隔阂,从而导致不能采集全量的情报数据。
在情报处理环节,由于安全厂商采集数据环境不一致、覆盖不全等问题,从样本(原始数据)到生成情报要投入大量的人力。
发明内容
鉴于上述问题,本发明的目的是提供一种威胁情报数据采集处理方法,采用这种方法能够建立面向大型集团企业的“情报社区”,使企业、用户成为情报的“生产者”,可以在“情报社区”实时地提供情报、及时地在行业分享情报,并借助云端的情报能力和评估筛选,对这些情报进行筛选、合并等,形成有效的行业情报。
根据本发明的一个方面,提供了一种威胁情报数据采集处理方法,包括以下步骤:
S110:威胁情报运营平台采集企业的情报生产数据,所述情报生产数据至少包括企业的事件分析报告、企业IDC出口安全设备日志数据、企业提交的样本和情报数据;
S120:所述威胁情报运营平台根据所述情报生产数据来源确定待筛选威胁情报数据;
S130:所述威胁情报运营平台对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并;
S140:所述威胁情报运营平台将S130中确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业。
具体的,所述威胁情报运营平台采集企业的情报生产数据的过程包括:
威胁情报运营平台采集所述企业的事件分析报告,包括将所述威胁情报运营平台的API与存储有所述事件分析报告的事件记录系统对接,所述威胁情报运营平台实时获取所述事件分析报告;
威胁情报运营平台采集所述企业IDC出口安全设备日志数据,包括所述威胁情报运营平台对接企业部署在IDC出口的安全设备,基于所述安全设备的全流量分析能力和结果进行日志数据采集;
威胁情报运营平台采集所述企业提交的样本和情报数据的过程包括:企业将所述样本和情报数据包含的确定或者可疑的IP、域名信息及恶意样本信息提交到威胁情报运营平台,所述威胁情报运营平台存储所述IP、域名信息及恶意样本信息。
具体的,所述威胁情报运营平台根据所述情报生产数据来源确定待筛选威胁情报数据的过程包括:
采用自然语言分析的方式,提取所述事件分析报告中的入侵威胁指标和TTP信息,并识别出情报类型,按照情报类型将所述入侵威胁指标和TTP信息保存到情报库中,生成待筛选威胁情报数据;
采用ELK系统对企业的IDC出口安全设备日志数据进行分析处理,所述ELK系统采用SPL语言,调取NGFW告警日志,统计过去预设时间内攻击参数达到预设阈值的IP作为失誉IP,保存到情报库,形成待筛选威胁情报数据。
所述威胁情报运营平台在存储所述IP、域名信息及恶意样本信息之后,通过用户评论的正反向评论比计算所述IP、域名信息的信用值,根据所述信用值和企业的信用等级,以确定待筛选威胁情报数据,保存到情报库;
将所述恶意样本推送到本地沙箱,对所述恶意样本中可识别的文件进行分析,以确定待筛选威胁情报数据,保存到情报库;
其中,所述企业的信用等级根据所述企业被评论的正向评论比、审核通过率、审核驳回率和被投诉情况确定。
具体的,所述威胁情报运营平台对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并的过程包括:采用本地沙箱对待筛选威胁情报数据进行识别,其中,将本地沙箱识别出的待筛选威胁情报数据确认为威胁情报;将本地沙箱无法识别的待筛选威胁情报数据分发到安全企业情报分析平台,并按照设定格式重新撰写事件分析报告,以备再次被采集到所述威胁情报运营平台;
其中,被确认为威胁情报的数据写入威胁情报运营平台中,所述写入的数据包括所述威胁情报的算法、主机特征、事件特征、TTP信息;
所述安全企业情报分析平台包括若干合作企业,所述合作企业为将企业的事件记录系统与威胁情报运营平台的API对接的企业;所述威胁情报运营平台与所述合作企业分别建立联系通道,所述威胁情报运营平台通过所述通道将本地沙箱无法识别的待筛选威胁情报数据分发到所述合作企业,由所述合作企业分别进行分析并回传按照所述设定格式撰写的事件分析报告,分发时过滤涉及企业、攻击目标的敏感信息;
所述威胁情报运营平台对确认为威胁情报的主机特征与情报库中的已有威胁情报的主机特征进行比对,将具有相似主机特征的威胁情报进行关联和分类并录入所述情报库。
具体的,所述威胁情报运营平台将S130中确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业的过程包括:所述威胁情报运营平台根据所述确认的威胁情报的类别将所述确认的威胁情报推送至订阅了所述类别的威胁情报的企业;
所述威胁情报运营平台与所述企业的安全运营平台和/或安全信息和事件管理系统对接,将确认的威胁情报与资产、事件关联后的告警信息,根据所述确认的威胁情报的类别将所述告警信息分发到订阅了所述类别情报的企业。
进一步,在步骤130之后,还包括:建立机器学习模型,根据所述机器学习模型和步骤130中所述确认的威胁情报,输出拟更新恶意样本家族的TTP信息,所述拟更新恶意样本家族的TTP信息包括活动状态、活动时间、目标。
根据本发明的另一方面,提供了一种威胁情报数据采集处理系统,包括:
情报生产数据采集模块,用于采集企业的情报生产数据;
待筛选威胁情报数据生成模块,用于根据所述情报生产数据来源确定待筛选威胁情报数据;
威胁情报筛选合并模块,用于对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并;
威胁情报和告警信息发放模块,用于将确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业;
所述的情报生产数据至少包括企业的事件分析报告、企业IDC出口安全设备日志数据、企业提交的样本和情报数据。
本发明还提供一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被处理器执行时实现上述的威胁情报数据采集处理方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中包括威胁情报数据采集处理程序,所述威胁情报数据采集处理程序被处理器执行时,实现上述的威胁情报数据采集处理方法的步骤。
本发明提供的一种威胁情报数据采集处理方法及系统与现有技术相比,具有以下有益效果:
1、能够全面的采集企业的情报生产数据,企业、用户成为情报的“生产者”,可以实时地提供情报;
2、通过“情报社区”,可以及时地在行业分享情报;在企业所属行业内部形成一定规模的行业内威胁情报共享,在不伤害参与方各自商业利益的前提下,一起分享行业面临的整体威胁、共享情报,向行业的共性威胁进行联合打击。
3、可以借助云端的情报能力和评估筛选,对这些情报进行合并、筛选等,形成有效的行业情报。
为了实现上述以及相关目的,本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而,这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外,本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明及权利要求书的内容,并且随着对本发明的更全面理解,本发明的其它目的及结果将更加明白及易于理解。在附图中:
图1是根据本发明实施例1的威胁情报数据采集处理方法的流程图;
图2是根据本发明实施例2的威胁情报数据采集处理系统的逻辑结构示意图;
图3是根据本发明实施例3的电子装置的逻辑结构示意图。
附图2中有如下标记:501情报生产数据采集模块;502待筛选威胁情报数据生成模块;503威胁情报筛选合并模块;504威胁情报和告警信息发放模块。
附图3中有如下标记:1电子装置;2处理器;3存储器;4计算机程序。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中,出于说明的目的,为了提供对一个或多个实施例的全面理解,阐述了许多具体细节。然而,很明显,也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中,为了便于描述一个或多个实施例,公知的结构和设备以方框图的形式示出。
以下将结合附图对本发明的具体实施例进行详细描述。
实施例1
图1示出了根据本发明实施例1的威胁情报数据采集处理方法的流程。
如图1所示,本实施例提供的威胁情报数据采集处理方法,包括以下步骤:
S110:威胁情报运营平台采集企业的情报生产数据,所述情报生产数据至少包括企业的事件分析报告、企业IDC(Interner Data Center,互联网数据中心)出口安全设备日志数据、企业提交的样本和情报数据;
企业可以为大型集团客户,数量至少为2个,所有的企业形成一个情报社区。威胁情报运营平台至少可采集情报社区中每个企业的事件分析报告、企业IDC出口安全设备日志数据、企业提交的样本和情报数据三种来源的情报数据,形成了情报的全面采集。
S120:威胁情报运营平台根据所述情报生产数据来源确定待筛选威胁情报数据;
S130:威胁情报运营平台对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并;
S140:威胁情报运营平台将S130中确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业。
在步骤S110中,威胁情报运营平台采集企业的情报生产数据,根据采集的情报生产数据的来源不同,选用不同的采集方式。
威胁情报运营平台在采集企业的事件分析报告的过程中,可以将威胁情报运营平台的API(Application Program Interface,应用程序编程接口)与存储有事件分析报告的事件记录系统进行对接,当企业应急响应人员提交事件分析报告到事件记录系统时,威胁情报运营平台实时获取事件分析报告。与威胁情报运营平台的API对接的至少为两个企业的事件记录系统。
事件分析报告,为在过去的事件处理中,安全人员完成事件分析和处理后会形成事件分析报告,而事件分析报告本身已经包含了情报上下文和ioc(入侵威胁指标)信息。本发明从事件分析报告本身所包含的信息入手,从集团企业层面对每个企业提交的事件分析报告进行统一设定格式(格式如下表),威胁情报运营平台能够全面的进行每个企业终端的情报数据采集。
以下是本发明一个具体实施例的事件分析报告,该事件分析报告采用的表格格式:
2、威胁情报运营平台采集企业IDC出口安全设备日志数据的过程中,威胁情报运营平台对接企业部署在IDC出口的安全设备,基于安全设备的全流量分析能力和结果进行日志数据采集。
企业IDC出口安全设备日志数据主要包含NTA(网络流量分析)、NGFW(Nextgeneration firewall,即下一代防火墙)、WAF(Web Application Firewall,Web应用防护系统)、IPS(Intrusion Prevention System,入侵防御系统)、杀软等设备的安全告警日志和事件日志等。
企业终端的情报数据采集和IDC出口进行全流量的情报数据采集的过程可结合NTA、本地沙箱、传统安全设备、终端应用等技术。传统安全设备包括NGFW、WAF、IPS、杀软等,终端应用包括邮箱、IM(即时通讯工具)等。
3、威胁情报运营平台采集企业提交的样本和情报数据的过程中:企业提交的样本和情报数据包括确定或者可疑的IP、域名信息及恶意样本信息,各企业可以将确定或者可疑的IP、域名信息提交到威胁情报运营平台,也可以提交恶意样本信息到威胁情报运营平台,威胁情报运营平台将确定或者可疑的IP、域名信息及恶意样本信息等这些情报数据进行存储。
在步骤S120中,威胁情报运营平台根据所述情报生产数据来源确定待筛选威胁情报数据。
1、采用自然语言分析(NLP)的方式,提取事件分析报告中的ioc(入侵威胁指标)和TTP(Tactics,Techniques&Procedures,手段、技术、过程情报)信息,即上表事件分析报告中带有*的字段信息,并识别出情报类型,按照情报类型将ioc和TTP信息保存到情报库中,生成待筛选威胁情报数据。
采用自然语言分析(NLP)提取事件分析报告中情报时,同时会分析“事件概述”字段,根据“事件概述”字段内容自动识别出情报类型,如失陷情报、文件信誉情报、IP信誉情报等,威胁情报运营平台将情报信息按照类型保存到情报库中。
2、采用平台ELK(Elasticsearch,Logstash,Kibana,流行的日志收集和分析平台)系统对企业的IDC出口安全设备日志数据进行分析处理形成待筛选威胁情报。
ELK系统在处理中主要使用SPL(Splunk Search Language,一种日志搜索语法)语言,具体如调取NGFW告警日志,统计过去预设时间内攻击参数达到预设阈值的IP作为失誉IP,保存到情报库,形成待筛选的威胁情报数据。本实施例采用统计过去1周中攻击类型大于20类、攻击目标IP大于10个的攻击源IP,可以初步认为这个IP是在进行扫描攻击,可以输出一条IP信誉情报。
3、威胁情报运营平台在存储企业提交的可疑的IP、域名信息及恶意样本信息之后,通过可疑的IP、域名信息情报在情报社区获得的用户评论的正反向评论比等数据计算该情报的信用值,同时根据企业被评论的正向评论比、审核通过率、审核驳回率、被投诉情况计算该企业的信用等级,将信用值和信用等级进行结合判断,以确定待筛选威胁情报信息,并存入情报库中。恶意样本将推送到本地沙箱对这些样本中可识别的文件进行分析,分析完成将输出待筛选的威胁情报信息,包括文件hash值、文件网络行为、本地行为等情报数据,并存入情报库。沙箱可识别的文件一般为二进制可执行文件、邮件等,不可识别的样本需进行人工分析后再进行提交。用户评论的正反向评论比可谓点赞/踩比。
IP、域名举报功能实现了社区情报的用户实时提供。
在步骤S130中,威胁情报运营平台对待筛选威胁情报数据进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并。
威胁情报运营平台对每个企业提供的待筛选威胁情报数据进行筛选的过程包括,采用本地沙箱对待筛选威胁情报数据进行识别。
其中,对于本地沙箱能够识别的待筛选威胁情报数据,确认为威胁情报;对于本地沙箱无法识别的待筛选威胁情报数据,威胁情报运营平台将自动分发所述无法识别的待筛选威胁情报数据,到安全企业情报分析平台,按照统一设定格式(如上表格)进行重新撰写事件分析报告,以备再次被采集到所述威胁情报运营平台。
安全企业情报分析平台用于为合作企业提供情报分析共享,由情报社区内的若干合作企业组成,若干合作企业为将企业的事件记录系统与威胁情报运营平台的API对接的企业。威胁情报运营平台与若干合作企业之间分别建立联系通道,威胁情报运营平台自动通过通道将本地沙箱无法识别的待筛选威胁数据分发到各合作企业。
分发原则为行业内分发,即由某行业企业提供的无法识别的待筛选威胁情报数据分发到同行业内所有其他合作企业,由同行业内的其他所有合作企业分别进行分析并回传严格按照上表中设定格式撰写的事件分析报告;回传的事件分析报告将进行步骤S120。
当威胁情报运营平台自动通过通道将无法识别的待筛选威胁情报数据分发到各合作企业时,将过滤涉及企业、攻击目标等敏感信息。
被确认为威胁情报的数据写入威胁情报运营平台中,写入的数据包括威胁情报的hash(算法)、主机特征、事件特征、TTP信息。
本威胁情报运营平台对这些确认为威胁情报的数据与情报库中的已有的威胁情报进行合并的过程中,威胁情报运营平台对确认为威胁情报的主机特征与情报库中的已有威胁情报的主机特征进行自动比对,将具有相似主机特征的威胁情报进行自动关联和分类并录入情报库。
在步骤130之后,还可以包括如下步骤:建立机器学习模型,根据机器学习模型和步骤130中确认的威胁情报,输出拟更新恶意样本家族的TTP信息,拟更新恶意样本家族的TTP信息包括活动状态、活动时间、目标等。
在步骤S140中:威胁情报运营平台将S130中确认的威胁情报向企业进行推送,并根据威胁情报生成告警信息,并将告警信息分发给企业。
对威胁情报进行推送过程包括:威胁情报运营平台根据确认的威胁情报的类别将确认的威胁情报推送至订阅了所述类别的威胁情报的企业,以保证用户及时获取到情报。
根据威胁情报生成告警信息,将告警信息分发给企业的过程包括:威胁情报运营平台与企业的NGSOC(安全运营平台)和/或SIEM(安全信息和事件管理)系统对接,将确认的威胁情报与资产、事件关联形成更加丰富和易懂的事件告警信息,根据确认的威胁情报的类别将告警信息分发到订阅了所述类别情报的企业,由相应的应急响应人员进行处置。
此外,为了便于企业的查询还可以在威胁情报运营平台设置查询API功能。
本发明提供的威胁情报数据采集处理方法,还包括:更新各企业的信用等级,更新依据包括企业被评论的正向评论比、审核通过率、审核驳回率、被投诉情况等确定用户的信用值。
情报社区应是行业一致共同对抗相同威胁的信息共享平台,为了维护这一终极目标,对各企业主要存在以下约束规则:
a)禁止一切企业提交虚假情报信息;
b)禁止一切企业利用威胁情报运营平台进行商业宣传、竞争等行为;
c)禁止一切企业利用威胁情报运营平台进行误导(用户、平台)的行为;
d)平台鼓励在不泄露企业机密信息的情况下分享详细的威胁情报;
威胁情报运营平台会通过监控评论内容是否正向(依靠NLP自然语言分析技术实现)、是否包含敏感词汇等情况来发现企业的违规行为,同时提供针对企业的投诉通道,如发现不遵守规则的企业,将该企业的信用等级降级。
实施例2
如图2所示,一种威胁情报数据采集处理系统,包括:情报生产数据采集模块501、待筛选威胁情报数据生成模块502、威胁情报筛选合并模块503、威胁情报和告警信息发放模块504。
情报生产数据采集模块501,用于采集企业的情报生产数据;待筛选威胁情报数据生成模块502,用于根据所述情报生产数据来源确定待筛选威胁情报数据;威胁情报筛选合并模块503,用于对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并;威胁情报和告警信息发放模块504,用于将确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业。
情报生产数据至少包括企业的事件分析报告、企业IDC出口安全设备日志数据、企业提交的样本和情报数据;所述企业数量为两个以上。
情报生产数据采集模块501可包括企业事件分析报告采集模块、企业IDC出口安全设备日志数据采集模块、企业提交的样本和情报数据采集模块。
待筛选威胁情报数据生成模块502可包括事件分析报告处理模块、IDC出口安全设备日志数据处理模块及企业提交的样本和情报数据处理模块。
威胁情报筛选合并模块503可包括待筛选威胁情报数据筛选识别模块和威胁情报合并模块。
威胁情报和告警信息发放模块504可包括威胁情报推送模块和告警信息分发模块。
本威胁情报数据采集处理系统还可包括;生成拟更新恶意样本家族信息模块和建立企业信用等级模块。
实施例3
如图3所示,一种电子装置1,包括存储器3和处理器2,存储器3中存储有计算机程序4,计算机程序4被处理器2执行时实现实施例1中的威胁情报数据采集处理方法。
实施例4
一种计算机可读存储介质,所述计算机可读存储介质中包括威胁情报数据采集处理程序,威胁情报数据采集处理程序被处理器执行时,实现实施例1中的威胁情报数据采集处理方法的步骤。
对于本发明提供的威胁情报数据采集处理系统实施例而言,由于其基本相似于威胁情报数据采集处理方法的实施例,相关之处参见方法实施例的部分说明,此处不再赘述。
如上附图以示例的方式描述根据本发明的威胁情报数据采集处理方法及系统。但是,本领域技术人员应当理解,对于上述本发明所提出的威胁情报数据采集处理方法及系统,还可以在不脱离本发明内容的基础上做出各种改进。因此,本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种威胁情报数据采集处理方法,其特征在于,包括以下步骤:
S110:威胁情报运营平台采集企业的情报生产数据,所述情报生产数据至少包括企业的事件分析报告、企业IDC出口安全设备日志数据、企业提交的样本和情报数据;
S120:所述威胁情报运营平台根据所述情报生产数据来源确定待筛选威胁情报数据;
S130:所述威胁情报运营平台对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并;
S140:所述威胁情报运营平台将S130中确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业。
2.如权利要求1所述的威胁情报数据采集处理方法,其特征在于,所述威胁情报运营平台采集企业的情报生产数据的过程包括:
威胁情报运营平台采集所述企业的事件分析报告,包括将所述威胁情报运营平台的API与存储有所述事件分析报告的事件记录系统对接,所述威胁情报运营平台实时获取所述事件分析报告;
威胁情报运营平台采集所述企业IDC出口安全设备日志数据,包括所述威胁情报运营平台对接企业部署在IDC出口的安全设备,基于所述安全设备的全流量分析能力和结果进行日志数据采集;
威胁情报运营平台采集所述企业提交的样本和情报数据的过程包括:企业将所述样本和情报数据包含的确定或者可疑的IP、域名信息及恶意样本信息提交到威胁情报运营平台,所述威胁情报运营平台存储所述IP、域名信息及恶意样本信息。
3.如权利要求1所述的威胁情报数据采集处理方法,其特征在于,所述威胁情报运营平台根据所述情报生产数据来源确定待筛选威胁情报数据的过程包括:
采用自然语言分析的方式,提取所述事件分析报告中的入侵威胁指标和TTP信息,并识别出情报类型,按照情报类型将所述入侵威胁指标和TTP信息保存到情报库中,生成待筛选威胁情报数据;
采用ELK系统对企业的IDC出口安全设备日志数据进行分析处理,所述ELK系统采用SPL语言,调取NGFW告警日志,统计过去预设时间内攻击参数达到预设阈值的IP作为失誉IP,保存到情报库,形成待筛选威胁情报数据。
4.如权利要求2所述的威胁情报数据采集处理方法,其特征在于,所述威胁情报运营平台在存储所述IP、域名信息及恶意样本信息之后,通过用户评论的正反向评论比计算所述IP、域名信息的信用值,根据所述信用值和企业的信用等级,以确定待筛选威胁情报数据,保存到情报库;
将所述恶意样本推送到本地沙箱,对所述恶意样本中可识别的文件进行分析,以确定待筛选威胁情报数据,保存到情报库;
其中,所述企业的信用等级根据所述企业被评论的正向评论比、审核通过率、审核驳回率和被投诉情况确定。
5.如权利要求1所述的威胁情报数据采集处理方法,其特征在于,所述威胁情报运营平台对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并的过程包括:
采用本地沙箱对待筛选威胁情报数据进行识别,其中,将本地沙箱识别出的待筛选威胁情报数据确认为威胁情报;
将本地沙箱无法识别的待筛选威胁情报数据分发到安全企业情报分析平台,并按照设定格式重新撰写事件分析报告,以备再次被采集到所述威胁情报运营平台;
其中,被确认为威胁情报的数据写入威胁情报运营平台中,所述写入的数据包括所述威胁情报的算法、主机特征、事件特征、TTP信息;
所述威胁情报运营平台对确认为威胁情报的主机特征与情报库中的已有威胁情报的主机特征进行比对,将具有相似主机特征的威胁情报进行关联和分类并录入所述情报库。
6.如权利要求1所述的威胁情报数据采集处理方法,其特征在于,所述威胁情报运营平台将S130中确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业的过程包括:
所述威胁情报运营平台根据所述确认的威胁情报的类别将所述确认的威胁情报推送至订阅了所述类别的威胁情报的企业;
所述威胁情报运营平台与所述企业的安全运营平台和/或安全信息和事件管理系统对接,将确认的威胁情报与资产、事件关联后的告警信息,根据所述确认的威胁情报的类别将所述告警信息分发到订阅了所述类别情报的企业。
7.如权利要求1所述的威胁情报数据采集处理方法,其特征在于,在步骤130之后,还包括:建立机器学习模型,根据所述机器学习模型和步骤130中所述确认的威胁情报,输出拟更新恶意样本家族的TTP信息,所述拟更新恶意样本家族的TTP信息包括活动状态、活动时间、目标。
8.一种威胁情报数据采集处理系统,其特征在于,包括:
情报生产数据采集模块,用于采集企业的情报生产数据;
待筛选威胁情报数据生成模块,用于根据所述情报生产数据来源确定待筛选威胁情报数据;
威胁情报筛选合并模块,用于对所述待筛选威胁情报数据采用本地沙箱进行筛选,根据筛选结果将确认为威胁情报的数据与情报库中的已有威胁情报进行合并;
威胁情报和告警信息发放模块,用于将确认的威胁情报向所述企业进行推送,并根据所述威胁情报生成告警信息,并将所述告警信息分发给所述企业;
所述的情报生产数据至少包括企业的事件分析报告、企业IDC出口安全设备日志数据、企业提交的样本和情报数据。
9.一种电子装置,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的威胁情报数据采集处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括威胁情报数据采集处理程序,所述威胁情报数据采集处理程序被处理器执行时,实现如权利要求1至7中任一项所述的威胁情报数据采集处理方法的步骤。
CN201910700841.6A 2019-07-31 2019-07-31 威胁情报数据采集处理方法、装置及存储介质 Active CN110460594B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910700841.6A CN110460594B (zh) 2019-07-31 2019-07-31 威胁情报数据采集处理方法、装置及存储介质
PCT/CN2020/093620 WO2021017614A1 (zh) 2019-07-31 2020-05-30 威胁情报数据采集处理方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910700841.6A CN110460594B (zh) 2019-07-31 2019-07-31 威胁情报数据采集处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110460594A true CN110460594A (zh) 2019-11-15
CN110460594B CN110460594B (zh) 2022-02-25

Family

ID=68484191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910700841.6A Active CN110460594B (zh) 2019-07-31 2019-07-31 威胁情报数据采集处理方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN110460594B (zh)
WO (1) WO2021017614A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868418A (zh) * 2019-11-18 2020-03-06 杭州安恒信息技术股份有限公司 一种威胁情报生成方法、装置
CN110912889A (zh) * 2019-11-22 2020-03-24 上海交通大学 一种基于智能化威胁情报的网络攻击检测系统和方法
CN110955893A (zh) * 2019-11-22 2020-04-03 杭州安恒信息技术股份有限公司 一种恶意文件威胁分析平台及恶意文件威胁分析方法
CN111160749A (zh) * 2019-12-23 2020-05-15 北京神州绿盟信息安全科技股份有限公司 一种情报质量评估和情报融合方法及装置
CN111782967A (zh) * 2020-07-02 2020-10-16 奇安信科技集团股份有限公司 信息处理方法、装置、电子设备和计算机可读存储介质
CN111800395A (zh) * 2020-06-18 2020-10-20 云南电网有限责任公司信息中心 一种威胁情报防御方法和系统
CN112256785A (zh) * 2020-11-26 2021-01-22 奇安信科技集团股份有限公司 情报数据的处理方法、装置、电子设备、介质和程序产品
WO2021017614A1 (zh) * 2019-07-31 2021-02-04 平安科技(深圳)有限公司 威胁情报数据采集处理方法、系统、装置及存储介质
CN112765366A (zh) * 2021-01-24 2021-05-07 中国电子科技集团公司第十五研究所 基于知识图谱的apt组织画像构建方法
CN113489716A (zh) * 2021-07-02 2021-10-08 南京联成科技发展股份有限公司 一种基于集中管控的威胁情报数据关联分析系统
CN113890758A (zh) * 2021-09-27 2022-01-04 深信服科技股份有限公司 一种威胁情报方法、装置、设备及计算机存储介质
CN113919514A (zh) * 2021-12-09 2022-01-11 北京微步在线科技有限公司 一种基于威胁情报的样本数据获取方法及装置
CN113992436A (zh) * 2021-12-27 2022-01-28 北京微步在线科技有限公司 本地情报产生方法、装置、设备及存储介质
CN114003904A (zh) * 2021-12-31 2022-02-01 北京微步在线科技有限公司 情报共享方法、装置、计算机设备及存储介质
CN115314304A (zh) * 2022-08-10 2022-11-08 重庆电子工程职业学院 一种网络安全事件分析装置和方法
CN115842685A (zh) * 2023-02-21 2023-03-24 北京微步在线科技有限公司 一种威胁情报的生成方法、装置、电子设备及存储介质
WO2023124166A1 (zh) * 2021-12-31 2023-07-06 奇安信科技集团股份有限公司 威胁情报内生方法及装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259356A (zh) * 2021-05-21 2021-08-13 北京国联天成信息技术有限公司 大数据环境下的威胁情报与终端检测响应方法及系统
CN113420150A (zh) * 2021-07-06 2021-09-21 北京信安天途科技有限公司 威胁情报知识检测方法、装置、计算设备及存储介质
CN113420127A (zh) * 2021-07-06 2021-09-21 北京信安天途科技有限公司 威胁情报处理方法、装置、计算设备及存储介质
CN113468384B (zh) * 2021-07-20 2023-11-03 山石网科通信技术股份有限公司 网络情报源信息的处理方法、装置、存储介质及处理器
CN113645232B (zh) * 2021-08-10 2023-04-28 克拉玛依和中云网技术发展有限公司 一种面向工业互联网的智能化流量监测方法、系统及存储介质
CN113691518B (zh) * 2021-08-17 2023-12-05 三六零数字安全科技集团有限公司 情报分析方法、装置、设备及存储介质
CN113610427B (zh) * 2021-08-19 2023-08-18 深圳市德信软件有限公司 事件预警指标获得方法、装置、终端设备以及存储介质
CN113691524A (zh) * 2021-08-23 2021-11-23 杭州安恒信息技术股份有限公司 一种告警信息处理方法、系统、电子设备及存储介质
CN113691525A (zh) * 2021-08-23 2021-11-23 杭州安恒信息技术股份有限公司 一种流量数据处理方法、装置、设备及存储介质
CN114065767B (zh) * 2021-11-29 2024-05-14 北京航空航天大学 一种威胁情报的分类及演化关系分析方法
CN114301709B (zh) * 2021-12-30 2024-04-02 山石网科通信技术股份有限公司 报文的处理方法和装置、存储介质及计算设备
CN114500048B (zh) * 2022-01-26 2023-10-03 南方电网数字电网研究院有限公司 基于网络安全的外部威胁情报分析方法及系统
CN114553558B (zh) * 2022-02-24 2024-03-08 新华三信息安全技术有限公司 一种数据处理方法及装置
CN114584366B (zh) * 2022-03-01 2024-05-07 南方电网数字电网研究院有限公司 电力监控网络安全检测系统及方法
CN115134131B (zh) * 2022-06-20 2023-10-20 中能融合智慧科技有限公司 一种基于态势感知的物联网通信传输系统
CN115514529B (zh) * 2022-08-22 2023-09-22 智网安云(武汉)信息技术有限公司 一种威胁情报数据处理方法、设备及存储设备
CN115622805B (zh) * 2022-12-06 2023-08-25 深圳慧卡科技有限公司 基于人工智能的安全支付防护方法及ai系统
CN116527323B (zh) * 2023-04-04 2024-01-30 中国华能集团有限公司北京招标分公司 一种动态威胁分析方法
CN117113340B (zh) * 2023-10-20 2024-01-23 杭州美创科技股份有限公司 主机失陷检测方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105743877A (zh) * 2015-11-02 2016-07-06 哈尔滨安天科技股份有限公司 一种网络安全威胁情报处理方法及系统
CN107046543A (zh) * 2017-04-26 2017-08-15 国家电网公司 一种面向攻击溯源的威胁情报分析系统
CN107547526A (zh) * 2017-08-17 2018-01-05 北京奇安信科技有限公司 一种云地结合的数据处理方法及装置
CN108460278A (zh) * 2018-02-13 2018-08-28 北京奇安信科技有限公司 一种威胁情报处理方法及装置
CN109547479A (zh) * 2018-12-27 2019-03-29 国网浙江省电力有限公司电力科学研究院 一种工业环境中威胁情报整合系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182476B2 (en) * 2016-09-07 2021-11-23 Micro Focus Llc Enhanced intelligence for a security information sharing platform
US20180191781A1 (en) * 2016-12-30 2018-07-05 Microsoft Technology Licensing, Llc Data insights platform for a security and compliance environment
CN109299174B (zh) * 2018-09-11 2021-02-19 奇安信科技集团股份有限公司 一种多源情报数据聚合处理方法及装置
CN109614553A (zh) * 2018-12-21 2019-04-12 北京博明信德科技有限公司 用于日志收集的PaaS平台
CN109981627B (zh) * 2019-03-18 2021-02-26 武汉思普崚技术有限公司 网络威胁情报信息的更新方法及系统
CN110460594B (zh) * 2019-07-31 2022-02-25 平安科技(深圳)有限公司 威胁情报数据采集处理方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105743877A (zh) * 2015-11-02 2016-07-06 哈尔滨安天科技股份有限公司 一种网络安全威胁情报处理方法及系统
CN107046543A (zh) * 2017-04-26 2017-08-15 国家电网公司 一种面向攻击溯源的威胁情报分析系统
CN107547526A (zh) * 2017-08-17 2018-01-05 北京奇安信科技有限公司 一种云地结合的数据处理方法及装置
CN108460278A (zh) * 2018-02-13 2018-08-28 北京奇安信科技有限公司 一种威胁情报处理方法及装置
CN109547479A (zh) * 2018-12-27 2019-03-29 国网浙江省电力有限公司电力科学研究院 一种工业环境中威胁情报整合系统和方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017614A1 (zh) * 2019-07-31 2021-02-04 平安科技(深圳)有限公司 威胁情报数据采集处理方法、系统、装置及存储介质
CN110868418A (zh) * 2019-11-18 2020-03-06 杭州安恒信息技术股份有限公司 一种威胁情报生成方法、装置
CN110912889A (zh) * 2019-11-22 2020-03-24 上海交通大学 一种基于智能化威胁情报的网络攻击检测系统和方法
CN110955893A (zh) * 2019-11-22 2020-04-03 杭州安恒信息技术股份有限公司 一种恶意文件威胁分析平台及恶意文件威胁分析方法
CN110912889B (zh) * 2019-11-22 2021-08-20 上海交通大学 一种基于智能化威胁情报的网络攻击检测系统和方法
CN111160749A (zh) * 2019-12-23 2020-05-15 北京神州绿盟信息安全科技股份有限公司 一种情报质量评估和情报融合方法及装置
CN111160749B (zh) * 2019-12-23 2023-07-21 绿盟科技集团股份有限公司 一种情报质量评估和情报融合方法及装置
CN111800395A (zh) * 2020-06-18 2020-10-20 云南电网有限责任公司信息中心 一种威胁情报防御方法和系统
CN111782967A (zh) * 2020-07-02 2020-10-16 奇安信科技集团股份有限公司 信息处理方法、装置、电子设备和计算机可读存储介质
CN111782967B (zh) * 2020-07-02 2024-05-28 奇安信科技集团股份有限公司 信息处理方法、装置、电子设备和计算机可读存储介质
CN112256785A (zh) * 2020-11-26 2021-01-22 奇安信科技集团股份有限公司 情报数据的处理方法、装置、电子设备、介质和程序产品
CN112765366A (zh) * 2021-01-24 2021-05-07 中国电子科技集团公司第十五研究所 基于知识图谱的apt组织画像构建方法
CN113489716A (zh) * 2021-07-02 2021-10-08 南京联成科技发展股份有限公司 一种基于集中管控的威胁情报数据关联分析系统
CN113890758A (zh) * 2021-09-27 2022-01-04 深信服科技股份有限公司 一种威胁情报方法、装置、设备及计算机存储介质
CN113890758B (zh) * 2021-09-27 2024-04-12 深信服科技股份有限公司 一种威胁情报方法、装置、设备及计算机存储介质
CN113919514A (zh) * 2021-12-09 2022-01-11 北京微步在线科技有限公司 一种基于威胁情报的样本数据获取方法及装置
CN113992436B (zh) * 2021-12-27 2022-03-01 北京微步在线科技有限公司 本地情报产生方法、装置、设备及存储介质
CN113992436A (zh) * 2021-12-27 2022-01-28 北京微步在线科技有限公司 本地情报产生方法、装置、设备及存储介质
CN114003904B (zh) * 2021-12-31 2022-03-08 北京微步在线科技有限公司 情报共享方法、装置、计算机设备及存储介质
WO2023124166A1 (zh) * 2021-12-31 2023-07-06 奇安信科技集团股份有限公司 威胁情报内生方法及装置
CN114003904A (zh) * 2021-12-31 2022-02-01 北京微步在线科技有限公司 情报共享方法、装置、计算机设备及存储介质
CN115314304A (zh) * 2022-08-10 2022-11-08 重庆电子工程职业学院 一种网络安全事件分析装置和方法
CN115842685A (zh) * 2023-02-21 2023-03-24 北京微步在线科技有限公司 一种威胁情报的生成方法、装置、电子设备及存储介质
CN115842685B (zh) * 2023-02-21 2023-05-05 北京微步在线科技有限公司 一种威胁情报的生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021017614A1 (zh) 2021-02-04
CN110460594B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN110460594A (zh) 威胁情报数据采集处理方法、装置及存储介质
Sun et al. Detecting anomalous user behavior using an extended isolation forest algorithm: an enterprise case study
CN110677408B (zh) 攻击信息的处理方法和装置、存储介质及电子装置
US10339309B1 (en) System for identifying anomalies in an information system
CN113098892B (zh) 基于工业互联网的数据防泄漏系统以及方法
CN103026345B (zh) 用于事件监测优先级的动态多维模式
CN110519150B (zh) 邮件检测方法、装置、设备、系统及计算机可读存储介质
CN106453061A (zh) 一种识别网络诈骗行为的方法及系统
CN112491779B (zh) 一种异常行为检测方法及装置、电子设备
Rahman et al. Fairplay: Fraud and malware detection in google play
KR101692982B1 (ko) 로그 분석 및 특징 자동 학습을 통한 위험 감지 및 접근제어 자동화 시스템
CN110991246A (zh) 一种视频检测方法及系统
CN109388949B (zh) 一种数据安全集中管控方法和系统
CN115001934A (zh) 一种工控安全风险分析系统及方法
CN107766737B (zh) 一种数据库审计方法
US20230396640A1 (en) Security event management system and associated method
CN111126729A (zh) 智能化的安全事件闭环处置系统及其方法
Gallo et al. Identifying threats in a large company's inbox
CN114584391B (zh) 异常流量处理策略的生成方法、装置、设备及存储介质
CN115587357A (zh) 一种基于大数据的威胁场景分析方法及系统
Awajan et al. Machine learning techniques for automated policy violation reporting
CN114189585A (zh) 骚扰电话异常检测方法、装置及计算设备
CN114124453A (zh) 网络安全信息的处理方法、装置、电子设备及储存介质
Prasetyo et al. Investigation Cyberbullying on Kik Messenger using National Institute of Standards Technology Method
Jhaveri et al. Cloud security information & event management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant