CN111327607B - 一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端 - Google Patents

一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端 Download PDF

Info

Publication number
CN111327607B
CN111327607B CN202010091391.8A CN202010091391A CN111327607B CN 111327607 B CN111327607 B CN 111327607B CN 202010091391 A CN202010091391 A CN 202010091391A CN 111327607 B CN111327607 B CN 111327607B
Authority
CN
China
Prior art keywords
data
threat
threat intelligence
dynamic
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010091391.8A
Other languages
English (en)
Other versions
CN111327607A (zh
Inventor
陈士超
李学庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN202010091391.8A priority Critical patent/CN111327607B/zh
Publication of CN111327607A publication Critical patent/CN111327607A/zh
Application granted granted Critical
Publication of CN111327607B publication Critical patent/CN111327607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端,所述方法包括:获取预先存储到数据仓库的数据集合;将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;基于所述威胁情报进行网络安全防御。因此,采用本申请实施例,可以提高全网安全防御能力。

Description

一种基于大数据的安全威胁情报管理方法、系统、存储介质及 终端
技术领域
本发明涉及计算机技术领域,特别涉及一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端。
背景技术
随着互联网技术发展,网络攻击方法呈现多样化、AI化的趋势,同时,攻击工具的开源,使得网络攻击的门槛变低,因此导致企业防御成本增加、防御能力逐渐下降,特别是针对于现在AI(人工智能)化攻击,由于通过AI技术实现完全模拟真实用户场景操作,导致企业防御难度指数级增加。
目前在网络防御技术中,首先分析病毒样本和收集开源情报,然后通过沙箱系统分析病毒样本以及安全专家分析数据,最后提取出威胁情报,并以此对攻击的数据进行匹配,从而进行防御。由于威胁情报的产出是以已经发生的攻击场景和病毒样本,当出现0Day漏洞等未知攻击时,无法进行抵御,从而降低了网络安全防御能力。
发明内容
本申请实施例提供了一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本申请实施例提供了一种基于大数据的安全威胁情报管理方法,所述方法包括:
获取预先存储到数据仓库的数据集合;
将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;
基于所述威胁情报进行网络安全防御。
可选的,所述基于所述威胁情报进行网络安全防御,包括:
当所述威胁情报为静态威胁情报时,将安全产品的安全策略进行补充。
可选的,所述基于所述威胁情报进行网络安全防御,包括:
当所述威胁情报为动态威胁情报时,进行动态识别安全风险。
可选的,所述进行动态识别安全风险,包括:
获取动态威胁情报数据对应的动态库、函数和模型;
获取所述动态库、函数和模型对应的权重;
计算所述动态库、函数和模型对应的分数;
将所述对应的分数和所述对应的权重相加生成所述动态库、函数和模型对应的输出分数;
将所述动态库、函数和模型对应的输出分数进行求和,生成威胁分数;
基于所述威胁分数进行动态识别安全风险。
可选的,所述获取预先存储到数据仓库的数据集合之前,还包括:
获取预先采集的基础数据;
将所述基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成JSON格式的基础数据;
在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据;
将所述增加标签后的JSON格式的基础数据存储到数据仓库。
可选的,所述在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据,包括:
获取数据标签;
通过加密算法AES256对所述数据标签进行加密生成加密后的数据标签;
将所述加密后的数据标签确定为预设标签;
将所述预设标签增加在所述JSON格式的基础数据中生成增加标签后的JSON格式的基础数据。
可选的,所述获取预先采集的基础数据之前,还包括:
通过数据采集技术进行数据采集,生成基础数据。
第二方面,本申请实施例提供了一种基于大数据的安全威胁情报管理系统,所述系统包括:
数据产生模块,用于通过数据采集技术进行数据采集,生成基础数据;
数据处理模块,用于将所述基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成JSON格式的基础数据,在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据,将所述增加标签后的JSON格式的基础数据存储到数据仓库;
数据分析模块,用于获取预先存储到数据仓库的数据集合,将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;
威胁情报模块,用于提取静态威胁情报和动态威胁情报,将所述静态威胁情报存储在MongoDB数据库中,将所述动态威胁情报存储在Hadoop大数据集群;
情报输出模块,用于基于动态威胁情报,封装出所述动态威胁情报对应的API,基于静态威胁情报,将所述静态威胁情报进行加密签名生成加密签名后的情报数据包;
情报赋能模块,用于提供OEM产品服务,回收用户的场景数据。
第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种终端,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,用户终端首先获取预先存储到数据仓库的数据集合,然后将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;最后基于所述威胁情报进行网络安全防御。由于本方案通过大数据算法,对安全数据、业务数据、网络数据进行跟踪和分析,从而获取到威胁情报信息,并且建立威胁情报模型,对未知的攻击行为进行安全防护。通过威胁情报的有效管理和共享流程,实现威胁情报的全网同步,从而提高全网安全防御能力。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于大数据的安全威胁情报管理方法的流程示意图;
图2是本申请实施例提供的一种基于大数据的安全威胁情报管理方法的系统架构图;
图3是本申请实施例提供的一种基于大数据的安全威胁情报管理方法的数据清洗流程示意图;
图4是本申请实施例提供的一种基于大数据的安全威胁情报管理方法的动态威胁情报识别流程示意图;
图5是本申请实施例提供的另一种基于大数据的安全威胁情报管理方法的流程示意图;
图6是本申请实施例提供的另一种基于大数据的安全威胁情报管理方法的流程示意图;
图7是本申请实施例提供的一种基于大数据的安全威胁情报管理系统的结构示意图;
图8是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止,对于网络防御技术中,首先分析病毒样本和收集开源情报,然后通过沙箱系统分析病毒样本以及安全专家分析数据,最后提取出威胁情报,并以此对攻击的数据进行匹配,从而进行防御。由于威胁情报的产出是以已经发生的攻击场景和病毒样本,当出现0Day漏洞等未知攻击时,无法进行抵御,从而降低了网络安全防御能力。为此,本申请提供了一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端,以解决上述相关技术问题中存在的问题。本申请提供的技术方案中,由于本方案通过大数据算法,对安全数据、业务数据、网络数据进行跟踪和分析,从而获取到威胁情报信息,并且建立威胁情报模型,对未知的攻击行为进行安全防护。通过威胁情报的有效管理和共享流程,实现威胁情报的全网同步,从而提高全网安全防御能力,下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图6,对本申请实施例提供的基于大数据的安全威胁情报管理方法进行详细介绍。该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的基于大数据的安全威胁情报管理装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。其中,本申请实施例中的基于大数据的安全威胁情报管理装置可以为用户终端,包括但不限于:个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,PDA)、5G网络或未来演进网络中的终端设备等。
请参见图1,为本申请实施例提供了一种基于大数据的安全威胁情报管理方法的流程示意图。如图1所示,本申请实施例的所述方法可以包括以下步骤:
S101,获取预先存储到数据仓库的数据集合;
其中,数据仓库是将基础数据进行处理后进行保存的仓库。数据集合是保存在数据仓库中的数据。
在本申请实施例中,用户终端通过数据采集技术进行数据采集,生成基础数据,这里的数据采集技术包括但不限于syslog(系统日志)、API导出(应用程序接口导出)、网络爬虫和文件同步等多种数据采集技术,基础数据包括但不限于业务数据、安全系数数据、开源情报数据以及合作商提供的数据。
当基础数据生成以后,此时的基础数据包含多种格式的基础数据,需要将包含多种数据格式的基础数据进行转换,转换成格式统一的数据,在转换时,用户终端获取生成的基础数据,将基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成格式为JSON格式(JavaScript对象简谱)的基础数据。
当格式为JSON格式(JavaScript对象简谱)的基础数据生成以后,为了增加数据的可追踪性,需要对基础数据打上数据标签,在对基础数据打上预设标签时,用户终端首先获取数据标签,再通过加密算法AES256对数据标签进行加密生成加密后的数据标签,再将加密后的数据标签确定为预设标签,然后将预设标签增加在所述JSON格式的基础数据中生成增加标签后的JSON格式的基础数据,最后将增加标签后的JSON格式的基础数据存储到数据仓库。
例如图3所示,利用数据采集技术Kafka、API、Syslog、文件和xmpp采集数据输入到数据清洗模块中进行数据清洗,数据清洗模块中有用户平台预先导入的数据规则,进行数据清洗时根据用户平台预先导入的数据规则进行数据清洗,数据清洗结束后输出统一格式的JSON格式的基础数据,然后将统一格式的JSON格式的基础数据存储在数据仓库,在进行存储时,需要为基础数据打上数据分析平台提供的数据标签,然后进行存储。
当对数据仓库中的数据进行分析时,用户终端首先需要获取预先存储在数据仓库中的数据集合。
S102,将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;
其中,数据分析层是对数据仓库中的基础数据进行分析的模块,威胁情报是对网络具有威胁的数据信息。静态威胁情报为字符串格式的威胁情报,用于安全产品的安全策略补充。动态威胁情报为一个模型或者方法,用于动态识别安全风险。
在一种可能的实现方式中,基于步骤S101可获取预先存储在数据仓库中的数据集合,此时的数据集合是数据处理完成后的,所有的数据都是格式化成JSON数据格式的,此时,将数据分成三个流向,分别流向分析师工作平台、大数据分析平台和AI数据处理平台,其中,分析师工作平台为专家平台,负责处理的数据包括结构复杂数据、紧急发生的安全事件数据和未出现过的复杂样本,分析师专家通过专业的技能,提取出特征数据,输入威胁情报库,同时与大数据平台和AI平台协作,把这些数据的处理方法形成自动化,把提取出来的情报数据(静态威胁情报)和方法数据(动态威胁情报),分别存于数据库和模型库,情报数据为JSON格式的字符串数据,存于MongoDB数据库中,模型数据是一个函数和动态库,是一个动态执行的过程,存储于Hadoop大数据集群中。
S103,基于所述威胁情报进行网络安全防御。
在一种可能的实现方式中,基于步骤S102可生成静态威胁情报和动态威胁情报。
可选的,当生成的威胁情报为静态威胁情报时,即字符串格式,这种威胁情报一般用于安全产品的安全策略补充。
可选的,当生成的威胁情报为动态威胁情报时,即一个模型或者方法,在识别的时候动态执行,动态识别安全风险后得出威胁等级,例如图4所示,动态威胁情报数据包括动态库、函数和模型,首先分别计算动态库、函数和模型对应的分数,然后结合自己的权重,进行求和,最后将结合自己权重进行求和的分数进行相加得出总体得分,再将总体得分和预设等级划分参数进行对照后得出威胁等级。其中预设等级划分参数为Normal:<100,Medium:100~150,High:150~250,Critical:>250。
例如图2所示,图2为本申请的系统架构图,从下至上,从原始数据收集到威胁情报产出和使用,一共分为6层。
数据产生层:该层的目的是收集尽量多的数据,包括但不限于业务数据、安全系统数据、开源情报数据以及从合作伙伴那获取的数据,综合利用Syslog、API导出、网络爬虫、文件同步等多种技术手段,从多个数据源进行多个维度的数据采集,为其他功能层,提供充实的数据基础。
数据处理层:由于数据产生层获取的数据各式各样,包括文本格式、JSON格式、XML格式等,通过建立规则平台,由数据专家对复杂的数据类型进行数据处理,数据清洗平台则根据数据关键提供的规则和机器学习训练的模型,对数据进行归一化处理,同时为了数据追踪,通过数据标签平台,为数据自动打上追踪标签。
数据分析层:当数据处理层处理完数据后,所有的数据都是格式化的,这时候,把数据分成三个流向,分别流向分析师工作平台、大数据分析平台、AI数据处理平台,其中,分析师工作平台是一个专家平台,负责处理的数据包括结构复杂数据、紧急发生的安全事件数据、未出现过的复杂样本,分析师专家通过专业的技能,对这些数据进行分析,并提取出特征数据,输入威胁情报库,同时与大数据平台、AI平台协作,把这些数据的处理方法形成自动化。
威胁情报层:基于以上几个层的处理,把提取出来的情报数据和方法数据,分别存于数据库和模型库,情报数据为JSON格式的字符串数据,存于MongoDB数据库中,模型数据是一个函数和动态库,是一个动态执行的过程,存储于Hadoop大数据集群中。
情报输出层:基于威胁情报模型,封装出API,基于情报数据,生成自我加密签名的情报数据包,供内部其他系统调用,为了和请他厂商协作,同时也会生成STIX和TAXII两种格式的情报数据包,STIX和TAXII为国际通用的威胁情报格式。
情报赋能:为了能够让情报能够变现,基于情报输出层,建设情报共享平台,通过共享平台,为没有技术能力的企业提供OEM产品服务,通过共享平台对情报的准确性做验证,回收用户的场景数据,为情报落地提供更多的场景支持。
在本申请实施例中,用户终端首先获取预先存储到数据仓库的数据集合,然后将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;最后基于所述威胁情报进行网络安全防御。由于本方案通过大数据算法,对安全数据、业务数据、网络数据进行跟踪和分析,从而获取到威胁情报信息,并且建立威胁情报模型,对未知的攻击行为进行安全防护。通过威胁情报的有效管理和共享流程,实现威胁情报的全网同步,从而提高全网安全防御能力。
请参见图5,为本申请实施例提供的另一种基于大数据的安全威胁情报管理的流程示意图。本实施例以基于大数据的安全威胁情报管理应用于用户终端中来举例说明。该基于大数据的安全威胁情报管理可以包括以下步骤:
S201,通过数据采集技术进行数据采集,生成基础数据;
S202,获取预先采集的基础数据;
S203,将所述基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成JSON格式的基础数据;
S204,在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据;
S205,将所述增加标签后的JSON格式的基础数据存储到数据仓库;
S206,获取预先存储到数据仓库的数据集合;
S207,将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;
S208,当所述威胁情报为静态威胁情报时,将安全产品的安全策略进行补充。
在本申请实施例中,用户终端首先获取预先存储到数据仓库的数据集合,然后将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;最后基于所述威胁情报进行网络安全防御。由于本方案通过大数据算法,对安全数据、业务数据、网络数据进行跟踪和分析,从而获取到威胁情报信息,并且建立威胁情报模型,对未知的攻击行为进行安全防护。通过威胁情报的有效管理和共享流程,实现威胁情报的全网同步,从而提高全网安全防御能力。
请参见图6,为本申请实施例提供的另一种基于大数据的安全威胁情报管理的流程示意图。本实施例以基于大数据的安全威胁情报管理应用于用户终端中来举例说明。该基于大数据的安全威胁情报管理可以包括以下步骤:
S301,通过数据采集技术进行数据采集,生成基础数据;
S302,获取预先采集的基础数据;
S303,将所述基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成JSON格式的基础数据;
S304,在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据;
S305,将所述增加标签后的JSON格式的基础数据存储到数据仓库;
S306,获取预先存储到数据仓库的数据集合;
S307,将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;
S308,当所述威胁情报为动态威胁情报时,获取动态威胁情报数据对应的动态库、函数和模型;
S309,获取所述动态库、函数和模型对应的权重;
S310,计算所述动态库、函数和模型对应的分数;
S311,将所述对应的分数和所述对应的权重相加生成所述动态库、函数和模型对应的输出分数;
S312,将所述动态库、函数和模型对应的输出分数进行求和,生成威胁分数;
S313,基于所述威胁分数进行动态识别安全风险。
在本申请实施例中,用户终端首先获取预先存储到数据仓库的数据集合,然后将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;最后基于所述威胁情报进行网络安全防御。由于本方案通过大数据算法,对安全数据、业务数据、网络数据进行跟踪和分析,从而获取到威胁情报信息,并且建立威胁情报模型,对未知的攻击行为进行安全防护。通过威胁情报的有效管理和共享流程,实现威胁情报的全网同步,从而提高全网安全防御能力。
下述为本发明系统实施例,对于本发明系统实施例中未披露的细节,请参照本发明方法实施例。
请参见图7,其示出了本发明一个示例性实施例提供的基于大数据的安全威胁情报管理系统的结构示意图。该基于大数据的安全威胁情报管理系统可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该系统1包括数据产生模块10、数据处理模块20、数据分析模块30、威胁情报模块40、情报输出模块50、情报赋能模块60。
数据产生模块10,用于通过数据采集技术进行数据采集,生成基础数据;
数据处理模块20,用于将所述基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成JSON格式的基础数据,在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据,将所述增加标签后的JSON格式的基础数据存储到数据仓库;
数据分析模块30,用于获取预先存储到数据仓库的数据集合,将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;
威胁情报模块40,用于提取静态威胁情报和动态威胁情报,将所述静态威胁情报存储在MongoDB数据库中,将所述动态威胁情报存储在Hadoop大数据集群;
情报输出模块50,用于基于动态威胁情报,封装出所述动态威胁情报对应的API,基于静态威胁情报,将所述静态威胁情报进行加密签名生成加密签名后的情报数据包;
情报赋能模块60,用于提供OEM产品服务,回收用户的场景数据。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,用户终端首先获取预先存储到数据仓库的数据集合,然后将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;最后基于所述威胁情报进行网络安全防御。由于本方案通过大数据算法,对安全数据、业务数据、网络数据进行跟踪和分析,从而获取到威胁情报信息,并且建立威胁情报模型,对未知的攻击行为进行安全防护。通过威胁情报的有效管理和共享流程,实现威胁情报的全网同步,从而提高全网安全防御能力。
本发明还提供一种计算机可读介质,其上存储有程序指令,该程序指令被处理器执行时实现上述各个方法实施例提供的基于大数据的安全威胁情报管理方法。
本发明还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例所述的基于大数据的安全威胁情报管理方法。
请参见图8,为本申请实施例提供了一种终端的结构示意图。如图8所示,所述终端1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行电子设备1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于大数据的安全威胁情报管理应用程序。
在图8所示的终端1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的基于大数据的安全威胁情报管理应用程序,并具体执行以下操作:
获取预先存储到数据仓库的数据集合;
将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;
基于所述威胁情报进行网络安全防御。
在一个实施例中,所述处理器1001在执行所述基于所述威胁情报进行网络安全防御时,具体执行以下操作:
当所述威胁情报为静态威胁情报时,将安全产品的安全策略进行补充。
在一个实施例中,所述处理器1001在执行所述基于所述威胁情报进行网络安全防御时,具体执行以下操作:
当所述威胁情报为动态威胁情报时,获取动态威胁情报数据对应的动态库、函数和模型;
获取所述动态库、函数和模型对应的权重;
计算所述动态库、函数和模型对应的分数;
将所述对应的分数和所述对应的权重相加生成所述动态库、函数和模型对应的输出分数;
将所述动态库、函数和模型对应的输出分数进行求和,生成威胁分数;
基于所述威胁分数进行动态识别安全风险。
在一个实施例中,所述处理器1001在执行所述获取预先存储到数据仓库的数据集合之前时,还执行以下操作:
获取预先采集的基础数据;
将所述基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成JSON格式的基础数据;
在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据;
将所述增加标签后的JSON格式的基础数据存储到数据仓库。
在一个实施例中,所述处理器1001在执行所述在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据时,具体执行以下操作:
获取数据标签;
通过加密算法AES256对所述数据标签进行加密生成加密后的数据标签;
将所述加密后的数据标签确定为预设标签;
将所述预设标签增加在所述JSON格式的基础数据中生成增加标签后的JSON格式的基础数据。
在一个实施例中,所述处理器1001在执行所述获取预先采集的基础数据之前时,还执行以下操作:
通过数据采集技术进行数据采集,生成基础数据。
在本申请实施例中,用户终端首先获取预先存储到数据仓库的数据集合,然后将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;最后基于所述威胁情报进行网络安全防御。由于本方案通过大数据算法,对安全数据、业务数据、网络数据进行跟踪和分析,从而获取到威胁情报信息,并且建立威胁情报模型,对未知的攻击行为进行安全防护。通过威胁情报的有效管理和共享流程,实现威胁情报的全网同步,从而提高全网安全防御能力。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (8)

1.一种基于大数据的安全威胁情报管理方法,其特征在于,所述方法包括:
获取预先存储到数据仓库的数据集合;
将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;其中,所述静态威胁情报为字符串格式的威胁情报,所述动态威胁情报为一个模型或者方法;
基于所述威胁情报进行网络安全防御;其中,
基于所述威胁情报进行网络安全防御,包括:
当所述威胁情报为动态威胁情报时,进行动态识别安全风险;其中,
所述进行动态识别安全风险,包括:
获取动态威胁情报数据对应的动态库、函数和模型;
获取所述动态库、函数和模型对应的权重;
计算所述动态库、函数和模型对应的分数;
将所述对应的分数和所述对应的权重相加生成所述动态库、函数和模型对应的输出分数;
将所述动态库、函数和模型对应的输出分数进行求和,生成威胁分数;
基于所述威胁分数进行动态识别安全风险。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述威胁情报为静态威胁情报时,将安全产品的安全策略进行补充。
3.根据权利要求1所述的方法,其特征在于,所述获取预先存储到数据仓库的数据集合之前,还包括:
获取预先采集的基础数据;
将所述基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成JSON格式的基础数据;
在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据;
将所述增加标签后的JSON格式的基础数据存储到数据仓库。
4.根据权利要求3所述的方法,其特征在于,所述在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据,包括:
获取数据标签;
通过加密算法AES256对所述数据标签进行加密生成加密后的数据标签;
将所述加密后的数据标签确定为预设标签;
将所述预设标签增加在所述JSON格式的基础数据中生成增加标签后的JSON格式的基础数据。
5.根据权利要求3所述的方法,其特征在于,所述获取预先采集的基础数据之前,还包括:
通过数据采集技术进行数据采集,生成基础数据。
6.一种基于大数据的安全威胁情报管理系统,其特征在于,所述系统包括:
数据产生模块,用于通过数据采集技术进行数据采集,生成基础数据;
数据处理模块,用于将所述基础数据通过数据输入方式输入到预设数据清洗模块中进行转换,生成JSON格式的基础数据,在所述JSON格式的基础数据中增加预设标签生成增加标签后的JSON格式的基础数据,将所述增加标签后的JSON格式的基础数据存储到数据仓库;
数据分析模块,用于获取预先存储到数据仓库的数据集合,将所述数据集合中各数据输入预设数据分析层,生成威胁情报,所述威胁情报包括静态威胁情报和动态威胁情报;其中,所述静态威胁情报为字符串格式的威胁情报,所述动态威胁情报为一个模型或者方法;
威胁情报模块,用于提取静态威胁情报和动态威胁情报,将所述静态威胁情报存储在MongoDB数据库中,将所述动态威胁情报存储在Hadoop大数据集群;
情报输出模块,用于基于动态威胁情报,封装出所述动态威胁情报对应的API,基于静态威胁情报,将所述静态威胁情报进行加密签名生成加密签名后的情报数据包;
情报赋能模块,用于提供OEM产品服务,回收用户的场景数据;当所述威胁情报为动态威胁情报时,进行动态识别安全风险;其中,
所述进行动态识别安全风险,包括:
获取动态威胁情报数据对应的动态库、函数和模型;
获取所述动态库、函数和模型对应的权重;
计算所述动态库、函数和模型对应的分数;
将所述对应的分数和所述对应的权重相加生成所述动态库、函数和模型对应的输出分数;
将所述动态库、函数和模型对应的输出分数进行求和,生成威胁分数;
基于所述威胁分数进行动态识别安全风险。
7.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~5任意一项的方法步骤。
8.一种终端,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~5任意一项的方法步骤。
CN202010091391.8A 2020-02-13 2020-02-13 一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端 Active CN111327607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010091391.8A CN111327607B (zh) 2020-02-13 2020-02-13 一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010091391.8A CN111327607B (zh) 2020-02-13 2020-02-13 一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111327607A CN111327607A (zh) 2020-06-23
CN111327607B true CN111327607B (zh) 2022-11-01

Family

ID=71170986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010091391.8A Active CN111327607B (zh) 2020-02-13 2020-02-13 一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111327607B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257565B (zh) * 2020-09-10 2023-09-05 中国移动通信集团广东有限公司 挖掘潜在威胁域名的方法、系统和服务器
CN113904920B (zh) * 2021-09-14 2023-10-03 上海纽盾科技股份有限公司 基于失陷设备的网络安全防御方法、装置及系统
CN113794727B (zh) * 2021-09-16 2023-09-08 山石网科通信技术股份有限公司 威胁情报特征库的生成方法、装置、存储介质及处理器
CN115622784A (zh) * 2022-10-22 2023-01-17 胡蕊昕 一种基于大数据情报的网络威胁识别方法及系统
CN116663022B (zh) * 2023-08-02 2024-03-08 深圳海云安网络安全技术有限公司 一种基于多库融合的场景化威胁建模方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414997A (zh) * 2007-10-15 2009-04-22 北京瑞星国际软件有限公司 阻止恶意程序访问网络的方法和装置
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN107370763A (zh) * 2017-09-04 2017-11-21 中国移动通信集团广东有限公司 基于外部威胁情报分析的资产安全预警方法及装置
CN109792439A (zh) * 2016-09-16 2019-05-21 甲骨文国际公司 用于威胁检测的动态策略注入和访问可视化
CN110213207A (zh) * 2018-05-07 2019-09-06 腾讯科技(深圳)有限公司 一种基于日志分析的网络安全防御方法及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171160B2 (en) * 2013-09-30 2015-10-27 Fireeye, Inc. Dynamically adaptive framework and method for classifying malware using intelligent static, emulation, and dynamic analyses
US10594713B2 (en) * 2017-11-10 2020-03-17 Secureworks Corp. Systems and methods for secure propagation of statistical models within threat intelligence communities

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414997A (zh) * 2007-10-15 2009-04-22 北京瑞星国际软件有限公司 阻止恶意程序访问网络的方法和装置
CN109792439A (zh) * 2016-09-16 2019-05-21 甲骨文国际公司 用于威胁检测的动态策略注入和访问可视化
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN107370763A (zh) * 2017-09-04 2017-11-21 中国移动通信集团广东有限公司 基于外部威胁情报分析的资产安全预警方法及装置
CN110213207A (zh) * 2018-05-07 2019-09-06 腾讯科技(深圳)有限公司 一种基于日志分析的网络安全防御方法及设备

Also Published As

Publication number Publication date
CN111327607A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111327607B (zh) 一种基于大数据的安全威胁情报管理方法、系统、存储介质及终端
CN112543176A (zh) 一种异常网络访问检测方法、装置、存储介质及终端
CN111915090A (zh) 基于知识图谱的预测方法、装置、电子设备及存储介质
CN107644106B (zh) 自动挖掘业务中间人的方法、终端设备及存储介质
US20200334498A1 (en) User behavior risk analytic system with multiple time intervals and shared data extraction
US20240104248A1 (en) Privacy transformations in data analytics
CN107634947A (zh) 限制恶意登录或注册的方法和装置
CN111859368A (zh) 弱密码生成方法、密码检测方法、装置及电子设备
CN110335140A (zh) 基于社交关系预测贷款黑中介的方法、装置、电子设备
CN113806434B (zh) 大数据处理方法、装置、设备及介质
CN115049068A (zh) 一种模型处理方法、装置、存储介质及电子设备
CN115883187A (zh) 网络流量数据中的异常信息识别方法、装置、设备和介质
Naqvi et al. A hyperconnected smart city framework: digital resources using enhanced pedagogical techniques
CN110659493A (zh) 威胁告警方式生成的方法、装置、电子设备及存储介质
CN112035334B (zh) 异常设备检测方法、装置、存储介质与电子设备
CN113946560A (zh) 一种数据库安全管理方法及系统
CN115906064A (zh) 一种检测方法、装置、电子设备、计算机可读介质
CN116228391A (zh) 一种风险识别方法、装置、存储介质及电子设备
CN115859273A (zh) 一种数据库异常访问的检测方法、装置、设备及存储介质
CN115827379A (zh) 异常进程检测方法、装置、设备和介质
CN115858556A (zh) 一种数据处理方法、装置、存储介质及电子设备
CN113297258B (zh) 一种基于目标人群数据提取的定制化信息推送方法及装置
CN114266906A (zh) 用户端识别违规数据的方法、设备、介质及程序产品
CN114298699A (zh) 非同质化代币的生成方法、获取方法及装置
CN113922998A (zh) 一种漏洞风险评估方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant