CN115941337A - 数据分析方法、装置、电子设备及存储介质 - Google Patents
数据分析方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115941337A CN115941337A CN202211593195.6A CN202211593195A CN115941337A CN 115941337 A CN115941337 A CN 115941337A CN 202211593195 A CN202211593195 A CN 202211593195A CN 115941337 A CN115941337 A CN 115941337A
- Authority
- CN
- China
- Prior art keywords
- threat
- analyzed
- studying
- judging
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种数据分析方法、装置、电子设备及存储介质,数据分析方法包括:接收用户在目标威胁研判平台输入的待分析对象;确定待分析对象的数据类型;根据类型与威胁研判工具的对应关系从威胁研判工具集中调用与待分析对象的类型对应的目标威胁研判工具;采用目标威胁研判工具对待分析对象进行威胁情报关联分析,输出研判分析结果。通过将各种威胁研判工具整合至目标威胁研判平台,使得用户通过一个平台即可获得各种类型实体的威胁研判结果,提高了待分析对象的分析效率。并且,在同一平台内,能够支持各种类型待分析对象的的研判,全方位输出,使得分析师能够更加高效准确的对可疑或恶意的待分析对象进行溯源。
Description
技术领域
本申请涉及网络安全技术领域,尤其涉及一种数据分析方法、装置、电子设备及存储介质。
背景技术
在安全业务分析场景中,威胁研判分析师需要利用各类情报、线索及其上下文提供针对各类实体(例如:网际互连协议(Internet Protocol,IP)、域(Domain)、哈希(Hash)、电子邮件(Electronic Mail、email)等)进行威胁研判以及追踪溯源,以确保网络安全。
目前,当需要基于待分析对象进行威胁研判时,分析师需要根据待分析对象的类型以及威胁研判的目标从多个威胁研判平台中确定出此次进行威胁研判需要使用的平台,然后分别将不同类型的待分析对象输入相应的平台,以利用相应平台提供的检测功能获得待分析对象的威胁研判结果。
然而,各威胁研判平台的检测功能单一,随着待分析对象种类的增多,依靠分析师按照待分析对象的种类分别将待分析对象输入不同的平台进行威胁情报关联分析,以获得威胁研判结果,这无疑会降低待分析对象威胁研判的效率。
发明内容
本申请实施例的目的是提供一种数据分析方法、装置、电子设备及存储介质,以提高待分析对象威胁研判的效率。
为解决上述技术问题,本申请实施例提供如下技术方案:
本申请第一方面提供一种数据分析方法,所述方法应用于目标威胁研判平台,所述目标威胁研判平台中存储有威胁研判工具集,所述威胁研判工具集中包括多个威胁研判工具,每个威胁研判工具能够对一种类型的对象进行分析;所述方法包括:接收用户在所述目标威胁研判平台输入的待分析对象;确定所述待分析对象的类型;根据类型与威胁研判工具的对应关系从所述威胁研判工具集中调用与所述待分析对象的类型对应的目标威胁研判工具;采用所述目标威胁研判工具对所述待分析对象进行威胁情报关联分析,输出研判分析结果。
本申请第二方面提供一种数据分析装置,所述装置应用于目标威胁研判平台,所述目标威胁研判平台中存储有威胁研判工具集,所述威胁研判工具集中包括多个威胁研判工具,每个威胁研判工具能够对一种类型的对象进行分析;所述装置包括:接收模块,用于接收用户在所述目标威胁研判平台输入的待分析对象;确定模块,用于确定所述待分析对象的类型;调用模块,用于根据类型与威胁研判工具的对应关系从所述威胁研判工具集中调用与所述待分析对象的类型对应的目标威胁研判工具;分析模块,用于采用所述目标威胁研判工具对所述待分析对象进行威胁情报关联分析,输出研判分析结果。
本申请第三方面提供一种电子设备,包括:处理器、存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行第一方面中的方法。
本申请第四方面提供一种计算机可读存储介质,包括:存储的程序;其中,在所述程序运行时控制所述存储介质所在设备执行第一方面中的方法。
相较于现有技术,本申请第一方面提供的数据分析方法,在接收到用户在目标威胁研判平台输入的待分析对象后,首先确定待分析对象的类型,然后根据类型与威胁研判工具的对应关系从威胁研判工具集中调用与待分析对象的类型对应的目标威胁研判工具,最后采用目标威胁研判工具对待分析对象进行威胁情报关联分析,结合威胁情报研判输出研判分析结果。通过将各种威胁研判工具整合至目标威胁研判平台,使得用户通过一个平台即可获得各种类型实体的威胁研判结果,无需再分别通过各种平台分析各种类型的待分析对象,提高了数据分析效率。并且,在同一平台内,能够支持各种类型待分析对象的研判,全方位输出,使得分析师能够更加高效准确的对可疑或恶意的待分析对象进行溯源。
本申请第二方面提供的数据分析装置、第三方面提供的电子设备、第四方面提供的计算机可读存储介质,与第一方面提供的数据分析方法具有相同或相似的有益效果。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,相同或对应的标号表示相同或对应的部分,其中:
图1为本申请实施例中数据分析平台的架构示意图;
图2为本申请实施例中数据分析方法的流程示意图一;
图3为本申请实施例中进行APT家族检测的流程示意图;
图4为本申请实施例中数据分析方法的流程示意图二;
图5为本申请实施例中目标威胁研判平台的界面图一;
图6为本申请实施例中目标威胁研判平台的界面图二;
图7为本申请实施例中目标威胁研判平台的界面图三;
图8为本申请实施例中目标威胁研判平台的界面图四;
图9为本申请实施例中目标威胁研判平台的界面图五;
图10为本申请实施例中目标威胁研判平台的界面图六;
图11为本申请实施例中目标威胁研判平台的界面图七;
图12为本申请实施例中目标威胁研判平台的界面图八;
图13为本申请实施例中目标威胁研判平台的界面图九;
图14为本申请实施例中数据分析的结构示意图;
图15为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
目前,为了对待分析对象进行威胁情报相关的威胁研判,需要情报分析师将待分析对象输入至相应的威胁研判工具,以获得待分析对象的威胁研判结果。而随着待分析对象种类的不断增加,仅仅依靠情报分析师将不同种类的待分析对象加入不同的威胁研判工具进行威胁研判,使得待分析对象的分析效率低下。
发明人经过研究发现,导致大量待分析对象分析效率低下的主要原因在于不同种类的待分析对象需要在不同的威胁研判工具中进行威胁情报关联分析,而不同的威胁研判工具位于不同的平台,在从一种待分析对象的分析切换至另一种待分析对象的分析时,需要从一个平台切换至另一个平台,比较费时。
有鉴于此,本申请实施例提供一种数据分析方法、装置、电子设备及存储介质,通过将各种威胁研判工具进行整合,统一进行调度以管理,仅依靠一个平台或系统就可以完成多种类大量待分析对象的分析,提高了待分析对象的分析效率。并且,在同一平台或系统内,能够支持各种类型待分析对象的研判,全方位输出,使得分析师能够更加高效准确的对可疑或恶意的待分析对象进行溯源。
为了能够更加清楚的说明本申请实施例提供的数据分析方法、装置、电子设备及存储介质,首先对本申请实施例提供的数据分析方法、装置、电子设备及存储介质运行所依赖的平台的架构进行说明。
图1为本申请实施例中数据分析平台的架构示意图,参见图1所示,在该数据分析平台中,可以包括:数据接入层、数据存储层、系统调度层和应用检测层。
其中,数据接入层,用于统一接收用户上传的不同类型的待研判对象实体,包括但不限于:批量的IP地址、域名(Domain)、主机日志、PCAP数据包、样本Hash等。
数据存储层,用于针对不同类型的待研判对象,包括但不限于:文本、失陷攻击指标(Indicators of Compromise,IOC)数据、PCAP数据包等,进行不同数据类型的存储,并针对不同策略进行保持和研判构建。
系统调度层,用于使不同类型的待研判对象进入不同的调度逻辑,加之系统审计与系统鉴权,整个任务调度统一管理并复用。
应用检测层,能够通过不同的工具提供不同的威胁分析能力,还支持动态扩展及应用富化,可依据随时分析需求进行应用的独立部署与添加。
更具体的,数据接入层可以包括:文件上传解析模块、各类型情报原子接口和统一检索入口。
其中,文件上传解析模块,用于接收待研判对象文件,文件的类型包括但不限于:txt、log、json、js、pcap等。
各类型情报原子接口,用于接入IP信誉接口、文件信誉接口、失陷攻击指标接口、邮箱信誉接口等。
统一检索入口,用于提供各类型对象实体的检索查询入口。
更具体的,数据存储层可以包括:数据存储模块和数据包检测逻辑研判模块。
其中,数据存储模块,用于存储接收的对象实体以及解析后的分析结果等,并录入不同类型的数据库。
数据包检测逻辑研判模块,用于对PCAP包处理,从PCAP包中提取Payload及五元组后,进入威胁情报检测逻辑,判断是否有攻击行为、攻击团伙等关联信息。
更具体的,系统调度层可以包括:任务调度模块、系统配置模块、系统审计模块和系统鉴权模块。
其中,任务调度模块,用于统一进行不同对象实体的任务调度及优先级处理,同时负责批量任务处理。
系统配置模块,用于配置系统统一的调度参数、超时时长、统一存储路径、文件大小上限、并行处理任务等配置。
系统审计模块,用于针对系统的所有用户操作、投递文件、以及下载报告等行为审计。
系统鉴权模块,用于任务处置前的用户鉴权控制,当通过鉴权后方可进行文件判定及任务调度,若鉴权不通过,任务投递失败。
更具体的,应用检测层可以包括:主机日志自动化检测模块、IOC线索管理模块、分析任务管理模块、IP信誉检测模块、IOC批量自动化检测模块、样本回归模块、APT家族关联模块、样本动静态检测模块和批量PCAP包检测模块。
其中,主机日志自动化检测模块,用于接收主机日志的批量投递,投递之后进入自动化检测流程,任务分析是否有异常攻击行为,并关联已有规则进行判断,找出异常行为点。
IOC线索管理模块,用于将用户提交的各类IOC线索进行收集和分类管理,形成针对事件的线索整合,同时可进行分组共享等。
分析任务管理模块,用于查看分析任务的进度以及进行启停等操作。
IP信誉检测模块,用于对IP进行批量威胁情报检测,并提供分析结果下载。
IOC批量自动化检测模块,用于对域名进行批量自动化威胁情报检测。
样本回扫模块,用于对鉴定过的样本,当需要重新检测时,进入样本回扫流程重新扫描鉴定,判断是否为恶意文件,得到该文件的全部恶意信息。
高级持续性威胁(Advanced Persistent Threat,APT)家族关联模块,用于进入APT家族研判分析逻辑,对待研判对象实体进行家族的研判、标定、及上下文补齐、TAG标定等。
样本动静态检测模块,用于对不同的样本文件投递进入静态文件检测或动态文件检测。静态文件检测提取所有样本的元数据信息,判定文件是否为恶意。动态检测环境模拟样本运行行为,提取恶意信息进行研判。
批量PCAP包检测模块,用于批量投递PCAP包进行Payload信息提取,以及威胁情报匹配是否带有恶意信息,并存储和记录恶意信息。
以上就是数据分析平台的整体架构,接下来,在此架构的基础上,针对本申请实施例提供的数据分析方法进行详细说明。
该数据分析方法应用于目标威胁研判平台(即上述的数据分析平台)。目标威胁研判平台中存储有威胁研判工具集,威胁研判工具集中包括多个威胁研判工具(即上述数据分析平台应用检测层中的各模块),每个威胁研判工具能够对一种类型的对象进行分析。例如:批量PCAP包检测模块就是一个威胁研判工具,其能够对批量投递的PCAP包进行分析。再例如:APT家族关联模块也是一个威胁研判工具,其能够对待分析对象进行APT家族研判。
图2为本申请实施例中数据分析方法的流程示意图一,参见图2所示,该方法可以包括:
S201:接收用户在目标威胁研判平台输入的待分析对象。
这里的用户,实际上就是指威胁研判分析师。
当分析师有待分析对象需要通过威胁研判工具进行威胁情报关联分析时,分析师可以直接将待分析的数据(即待分析对象)输入目标威胁研判平台,目标威胁研判平台可以自动对待分析对象进行调度分析。
在实际应用中,待分析对象可以是IP、Domain、Hash、Email等各种类型的待研判实体。对于待分析对象的具体类型,此处不做限定。
S202:确定待分析对象的类型。
目标威胁研判平台接收到用户输入的待分析对象后,由于不同类型的待分析对象需要不同的威胁研判工具进行威胁情报关联分析,因此,此时需要先确定待分析对象的类型。
在具体实施过程中,可以根据待分析对象的格式确定待分析对象的类型,例如:待分析对象的最后带有@xx.com的字样,那么,该待分析对象的类型就是Email。也可以根据待分析对象的组合方式确定待分析对象的类型,例如:待分析对象是以xxx.xxx.xxx.xxx的纯数字方式组合的,那么,该待分析对象的类型就是IP。对于待分析对象的类型具体的确定方式,此处不做限定。
S203:根据类型与威胁研判工具的对应关系从威胁研判工具集中调用与待分析对象的类型对应的目标威胁研判工具。
在确定了待分析对象的类型后,就可以将待分析对象送入到相应类型对应的威胁研判工具中进行威胁情报关联分析。
而目标威胁研判平台的威胁研判工具中有多种威胁研判工具,为了找到待分析对象对应的威胁研判工具,可以从类型与威胁研判工具的对应关系中找到该待分析对象对应的类型,该类型对应的威胁研判工具就是能够数据该待分析对象的威胁研判工具。
在建立类型与威胁研判工具的对应关系时,分析师可以按照以往的经验,首先确定出各威胁研判工具的分析功能,进而确定该分析功能能够处理的数据类型,再将这些数据类型与相应的威胁研判工具进行关联,就得到了类型与威胁研判工具的对应关系。
S204:采用目标威胁研判工具对待分析对象进行威胁情报关联分析,输出研判分析结果。
目标威胁研判平台在接收到待研判的对象,以及确定该对象对应的威胁研判工具,即目标威胁研判工具后,就可以调用该目标威胁研判工具,并将待分析对象发送给目标威胁研判工具,使得目标威胁研判工具对待分析对象进行威胁情报关联分析,进而输出研判分析结果。
对于威胁研判工具对待分析对象进行威胁情报关联分析的具体过程,可以采用现有的各种待分析对象的分析方式,此处不做限定。
由上述内容可知,本申请实施例提供的数据分析方法,在接收到用户在目标威胁研判平台输入的待分析对象后,首先确定待分析对象的类型,然后根据类型与威胁研判工具的对应关系从威胁研判工具集中调用与待分析对象的类型对应的目标威胁研判工具,最后采用目标威胁研判工具对待分析对象进行威胁情报关联分析,结合威胁情报研判输出研判分析结果。通过将各种威胁研判工具整合至目标威胁研判平台,使得用户通过一个平台即可获得各种类型实体的威胁研判结果,无需再分别通过各种平台分析各种类型的待分析对象,提高了数据分析效率。并且,在同一平台内,能够支持各种类型待分析对象的研判,全方位输出,使得分析师能够更加高效准确的对可疑或恶意的待分析对象进行溯源。
进一步地,为了使得平台能够将不同类型的待分析对象送入相应的威胁研判工具中进行威胁情报关联分析,可以通过分析师或者自动进行待分析对象类型的确定。
具体来说,上述步骤S202可以包括:
步骤A11:接收用户的选择内容。
其中,选择内容用于指示待分析对象的类型。
步骤A12:根据选择内容确定待分析对象的类型。
当有待分析对象需要通过本平台进行威胁情报关联分析时,分析师可以在平台中先选择需要分析的类别,进入到具体的类别中,然后在具体的类别对应的页面中输入待分析对象。这样,平台通过用户的选择就可以确定其输入的待分析对象的类型,进而调用相应的威胁研判工具对待分析对象进行威胁情报关联分析。
举例来说,假设待分析对象为IP,用户需要对恶意IP进行批量查询。此时用户需要先在平台的页面中选中恶意IP批量查询标识,然后进入到恶意IP批量查询页面,在该页面中输入IP这一待分析对象进行查询。这样,平台就能够通过用户的选择内容,调用恶意IP批量查询工具对用户输入的IP进行查询。
或者,上述步骤S202可以包括:
步骤A21:获取待分析对象的格式特征。
其中,格式特征为待分析对象的后缀或数据组合方式。
步骤A22:根据格式特征与数据类型的对应关系确定待分析对象对应的类型。
待分析对象的格式不同,其所需要查询或检测的内容也不同。举例来说,对于后缀为@xx.com的待分析对象,其对应需要的是进行邮件批量自动化检测。对于数据组合方式为xxx.xxx.xxx.xxx的纯数字数据,其对应需要的是进行恶意IP批量查询。因此,根据经验,将各种待分析对象的格式特征及其对应的数据类型建立起对应关系,后续在确定了待分析对象的格式特征后,在该对应关系中就能通过关联威胁情报信息分析待研判对象的恶意信息。
举例来说,假设待分析对象为IP,用户需要对恶意IP进行批量查询。此时,识别到待分析对象的格式为xxx.xxx.xxx.xxx,而该格式在对应关系中对应的是IP,因此,确定该待分析对象的类型为IP。
或者,上述步骤S202可以包括:
步骤A31:接收用户的输入内容。
其中,输入内容用于指示待分析对象的格式特征,格式特征为待分析对象的后缀或数据组合方式。
步骤A32:根据输入内容与数据类型的对应关系确定待分析对象对应的类型。
一般来说,对待分析对象进行何种检测,用户是最清楚的。而不同种类的检测,针对的都有不同类型的待分析对象。因此。用户在平台中输入待分析对象的同时,再输入能够表明待分析对象格式的内容,使得平台基于该内容在输入内容与数据类型的对应关系中查找到相应的数据类型,从而确定待分析对象的类型,也能够实现待分析对象类型的定位。
由上述内容可知,通过用户的选择内容、待分析对象的格式特征或者用户的输入内容,使得平台能够快速准确的对待分析对象的类型进行确定,进而调用相应的威胁研判工具进行威胁情报关联分析,准确高效的对待分析对象进行研判。
进一步地,在平台建立之初,在对各种威胁研判工具进行整合时,为了后期能够便于平台的管理,更好的实现统一调度,可以将不同类型的威胁研判工具存储在不同的数据库中。
具体来说,在上述步骤S201之前,该方法还可以包括:
步骤B1:整合各种威胁研判工具。
其中,不同种类的威胁研判工具能够对不同类型的待分析对象进行威胁情报关联分析。
步骤B2:确定各种威胁研判工具所属的数据类型。
步骤B3:将不同数据类型的威胁研判工具存储至不同的数据库,使得各数据库中的威胁研判工具构成威胁研判工具集。
在对各种威胁研判工具进行整合时,首先需要通过人工或机器收集各种威胁研判工具,然后判定各威胁研判工具的数据类型,具体可以根据工具的名称、标识、数据结构进行判定,最后,将不同数据类型的威胁研判工具存储在不同的数据库,相同数据类型的威胁研判工具可以存储在同一数据库中,最终,不同数据库中的威胁研判工具在一起就构成了威胁研判工具集。也就是说,威胁研判工具集中的各威胁研判工具是按照数据类型分别存储在不同的数据库,方便分类管理。
举例来说,假设确定出威胁研判工具A为文件类型,则将威胁研判工具A存储在S3数据库中,威胁研判工具B为家族信息类型,则存储在Mongo数据库中,威胁研判工具C为情报类信息类型或者线索类信息类型,则存储在PG数据库中。这样,S3数据库、Mongo数据库、PG数据库中存储的威胁研判工具A、威胁研判工具B和威胁研判工具C就构成了威胁研判工具集。
由上述内容可知,在对各种威胁研判工具进行整合时,通过将不同类型的威胁研判工具存储在不同的数据库中,对数据存储进行了合理化分类,便于后期任务执行的统一调度以及平台的管理。
进一步地,本申请实施例提供的数据分析方法,具体能够支持APT家族样本的检测。总的来说,可以采用关联APT家族信息特征线索进行威胁情报关联分析,利用机器学习自动化恶意家族检测方法,对样本未知家族进行检测,以及对于批量投递的不同文件类型的可疑样本均可进入APT样本自动化检测流程。
具体来说,上述步骤S204可以包括:
步骤C1:采用高级持续性威胁APT家族检测引擎对待分析对象进行检测,得到第一检测结果。
在实际应用中,APT家族检测引擎可以是指RAS引擎。通过RAS引擎对待分析对象进行检测,能够输出待分析对象的基本信息、命中病毒名、相关恶意家族或攻击团伙等详细的检测结果。
步骤C2:采用样本静态检测引擎对待分析对象进行检测,得到第二检测结果。
在实际应用中,样本静态检测引擎可以是指OWL引擎。通过OWL引擎对待分析对象进行检测,能够输出待分析对象的基本信息、命中病毒名、相关恶意家族或攻击团伙等详细的检测结果。
步骤C3:当第一检测结果命中APT内容,或者,第一检测结果命中非APT内容且第二检测结果未命中APT内容时,输出APT家族检测引擎对应的标签。
也就是说,当APT家族检测引擎直接检测出APT时,或者,当APT家族检测引擎检测出了内容,但不是APT,并且,样本静态检测引擎没有检测出APT时,直接输出APT家族检测引擎对应的标签,以使用户知晓其检测的样本存在APT。
步骤C4:当第一检测结果未命中内容且第二检测结果命中非APT内容,或者,第一检测结果命中非APT内容且第二检测结果命中APT内容时,输出样本静态检测引擎对应的标签。
也就是说,当APT家族检测引擎没有检测出APT,并且,样本静态检测引擎检测到了内容,但不是APT时,或者,当APT家族检测引擎检测出内容,但不是APT,并且,样本静态检测引擎检测出了APT内容时,输出样本静态检测引擎对应的标签,以使用户知晓其检测的样本存在恶意。
步骤C5:当第一检测结果和第二检测结果均未命中内容时,输出为空。
也就是说,当APT家族检测引擎没有检测出内容,并且,样本静态检测引擎也没有检测出内容时,说明用户输入的样本是安全的,因此输出一个空的标签,以使用户知晓其检测的样本不存在APT和恶意。
下面通过一个具体的流程图对上述步骤C3、C4以及C5所涉及的判断过程进行详细说明。
图3为本申请实施例中进行APT家族检测的流程示意图,参见图3所示,APT检测流程开始,待分析对象分别被APT家族检测引擎和样本静态检测引擎检测,分别得到RAS结果和malfile结果后,首先,判断RAS结果是否有标签,若有,则判断RAS结果的标签是否命中APT,若无,则判断malfile结果是否有标签。接下来分为两路进行,第一路:判断RAS结果的标签是否命中APT。若RAS结果的标签命中APT,则展示RAS标签,若RAS的结果没有命中APT,则判断malfile结果是否有标签。若malfile结果没有标签,则展示RAS标签,若malfile结果有标签,则判断malfile结果是否命中APT。若malfile结果没有命中APT,则展示RAS标签,若malfile结果命中APT,则展示malfile标签。第二路:判断malfile结果是否有标签。若malfile结果有标签,则展示malfile标签,若malfile结果没有标签,则无标签展示。
与此同时,在APT关联分析中,可联动情报沙箱进行威胁情报关联分析,并将分析结果在历史记录列表中展示,并且可根据用户的选择进行回扫检测与调用,准确提供团伙组织研判信息。
由上述内容可知,在通过APT家族检测引擎和样本静态检测引擎对待分析对象进行威胁情报关联分析后,先后对分析结果进行是否存在RAS标签及其是否命中APT的判断,以及是否存在malfile标签及其是否命中APT的判断,进而根据判断结果展示RAS标签或者malfile标签,这样,能够将最危险的情况,即RAS优先向用户展示,提供准确的团伙组织研判信息。
进一步地,本申请实施例提供的数据分析方法还能够对PCAP包进行处理。也就是说,当待分析对象为PCAP包时,目标威胁研判平台也能够进行威胁情报关联分析。
具体来说,上述步骤S204可以包括:
步骤D1:解析PCAP包中的域名系统(Domain Name System,DNS)数据、传输控制协议(Transmission Control Protocol,TCP)数据以及网页请求(http requestl)流量数据,得到数据集合。
步骤D2:调用批量失陷攻击指标工具对数据集合进行检测,输出PCAP包的检测结果。
也就是说,通过批量失陷攻击指标工具对PCAP包的有效载荷(Payload)进行威胁情报关联分析以及恶意信息提取,就能够实现对PCAP包的威胁检测。
在步骤D1中,解析各数据的具体方式分别如下:
对于DNS数据,包括以下步骤:
步骤D111:解析PCAP包中的DNS数据,得到DNS数据列表;
步骤D112:获取DNS列表中每一项DNS字段的值;
步骤D113:将每一项DNS字段的值合并去重,得到DNS数据集合。
其中,DNS数据列表中包含失陷攻击指标IOC中的统一资源定位系统URL内容。也就是说,在解析DNS数据时,失陷攻击指标IOC中的统一资源定位系统URL也需要考虑在内,即失陷攻击指标IOC中的统一资源定位系统URL内容不忽略。
步骤D111-步骤D113在具体实时过程中的设置为:dns_list:取每一项的“dns”字段的值,最后合并去重,查询批量失陷检测接口。参数:最精准匹配的设置ignore_top:False,ignore_url:False,igno_port:False。
在解析PCAP包中的DNS数据时,额外考虑失陷攻击指标IOC中的统一资源定位系统URL,在进行威胁情报关联分析时就不会再产生更多的报警,提升精度的同时,降低误警率。
对于TCP数据,包括以下步骤:
步骤D121:解析PCAP包中的传输控制协议TCP数据,得到TCP数据列表。
步骤D122:获取TCP列表中每一项的dip字段的值与dport字段的值之和。
步骤D123:将每一项的和合并去重,得到TCP数据集合。
其中,TCP数据列表中包含失陷攻击指标IOC中的port内容。也就是说,在解析传输控制协议TCP数据时,失陷攻击指标IOC中的port也需要考虑在内,即失陷攻击指标IOC中的port内容不忽略。
步骤D121-步骤D123在具体实时过程中的设置为:tcp_list:取每一项的“dip”字段+“dport”字段的值,最后合并去重,查询批量失陷检测。参数:最精准匹配的设置ignore_top:False,ignore_url:False,ignore_port:False。
在解析PCAP包中的传输控制协议TCP数据时,额外考虑失陷攻击指标IOC中的port,在进行威胁情报关联分析时就不会再产生更多的报警,提升精度的同时,降低误警率。
对于http request流量数据,包括以下步骤:
步骤D131:解析PCAP包中的网页请求流量数据,得到网页请求流量数据列表。
步骤D132:获取网页请求流量列表中每一项的host、dport以及uri字段的值。
步骤D133:将每一项的host、dport以及uri字段的值合并去重,得到网页请求流量数据集合。
其中,网页请求流量数据列表中包含全球域名解析中前1000的域名。也就是说,在解析网页请求流量数据时,全球域名解析中前1000的域名也需要考虑在内。即全球域名解析中前1000的域名不忽略。
步骤D131-步骤D133在具体实时过程中的设置为:http_list:取每一项的“host”\“dport”\“uri”字段的值,合并去重后,查询批量失陷检测。参数:最精准匹配的设置ignore_top:False,ignore_url:False,ignore_port:False。
在解析网页请求流量数据时,额外考虑全球域名解析中前1000的域名,在进行威胁情报关联分析时可以防止忽略url,port,进而降低误警率。
上述各参数配置的含义如下表1。
表1各参数配置
当然,还可以对PCAP包Payload中的其它内容(例如五元组)进行解析,以通过解析结果实现PCAP包的分析检测。对于解析的具体内容,此处不再一一列举。
在从PCAP包解析出数据后,将解析出的数据通过批量失陷检测接口查询,进行威胁关系命中,返回的检测结果就是对PCAP包的分析结果。
PCAP包分析返回的字段示例如下:
由上述内容可知,通过对PCAP包中的DNS数据、TCP数据以及http requestl流量数据进行解析,进而调用批量失陷攻击指标工具对解析结果进行威胁情报关联分析,能够实现直接对PCAP包进行威胁情报关联分析,丰富了平台的分析研判范围。
进一步地,本申请实施例提供的数据分析方法,还能够针对不同类型的待分析的待分析对象进行统一调度,并且将较大的待分析对象分片上传,确保待分析对象的上传效率,进而提升数据分析的效率。
具体来说,在上述步骤S201之后,该方法还可以包括:
步骤E1:生成当前分析任务的身份标识号ID。
当需要使用目标威胁研判平台对待分析对象进行一次分析时,就可以看作是一个分析任务。不同的分析任务对应有不同的任务标识,即ID,以将不同的分析任务进行区分,便于统一进行任务管理。
在具体实施过程中,可以调用file_appraisal方法CreateFileAppraisal_Request拿到当前分析任务的ID。当然,也可以采用其它生成ID的方式为当前分析任务生成一个ID。对于生成当前分析任务ID的具体方式,此处不做限定。
步骤E2:调用鉴定服务方法查询当前分析任务的ID对应的上传任务的ID。
其中,上传任务的ID为待分析对象进入威胁研判工具前的存储标识。
当前分析任务的ID确定了,用户就可以将待分析的待分析对象进行上传了。在数据上传时,还需要确定上传任务的ID。
首先,需要根据当前分析任务的ID查询样本状态,即此次待分析的待分析对象是否上传。如果查询到的状态为NEED_UPLOAD,表示用户还没有上传此次待分析的待分析对象,需要提示用户将此次分析的待分析对象进行上传。如果查询到的状态表示数据已上传,则可以继续进行上传任务ID的确定。
在具体实施过程中,可以调用调用鉴定服务(file_appraisal)方法GetFileAppraisalTransfer查询当前分析任务的ID对应的上传任务的ID。当然,也可以采用其它查询上传任务ID的方式获取当前分析任务的ID对应的上传任务的ID。对于查询上传任务ID的具体方式,此处不做限定。
步骤E3:调用上传服务方法获取上传任务的ID对应的上传分片任务的ID。
当此次需要分析的待分析对象较大时,为了提高数据的上传效率,可以将待分析对象切分为多个片段进行上传,而每个片段都需要有一个ID,以便于上传的待分析对象的分片管理。
在具体实施过程中,可以调用上传服务(file_transfer)方法,将上传服务的ID做参数(其他参数proto定义的也要)。对于GetFileTransferPendingSliceTasksWithStatFilter,SliceTaskStat的message中status填STAT_WAITING,以获取待上传分片任务ID。当然,也可以采取其它ID分配方式获得上传分片任务ID。对于获取上传分片任务ID的具体方式,此处不做限定。
步骤E4:调用上传服务方法按照上传分片任务的ID将待分析对象切分并上传存储。
在获得上传分片任务ID后,就可以将待分析对象进行切分,进而将切分后的待分析对象分别按照其对应的上传分片任务ID进行上传。
在具体实施过程中,调用上传服务(file_transfer)的方法GetFileTransferSliceTaskMeta,拿到待分析对象的分片实体,按分片实体切分待分析对象文件,并按照其相应的上传任务ID分片上传。当然,还可以采用其它切分数据的方式将待分析对象进行切分,对于切分的具体方式,此处不做限定。
在将切分的待分析对象进行上传的过程中,每上传完一个分片,调用上传服务(file_transfer)的方法ReplaceFileTransferSliceTaskStatus更改该分片的状态。成功填finished,失败填failed。
按照上述方式可以循环重复调用上传服务(file_transfer)的方法GetFileTransferPendingSliceTasksWithStatFilter获取上传分片任务ID,然后获取分片实体,并进行上传。若无法再获取到分片任务,说明上传完成。
由上述内容可知,当待分析对象的数据量较大时,通过将待分析对象进行切分,并为不同的分片数据赋予不同的ID,在提高待分析对象上传效率的同时,还能够便于待分析对象的分片管理。
进一步地,本申请实施例提供的目标威胁研判平台,不仅能够对不同类型的待分析对象进行威胁情报关联分析,还能够将用户提供的各种线索进行整合,以便后续能够更加全面的提供攻击者画像。
具体来说,在上述步骤S201之后,该方法还可以包括:
步骤F1:接收第一用户在目标威胁研判平台输入的与待分析对象相关的线索来源信息和公开类型。
在用户通过其它途径或方式获得了待分析对象的相关线索后,可以将这些线索上传至平台。平台通过将相关的线索进行整合,就能够形成一个线索关联网,从而为其它用户提供更加全面及精准的分析。
在具体实施过程中,用户可以将线索的来源信息,包括:创建人、创建时间、行业类型标签、恶意代码类型、攻击类型、事件类别、客户名称、客户来源等信息进行上传,并对事件名称进行定义。以及定义线索的公开类型,包括:公开、组内公开、私密等公开范围。以及定义线索集合,包括:域名、私有顶级域名、IP、URL、URI、文件HASH、证书指纹、邮箱、PDB、MAC地址、互斥量、进程名、服务名、注册表项、手机号码等线索信息和创建时间等线索相关上下文信息。
步骤F2:验证待分析对象是否属实。若是,则执行步骤F3;若否,则执行步骤F4。
用户上传的待分析对象并不一定都是准确的,有可能是用户判断错误或者用户恶意上传,因此,在接收到用户上传的待分析对象后,还需要验证待分析对象是否属实。
不同类型的待分析对象所采取的验证方式不同,总的来看,都是将待分析对象带入本平台中相应的威胁研判工具中进行威胁情报关联分析。下面以待分析对象为IP为例,对待分析对象验证的具体方式进行说明。
上述步骤F2可以包括:
步骤F21:提取IP的五元组。
五元组所包含的信息丰富且全面,因此提取IP的五元组,能够对IP进行更加精准的分析。这里的五元组是指IP地址、源端口、目的IP地址、目的端口和传输层协议。
步骤F22:采用威胁研判工具集中的IP信誉检测模块对五元组进行检测,得到IP检测结果。若IP检测结果表明IP为黑IP,则执行步骤F23;若IP检测结果未表明IP为黑IP,则执行步骤F24。
在目标威胁研判平台中,本来就能够提供IP信誉检测,此时,也可以利用平台的这项功能,即IP信誉检测模块,将IP的五元组分别与IP信誉检测模块中黑IP的五元组进行匹配,以确认用户上传的IP是否为黑IP,从而确定用户上传的内容是否属实。
步骤F23:确定IP情报上传属实。
此时,可以将用户上传的IP情报进行存储,以供其它用户查看或下载。
步骤F24:通过上传过IP的用户的数量或者人工分析的结果确定IP情报上传是否属实。
此种情况下,说明当前用户上传的IP待分析对象可能有误,即此IP并不一定是黑IP。此时,可以对此IP再次进行验证,以确保平台展示内容的准确性。
一般来说,可以统计平台中上传过此IP为黑IP的用户的数量,当统计出的用户的数量超过3个时,说明该IP可能确实为黑,只是由于平台信息量的问题没有判断出来,因此,可以再次确定该IP为黑。上述用户的数量可以根据实际情况进行调整,此处不做限定。当然,还可以通过人工在其它各种平台中进行威胁情报关联分析,当分析结果均显示该IP为黑时,也再次确定该IP为黑。这样,就能够确保本平台内存储的黑IP的正确性。
步骤F3:在接收到第二用户输入的导出指令后,在导出指令符合公开类型的情况下,采用预设格式输出与导出指令相应的待分析对象和线索来源信息。
也就是说,本平台内存储的线索,可以根据用户的需求进行分享。在具体实施过程中,可以导出STIX格式的文件分享至用户。当然,也可以导出其它格式的文件。对于本平台导出的文件的具体格式,此处不做限定。
步骤F4:删除第一用户上传的待分析对象,并再次验证第一用户上传的其它待分析对象是否有误。
当确定用户上传的待分析对象有误时,需要将待分析对象立即删除,避免平台误保存错误的待分析对象。并同时对该用户上传的其它待分析对象再次进行验证,以避免该用户恶意上传错误数据,确保平台的数据安全。
由上述内容可知,通过接收并整合用户上传的各种情报线索,丰富平台中情报线索的种类,实现更加丰富的情报线索共享。并且,通过对用户上传的情报线索进行验证,确保平台共享的待分析对象的准确性。
最后,从目标威胁研判平台的角度再次对本申请实施例提供的数据分析方法进行说明。
图4为本申请实施例中数据分析方法的流程示意图二,参见图4所示,在进行一次待分析对象分析的过程中,S401:不同类型的待分析对象的提交;S402:进入统一调度模块及上传接口;S403:关联不同情报原子接口;S404:不同的分析研判逻辑;S405:数据关联生成报表;S406:报告自动生成下载支持研判结论。
以及,从用户的角度再次对本申请实施例提供的目标威胁研判平台进行说明。
图5为本申请实施例中目标威胁研判平台的界面图一,参见图5所示,当分析师有待分析对象需要进行威胁情报关联分析时,进入威胁分析平台后,选择高级功能,以进入威胁分析武器库。
图6为本申请实施例中目标威胁研判平台的界面图二,参见图6所示,进入威胁分析武器库后,需要根据待分析对象的类型或者此次分析的目标选择相应的威胁研判工具,例如恶意IP批量查询。
图7为本申请实施例中目标威胁研判平台的界面图三,参见图7所示,进入恶意IP批量查询后,可以将待分析的IP粘贴至文本框或者将写有IP的文件进行上传,并点击开始查询,以开启IP批量查询。
图8为本申请实施例中目标威胁研判平台的界面图四,参见图8所示,提示IP正在分析中。
图9为本申请实施例中目标威胁研判平台的界面图五,参见图9所示,IP分析完成之后,会提示分析完成,并且提供下载分析结果,以供用户将分析结果下载后查看。
图10为本申请实施例中目标威胁研判平台的界面图六,参见图10所示,用户将分析结果下载后,打开即可查看到相应IP的上下文信息,包括IP地理位置、ASN、运营商、归属组织、用户类型、whois信息、网段、注册机构等。这些信息可以是以excel表的形式进行展示,在表中的其它页签上,还可以展示恶意详情信息、统计信息等。
图11为本申请实施例中目标威胁研判平台的界面图七,参见图11所示,平台还可以接收用户上传的线索信息,用户通过将线索的相关信息进行设置并上传,以实现线索的共享。
图12为本申请实施例中目标威胁研判平台的界面图八,参见图12所示,平台在攻防演练期间,还提供IP信息情报工具箱。通过人工上报恶意IP信息并记录情报信息,达到黑IP上报-黑IP查询检索分析-IP研判数据包下载的一站式数据收集、整合、研判及分享流程。
图13为本申请实施例中目标威胁研判平台的界面图九,参见图13所示,平台还提供有数据的共享和分发,数据包加密处理,采用特殊指定格式提供给数据使用方。
基于同一发明构思,作为对上述方法的实现,本申请实施例还提供了一种数据分析装置。所述装置应用于目标威胁研判平台,所述目标威胁研判平台中存储有威胁研判工具集,所述威胁研判工具集中包括多个威胁研判工具,每个威胁研判工具能够对一种类型的对象进行分析。图14为本申请实施例中数据分析的结构示意图,参见图14所示,该装置可以包括:
接收模块1401,用于接收用户在所述目标威胁研判平台输入的待分析对象;
确定模块1402,用于确定所述待分析对象的类型;
调用模块1403,用于根据类型与威胁研判工具的对应关系从所述威胁研判工具集中调用与所述待分析对象的类型对应的目标威胁研判工具;
分析模块1404,用于采用所述目标威胁研判工具对所述待分析对象进行威胁情报关联分析,输出研判分析结果。
在本申请其它实施例中,所述确定模块,具体用于接收用户的选择内容,所述选择内容用于指示所述待分析对象的类型;根据所述选择内容确定所述待分析对象的类型;或,获取所述待分析对象的格式特征,所述格式特征为所述待分析对象的后缀或数据组合方式;根据格式特征与数据类型的对应关系确定所述待分析对象对应的类型;或,接收用户的输入内容,所述输入内容用于指示所述待分析对象的格式特征,所述格式特征为所述待分析对象的后缀或数据组合方式;根据输入内容与数据类型的对应关系确定所述待分析对象对应的类型。
在本申请其它实施例中,所述装置还包括:整合模块;所述整合模块,具体用于整合各种威胁研判工具,其中,不同种类的威胁研判工具能够对不同类型的待分析对象进行威胁情报关联分析;确定各种威胁研判工具所属的数据类型;将不同数据类型的威胁研判工具存储至不同的数据库,使得各数据库中的威胁研判工具构成威胁研判工具集。
在本申请其它实施例中,所述分析模块,具体用于采用高级持续性威胁APT家族检测引擎对所述待分析对象进行检测,得到第一检测结果;采用样本静态检测引擎对所述待分析对象进行检测,得到第二检测结果;当所述第一检测结果命中APT内容,或者,所述第一检测结果命中非APT内容且所述第二检测结果未命中APT内容时,输出所述APT家族检测引擎对应的标签;当所述第一检测结果未命中内容且所述第二检测结果命中非APT内容,或者,所述第一检测结果命中非APT内容且所述第二检测结果命中APT内容时,输出所述样本静态检测引擎对应的标签;当所述第一检测结果和所述第二检测结果均未命中内容时,输出为空。
在本申请其它实施例中,当所述待分析对象为PCAP包时,所述分析模块,具体用于解析所述PCAP包中的域名系统DNS数据、传输控制协议TCP数据以及网页请求流量数据,得到数据集合;调用批量失陷攻击指标工具对所述数据集合进行检测,输出所述PCAP包的检测结果。
在本申请其它实施例中,所述分析模块,具体用于解析所述PCAP包中的域名系统DNS数据,得到DNS数据列表;获取所述DNS列表中每一项DNS字段的值;将每一项DNS字段的值合并去重,得到DNS数据集合,其中,失陷攻击指标IOC中的统一资源定位系统URL内容不忽略;和/或,解析所述PCAP包中的传输控制协议TCP数据,得到TCP数据列表;获取所述TCP列表中每一项的dip字段的值与dport字段的值之和;将每一项的和合并去重,得到TCP数据集合,其中,失陷攻击指标IOC中的port内容不忽略;和/或,解析所述PCAP包中的网页请求流量数据,得到网页请求流量数据列表;获取所述网页请求流量列表中每一项的host、dport以及uri字段的值;将每一项的host、dport以及uri字段的值合并去重,得到网页请求流量数据集合,其中,全球域名解析中前1000的域名不忽略。
在本申请其它实施例中,所述装置还包括:上传模块;所述上传模块,具体用于生成当前分析任务的身份标识号ID;调用鉴定服务装置查询当前分析任务的ID对应的上传任务的ID,所述上传任务的ID为待分析对象进入威胁研判工具前的存储标识;调用上传服务装置获取上传任务的ID对应的上传分片任务的ID;调用上传服务装置按照上传分片任务的ID将待分析对象切分并上传存储。
在本申请其它实施例中,所述装置还包括:共享模块;所述共享模块,具体用于接收第一用户在所述目标威胁研判平台输入的与所述待分析对象相关的线索来源信息和公开类型;验证所述待分析对象是否属实;若属实,在接收到第二用户输入的导出指令后,在所述导出指令符合所述公开类型的情况下,采用预设格式输出与所述导出指令相应的待分析对象和所述线索来源信息。
在本申请其它实施例中,所述验证模块,具体用于提取所述IP的五元组;采用所述威胁研判工具集中的IP信誉检测模块对所述五元组进行检测,得到IP检测结果;若所述IP检测结果表明所述IP为黑IP,则将所述IP上传为恶意信息;若所述IP检测结果未表明所述IP为黑IP,则通过上传过所述IP的用户的数量或者人工分析的结果确定所述IP情报上传是否属实。
这里需要指出的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
基于同一发明构思,本申请实施例还提供了一种电子设备。图15为本申请实施例中电子设备的结构示意图,参见图15所示,该电子设备可以包括:处理器1501、存储器1502、总线1503;其中,处理器1501、存储器1502通过总线1503完成相互间的通信;处理器1501用于调用存储器1502中的程序指令,以执行上述一个或多个实施例中的方法。
这里需要指出的是,以上电子设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请电子设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
基于同一发明构思,本申请实施例还提供了一种计算机可读存储介质,该存储介质可以包括:存储的程序;其中,在程序运行时控制存储介质所在设备执行上述一个或多个实施例中的方法。
这里需要指出的是,以上存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种数据分析方法,其特征在于,所述方法应用于目标威胁研判平台,所述目标威胁研判平台中存储有威胁研判工具集,所述威胁研判工具集中包括多个威胁研判工具,每个威胁研判工具能够对一种类型的对象进行分析;所述方法包括:
接收用户在所述目标威胁研判平台输入的待分析对象;
确定所述待分析对象的类型;
根据类型与威胁研判工具的对应关系从所述威胁研判工具集中调用与所述待分析对象的类型对应的目标威胁研判工具;
采用所述目标威胁研判工具对所述待分析对象进行威胁情报关联分析,输出研判分析结果。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待分析对象的类型,包括:
接收用户的选择内容,所述选择内容用于指示所述待分析对象的类型;根据所述选择内容确定所述待分析对象的类型;或,
获取所述待分析对象的格式特征,所述格式特征为所述待分析对象的后缀或数据组合方式;根据格式特征与数据类型的对应关系确定所述待分析对象对应的类型;或,
接收用户的输入内容,所述输入内容用于指示所述待分析对象的格式特征,所述格式特征为所述待分析对象的后缀或数据组合方式;根据输入内容与数据类型的对应关系确定所述待分析对象对应的类型。
3.根据权利要求1所述的方法,其特征在于,在接收用户在所述目标威胁研判平台输入的待分析对象之前,所述方法还包括:
整合各种威胁研判工具,其中,不同种类的威胁研判工具能够对不同类型的待分析对象进行威胁情报关联分析;
确定各种威胁研判工具所属的数据类型;
将不同数据类型的威胁研判工具存储至不同的数据库,使得各数据库中的威胁研判工具构成威胁研判工具集。
4.根据权利要求1所述的方法,其特征在于,所述采用所述目标威胁研判工具对所述待分析对象进行威胁情报关联分析,输出研判分析结果,包括:
采用高级持续性威胁APT家族检测引擎对所述待分析对象进行检测,得到第一检测结果;
采用样本静态检测引擎对所述待分析对象进行检测,得到第二检测结果;
当所述第一检测结果命中APT内容,或者,所述第一检测结果命中非APT内容且所述第二检测结果未命中APT内容时,输出所述APT家族检测引擎对应的标签;
当所述第一检测结果未命中内容且所述第二检测结果命中非APT内容,或者,所述第一检测结果命中非APT内容且所述第二检测结果命中APT内容时,输出所述样本静态检测引擎对应的标签;
当所述第一检测结果和所述第二检测结果均未命中内容时,输出为空。
5.根据权利要求1所述的方法,其特征在于,当所述待分析对象为PCAP包时,所述采用所述目标威胁研判工具对所述待分析对象进行威胁情报关联分析,输出研判分析结果,包括:
解析所述PCAP包中的域名系统DNS数据、传输控制协议TCP数据以及网页请求流量数据,得到数据集合;
调用批量失陷攻击指标工具对所述数据集合进行检测,输出所述PCAP包的检测结果。
6.根据权利要求5所述的方法,其特征在于,所述解析所述PCAP包中的域名系统DNS数据、传输控制协议TCP数据以及网页请求流量数据,得到数据集合,包括:
解析所述PCAP包中的域名系统DNS数据,得到DNS数据列表,所述DNS数据列表中包含失陷攻击指标IOC中的统一资源定位系统URL内容;获取所述DNS列表中每一项DNS字段的值;将每一项DNS字段的值合并去重,得到DNS数据集合;和/或,
解析所述PCAP包中的传输控制协议TCP数据,得到TCP数据列表,所述TCP数据列表中包含失陷攻击指标IOC中的port内容;获取所述TCP列表中每一项的dip字段的值与dport字段的值之和;将每一项的和合并去重,得到TCP数据集合;和/或,
解析所述PCAP包中的网页请求流量数据,得到网页请求流量数据列表,所述网页请求流量数据列表中包含全球域名解析中前1000的域名;获取所述网页请求流量列表中每一项的host、dport以及uri字段的值;将每一项的host、dport以及uri字段的值合并去重,得到网页请求流量数据集合。
7.根据权利要求1所述的方法,其特征在于,在接收用户在所述目标威胁研判平台输入的待分析对象之后,所述方法还包括:
生成当前分析任务的身份标识号ID;
调用鉴定服务方法查询当前分析任务的ID对应的上传任务的ID,所述上传任务的ID为待分析对象进入威胁研判工具前的存储标识;
调用上传服务方法获取上传任务的ID对应的上传分片任务的ID;
调用上传服务方法按照上传分片任务的ID将待分析对象切分并上传存储。
8.根据权利要求1所述的方法,其特征在于,在接收用户在所述目标威胁研判平台输入的待分析对象之后,所述方法还包括:
接收第一用户在所述目标威胁研判平台输入的与所述待分析对象相关的线索来源信息和公开类型;
验证所述待分析对象是否属实;
若属实,在接收到第二用户输入的导出指令后,在所述导出指令符合所述公开类型的情况下,采用预设格式输出与所述导出指令相应的待分析对象和所述线索来源信息。
9.根据权利要求8所述的方法,其特征在于,所述待分析对象为网际互连协议IP,所述验证所述待分析对象是否属实,包括:
提取所述IP的五元组;
采用所述威胁研判工具集中的IP信誉检测模块对所述五元组进行检测,得到IP检测结果;
若所述IP检测结果表明所述IP为黑IP,则将所述IP上传为恶意信息;
若所述IP检测结果未表明所述IP为黑IP,则通过上传过所述IP的用户的数量或者人工分析的结果确定所述IP待分析对象上传是否属实。
10.一种数据分析装置,其特征在于,所述装置应用于目标威胁研判平台,所述目标威胁研判平台中存储有威胁研判工具集,所述威胁研判工具集中包括多个威胁研判工具,每个威胁研判工具能够对一种类型的对象进行分析;所述装置包括:
接收模块,用于接收用户在所述目标威胁研判平台输入的待分析对象;
确定模块,用于确定所述待分析对象的类型;
调用模块,用于根据类型与威胁研判工具的对应关系从所述威胁研判工具集中调用与所述待分析对象的类型对应的目标威胁研判工具;
分析模块,用于采用所述目标威胁研判工具对所述待分析对象进行威胁情报关联分析,输出研判分析结果。
11.一种电子设备,其特征在于,包括:处理器、存储器、总线;
其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,包括:存储的程序;其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211593195.6A CN115941337A (zh) | 2022-12-13 | 2022-12-13 | 数据分析方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211593195.6A CN115941337A (zh) | 2022-12-13 | 2022-12-13 | 数据分析方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115941337A true CN115941337A (zh) | 2023-04-07 |
Family
ID=86557062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211593195.6A Pending CN115941337A (zh) | 2022-12-13 | 2022-12-13 | 数据分析方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115941337A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116915506A (zh) * | 2023-09-12 | 2023-10-20 | 北京安天网络安全技术有限公司 | 一种异常流量检测方法、装置、电子设备及存储介质 |
-
2022
- 2022-12-13 CN CN202211593195.6A patent/CN115941337A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116915506A (zh) * | 2023-09-12 | 2023-10-20 | 北京安天网络安全技术有限公司 | 一种异常流量检测方法、装置、电子设备及存储介质 |
CN116915506B (zh) * | 2023-09-12 | 2023-12-01 | 北京安天网络安全技术有限公司 | 一种异常流量检测方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106357696B (zh) | 一种sql注入攻击检测方法及系统 | |
CN111209565B (zh) | 水平越权漏洞检测方法、设备及计算机可读存储介质 | |
CN113489713B (zh) | 网络攻击的检测方法、装置、设备及存储介质 | |
US11681757B2 (en) | Similar email spam detection | |
EP3224984A1 (en) | Determine vulnerability using runtime agent and network sniffer | |
US9614866B2 (en) | System, method and computer program product for sending information extracted from a potentially unwanted data sample to generate a signature | |
CN109495467B (zh) | 拦截规则的更新方法、设备及计算机可读存储介质 | |
CN111104579A (zh) | 一种公网资产的识别方法、装置及存储介质 | |
US10454967B1 (en) | Clustering computer security attacks by threat actor based on attack features | |
CN105138709A (zh) | 一种基于物理内存分析的远程取证系统 | |
CN110888838A (zh) | 基于对象存储的请求处理方法、装置、设备及存储介质 | |
CN110149318B (zh) | 邮件元数据的处理方法及装置、存储介质、电子装置 | |
WO2014021865A1 (en) | Conjoint vulnerability identifiers | |
CN113810408A (zh) | 网络攻击组织的探测方法、装置、设备及可读存储介质 | |
CN115941337A (zh) | 数据分析方法、装置、电子设备及存储介质 | |
Fu et al. | Data correlation‐based analysis methods for automatic memory forensic | |
CN113595981A (zh) | 上传文件威胁检测方法及装置、计算机可读存储介质 | |
CN109165513B (zh) | 系统配置信息的巡检方法、装置和服务器 | |
CN111385293B (zh) | 一种网络风险检测方法和装置 | |
CN115001724B (zh) | 网络威胁情报管理方法、装置、计算设备及计算机可读存储介质 | |
US11444971B2 (en) | Method for assessing the quality of network-related indicators of compromise | |
CN110493224B (zh) | 一种子域名劫持漏洞探测方法、装置及设备 | |
US9049170B2 (en) | Building filter through utilization of automated generation of regular expression | |
CN114816895A (zh) | 处理告警日志的方法、装置及存储介质 | |
CN113364780A (zh) | 网络攻击受害者确定方法、设备、存储介质及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |