CN113364772A - 一种恶意ioc自动采集方法 - Google Patents

一种恶意ioc自动采集方法 Download PDF

Info

Publication number
CN113364772A
CN113364772A CN202110624468.8A CN202110624468A CN113364772A CN 113364772 A CN113364772 A CN 113364772A CN 202110624468 A CN202110624468 A CN 202110624468A CN 113364772 A CN113364772 A CN 113364772A
Authority
CN
China
Prior art keywords
mail
threat intelligence
ioc
information
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110624468.8A
Other languages
English (en)
Inventor
刘志远
赖成宾
韦文峰
徐留杰
张海文
嵇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhongfu Information Technology Co Ltd
Zhongfu Information Co Ltd
Original Assignee
Nanjing Zhongfu Information Technology Co Ltd
Zhongfu Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhongfu Information Technology Co Ltd, Zhongfu Information Co Ltd filed Critical Nanjing Zhongfu Information Technology Co Ltd
Priority to CN202110624468.8A priority Critical patent/CN113364772A/zh
Publication of CN113364772A publication Critical patent/CN113364772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/308—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information retaining data, e.g. retaining successful, unsuccessful communication attempts, internet access, or e-mail, internet telephony, intercept related information or call content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种恶意IOC自动采集方法，该方法包括以下步骤：S1、利用邮件采集器订阅原始威胁情报邮件，并将原始威胁情报邮件汇总存储到同一邮件存储库中；S2、利用邮件存储库的下载协议获取原始威胁情报邮件内容；S3、利用解析器将原始威胁情报邮件转化为可读邮件；S4、设置附件获取器检测可读邮件中编码函数，处理非法数据并输出最终的附件内容；S5、提取原始威胁情报邮件内容或附件内容中的威胁情报IOC信息。有益效果：本发明设计的正则表达式考虑了不同类型IOC的特征，包括但不限于长度、种类、格式、特殊字符等方法，能够有针对性地准确提取出威胁情报IOC信息，避免了解析不同的邮箱。

Description

一种恶意IOC自动采集方法
技术领域
本发明涉及计算机网络与信息安全技术领域，具体来说，涉及一种恶意IOC自动采集方法。
背景技术
威胁情报IOC是服务于威胁情报的，用于丰富威胁情报内容，主要包括IP、URL、Domain、HASH、威胁情报邮箱等。威胁情报是将孤立的、杂乱无章的威胁信息转化为具有固定格式的威胁情报，从而能够对威胁信息有一个规范化的整理，便于之后对威胁数据的深度分析。然而威胁情报落地所依赖的最大的一个指标就是威胁情报IOC库，IOC库越丰富越完整，更新越频繁，所能够发挥的效能也就越大。为了更全面地充实威胁情报IOC库，越来越多的研究人员开始致力于发掘各种威胁情报IOC获取方法，并取得了诸多研究成果。
当前大多数IOC来源都是网站页面或者网站接口，利用的手段主要是网络爬虫、接口调用等方法，随着网站对自身数据安全意识的加强，反爬手段越来越高级，使得利用网络爬虫的采集方法越发困难，为了在威胁攻击发生之前做出准备，识别出威胁情报攻击者，必须加大威胁情报获取的范围，广而精地采集威胁情报攻击信息，通过邮件系统，解析出其中的威胁情报信息，进一步丰富威胁情报IOC数据。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种恶意IOC自动采集方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种恶意IOC自动采集方法，该方法包括以下步骤：
S1、利用邮件采集器订阅原始威胁情报邮件，并将原始威胁情报邮件汇总存储到同一邮件存储库中；
S2、利用邮件存储库的下载协议获取原始威胁情报邮件内容；
S3、利用解析器将原始威胁情报邮件转化为可读邮件；
S4、设置附件获取器，检测可读邮件中编码函数，处理非法数据并输出最终的附件内容；
S5、提取原始威胁情报邮件内容或附件内容中的威胁情报IOC信息。
进一步的，所述利用邮件采集器订阅原始威胁情报邮件，并将原始威胁情报邮件存储到同一邮件存储库中还包括以下步骤：
S11、设置邮件采集器，采用多源化搜集方式通过订阅邮件获取IOC的威胁情报源；
S12、将S11步骤中获取的IOC威胁情报邮件收集起来；
S13、通过设置邮件存储库，将S12步骤中收集IOC威胁情报邮件汇总到同一个邮件库中。
进一步的，所述邮件存储库包括：将不同邮箱运营商接收到的邮件汇总起来，通过代理设置一次邮件转移，可以将国外邮件转移到国内邮箱。
进一步的，所述邮件存储库的下载协议包括：开启邮箱访问协议或邮局协议版本3。
进一步的，所述将原始威胁情报邮件转化为可读邮件还包括以下步骤：
S31、设置邮件头部解析器，通过正则匹配和统一码转码获取邮件头部信息；
S32、设置邮件文本内容解析器，通过统一码解码函数获取邮件的文本内容；
S33、设置邮件统一码数据解析器，针对邮件中的多元件数据，将其转化为列表输出。
进一步的，所述邮件头部解析器、邮件文本内容解析器和邮件多元件数据解析器包含但是不限于统一码与utf-8解析方法。
进一步的，所述设置附件获取器检测可读邮件中编码函数，处理非法数据并输出最终的附件内容还包括以下步骤：
S41、设置附件获取器，获取附件的文件名，通过统一码解码函数解码出附件数据，处理附件中的非法数据，输出最终的附件内容。
进一步的，所述提取威胁情报邮件附件内容中威胁情报IOC信息还包括以下步骤：
S51、对于获取邮件附件内容的IOC信息部分进行清洗，去除掉夹杂在IOC信息中的特殊字符，以及转化特殊编码格式生成的IOC信息；
S52、设置威胁情报IP获取器，获取邮件中的威胁情报IP信息；
S53、设置威胁情报文件的哈希算法(HASH)获取器，针对不同长度的文件的哈希算法，获取威胁情报文件的哈希算法；
S54、通过设计统一资源定位符(URL)、域名、威胁情报邮箱对应的正则表达式获取邮件中的设计统一资源定位符、域名、威胁情报邮箱的IOC信息。
进一步的，所述IP获取器为通过正则表达式结合IP特征设计出从文本中提取威胁情报IP。
进一步的，所述威胁情报文件哈希算法获取器为通过正则表达式结合哈希算法的特征设计出从文本中提取威胁情报哈希算法的方法。
本发明的有益效果为：本发明通过订阅情报邮件，然后解析邮件的内容，设计正则匹配方式提取邮件内容中的威胁情报IOC信息；例如现有的威胁情报IOC采集技术主要是利用网络爬虫的方法，针对邮件系统的采集方法可以绕过网站的反爬机制，以便更加稳定地获取威胁情报IOC情报，而且本发明设计的正则表达式考虑了不同类型IOC的特征，包括但不限于长度、种类、格式、特殊字符等方法，能够有针对性地准确提取出威胁情报IOC信息；避免了解析不同的邮箱，本发明也提出构建邮箱库的概念，特别是能够将外网的邮箱内容转存到内网邮箱，便于接收和解析，设计的针对不同威胁情报IOC的正则表达式能够自动从邮件信息中提取出相应的威胁情报IOC。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种恶意IOC自动采集方法的流程图；
图2是根据本发明实施例的一种恶意IOC自动采集方法中对邮件系统的威胁情报IOC自动采集过程图；
图3是根据本发明实施例的一种恶意IOC自动采集方法中IMAP协议的邮件存取流程图；
图4是根据本发明实施例的一种恶意IOC自动采集方法中解析前后邮件内容对比图；
图5是根据本发明实施例的一种恶意IOC自动采集方法中正则表达式的威胁情报IP采集效果图；
图6是根据本发明实施例的一种恶意IOC自动采集方法中正则表达式的威胁情报HASH采集效果图；
图7是根据本发明实施例的一种恶意IOC自动采集方法中正则表达式的威胁情报域名采集效果图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种恶意IOC自动采集方法。
现结合附图和具体实施方式对本发明进一步说明，如图1-7所示，根据本发明实施例的恶意IOC自动采集方法，该方法包括以下步骤：
S1、利用邮件采集器订阅原始威胁情报邮件，并将原始威胁情报邮件汇总存储到同一邮件存储库中；
S2、利用邮件存储库的下载协议获取原始威胁情报邮件内容；
S3、利用解析器将原始威胁情报邮件转化为可读邮件；
S4、设置附件获取器检测可读邮件中编码函数，处理非法数据并输出最终的附件内容；
S5、提取原始威胁情报邮件内容或附件内容中的威胁情报IOC信息。
在一个实施例中，所述利用邮件采集器订阅原始威胁情报邮件，并将原始威胁情报邮件存储到同一邮件存储库中还包括以下步骤：
S11、设置邮件采集器，采用多源化搜集方式通过订阅邮件获取IOC的威胁情报源；
S12、将S11步骤中获取的IOC威胁情报邮件收集起来；
S13、通过设置邮件存储库，将S12步骤中收集IOC威胁情报邮件汇总到同一个邮件库中。
在一个实施例中，所述邮件存储库包括：将不同邮箱运营商接收到的邮件汇总起来，通过代理设置一次邮件转移，可以将国外邮件转移到国内邮箱。
如图2所示，本发明通过读取邮件内容并从中解析出威胁情报IOC信息，其自动化采集过程主要包括以下几个步骤：设置邮件采集器，搜集通过邮件订阅分享威胁情报IOC信息的安全厂商，如AlienVault OTX(开源威胁情报)、Recorded Future(记录的未来)等，根据各个安全厂商的要求订阅威胁情报IOC信息邮件；
订阅带有威胁情报IOC信息的邮件，由于一些国外的情报来源不支持国内的邮箱注册，相应的国内的情报来源也不支持国外的邮箱，所以需要通过不同的邮箱注册获取信息。国外的采用的是gmail邮箱等，国内则采用qq邮箱等，需要企业注册的采用网易企业邮箱等。
在一个实施例中，所述邮件存储库的下载协议包括：开启邮箱访问协议(IMAP)或邮局协议版本3(POP3)。
下载协议主要有两种POP3协议和IMAP协议：POP3是Post Office Protocol 3的简称，即邮局协议的第3个版本，它规定怎样将个人计算机连接到Internet的邮件服务器和下载电子邮件的电子协议。它是因特网电子邮件的第一个离线协议标准，POP3允许用户从服务器上把邮件存储到本地主机(即自己的计算机)上，同时删除保存在邮件服务器上的邮件，而POP3服务器则是遵循POP3协议的接收邮件服务器，用来接收电子邮件的。
IMAP全称是Internet Mail Access Protocol，即交互式邮件存取协议，它是跟POP3类似邮件访问标准协议之一。不同的是开启了IMAP后，在电子邮件客户端收取的邮件仍然保留在服务器上，同时在客户端上的操作都会反馈到服务器上，如：删除邮件，标记已读等，服务器上的邮件也会做相应的动作。所以无论从浏览器登录邮箱或者客户端软件登录邮箱，看到的邮件以及状态都是一致的。
通过协议获取到的邮件内容是杂乱的、没有编排的，冗余的信息较多，需要精确的提取出关键信息。面对大量的邮件数据，人工处理显然耗时费事，期间还可能产生无数的人为错误。而利用正则表达式的好处就是只要它能够被正确识别就不会产生误差，且速度也快的惊人。正则表达式主要有三部分组成，分别是解析、编译与执行。
如图3所示，订阅了威胁情报IOC邮件的邮箱需要进一步转存到邮箱库中，并且开启邮箱库的下载协议，从而获取邮箱内容。具体步骤如下：
将不同的邮箱转存到同一邮箱库中，为了便于对邮件的整合处理，提高效率，将不同邮箱的内容转存到同一邮箱中。由于访问权限原因，这个邮箱最好采用国内的共享程度较高的，本发明采用的是sina(新浪)邮箱；
开启邮箱的IMAP协议，为了将邮箱内容获取到本地，需要打开邮箱的IMAP或者POP3协议；
解析出获取到的邮件内容，通过协议获取到的原始邮件内容是杂乱的，有很多冗余信息，需要对其进行解析，包括邮件的头部信息、内容信息、发件时间等。
开启邮箱的IMAP协议，为了将邮箱内容获取到本地，需要打开邮箱的IMAP或者POP3协议
在一个实施例中，所述将原始威胁情报邮件转化为可读邮件还包括以下步骤：
S31、设置邮件头部解析器，通过正则匹配和统一码(unicode)转码获取邮件头部信息；
S32、设置邮件文本内容解析器，通过统一码解码函数获取邮件的文本内容；
S33、设置邮件统一码数据解析器，针对邮件中的多元件(multipart)数据，将其转化为列表输出。
在一个实施例中，所述邮件头部解析器、邮件文本内容解析器和邮件多元件数据解析器包含但是不限于统一码与utf-8(一种用于编码各种字符的相对较新的代码约定)解析方法。
在一个实施例中，所述设置附件获取器检测可读邮件中编码函数，处理非法数据并输出最终的附件内容还包括以下步骤：
S41、设置附件获取器，获取附件的文件名，通过统一码解码函数解码出附件数据，处理附件中的非法数据，输出最终的附件内容。
解析前后的邮件内容对比如图4所示
设置附件获取器，对于威胁情报信息在附件中的邮件，需要对附件进行获取，首先通过解析器对附件内容进行解析，获取得到附件名，然后根据附件名结合解码函数得到附件信息。
在一个实施例中，所述提取威胁情报邮件附件内容中威胁情报IOC信息还包括以下步骤：
S51、对于获取邮件附件内容的IOC信息部分进行清洗，去除掉夹杂在IOC信息中的特殊字符，以及转化特殊编码格式生成的IOC信息；
S52、设置威胁情报IP获取器，获取邮件中的威胁情报IP信息；
S53、设置威胁情报文件的哈希算法获取器，针对不同长度的文件的哈希算法，获取威胁情报文件的哈希算法；
S54、通过设计统一资源定位符、域名、威胁情报邮箱对应的正则表达式获取邮件中的设计统一资源定位符、域名、威胁情报邮箱的IOC信息。
设置内容清洗装置，为了提高IOC信息的隐蔽性，一些厂商会在威胁情报IOC信息上通过不同方式给信息进行加密，主要的加密手段有：1)URL信息：将“http”改为“hxxp”，或者隐藏“http”四个字符等；2)IP信息：将“.”替换为“[.]”等；3)Domain信息：domain信息前后增加特殊字符等。这些手段会干扰接下来的正则匹配，因此需要先设置内容清洗和处理，得出正确的信息内容。
设置威胁情报IP获取器，利用正则表达式的方法从邮件内容中解析出威胁情报IP信息；
具体施行方案如图5所示，IP地址的特征是由四个0～255数字组成，并用“.”号隔开，因此可以相应地设置出IP正则获取器。
设置威胁情报文件HASH获取器，威胁情报文件的HASH可以分为MD5、SHA-1、SHA-256、SHA-512等，文件HASH值是由多位0-9数字和A-Fa-f字母组成，对应的长度分别为32、40、64、128，据此可以利用这些特征设置出威胁情报文件HASH获取器，通过正则表达式匹配不间断的对应长度的带有上述特征的字符即可，具体施行方案如图6所示。
设置威胁情报URL、威胁情报域名、威胁情报邮箱获取器，经过处理后的URL、域名、邮箱都带有各自的特征，URL特征是：以http、https、ftp开头，字母数字以及一些特殊字符组成，域名特征是：域名的字符串只能由字母数字以及“-”、“_”组成，顶级域名是由两个字符串加一个“.”构成，二级域名的话是由三个字符串加两个“.”构成，三级域名则是再加一个字符串和“.”号，多级域名以此类推，N级域名由N+1个字符组成，中间以“.”隔开。邮箱特征即是一定带有“@”符号，以“@”符号为分割，前半部分是允许汉字、字母、数字组成，而后半部分则是域名，通过上述特征分别设置对应的正则获取器，域名的具体施行方案如图7所示。
在一个实施例中，所述IP获取器为通过正则表达式结合IP特征设计出从文本中提取威胁情报IP。
Ken Thompson利用非确定有穷自动机(NDFA)构造了正则表达式，NDFA是一个有向图，其每个节点代表一个状态，每条边用字母或符号(代表空字符串)标记。自动机有一个初始状态并可能有多个终止或接受状态。正则表达式匹配过程中使用了NDFA，如果在NDFA中，从初始状态到接受状态结束的路径上的字母能匹配文本中的每一个字符串，就表明找到了文本中的匹配。正则表达式的定义如下：1.字母表中的所有字母均为正则表达式，2.若r和s是正则表达式，那么r|s、(r)、r*和rs也是正则表达式：1)正则表达式r|s代表正则表达式r或s；2)正则表达式r*(也称作克林闭包)代表r的任意有穷序列：r，rr，rrr，......；3)正则表达式rs代表r和s的连接；4)其中(r)代表正则表达式r。
在一个实施例中，所述威胁情报文件哈希算法获取器为通过正则表达式结合哈希算法的特征设计出从文本中提取威胁情报哈希算法的方法。
综上所述，借助于本发明的上述技术方案，本发明通过订阅情报邮件，然后解析邮件的内容，设计正则匹配方式提取邮件内容中的威胁情报IOC信息；例如现有的威胁情报IOC采集技术主要是利用网络爬虫的方法，针对邮件系统的采集方法可以绕过网站的反爬机制，以便更加稳定地获取威胁情报IOC情报，而且本发明设计的正则表达式考虑了不同类型IOC的特征，包括但不限于长度、种类、格式、特殊字符等方法，能够有针对性地准确提取出威胁情报IOC信息；避免了解析不同的邮箱，本发明也提出构建邮箱库的概念，特别是能够将外网的邮箱内容转存到内网邮箱，便于接收和解析，设计的针对不同威胁情报IOC的正则表达式能够自动从邮件信息中提取出相应的威胁情报IOC。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种恶意IOC自动采集方法，其特征在于，该方法包括以下步骤：
S1、利用邮件采集器订阅原始威胁情报邮件，并将原始威胁情报邮件汇总存储到同一邮件存储库中；
S2、利用邮件存储库的下载协议获取原始威胁情报邮件内容；
S3、利用解析器将原始威胁情报邮件转化为可读邮件；
S4、设置附件获取器，检测可读邮件中编码函数，处理非法数据并输出最终的附件内容；
S5、提取原始威胁情报邮件内容或附件内容中的威胁情报IOC信息。
2.根据权利要求1所述的一种恶意IOC自动采集方法，其特征在于，所述利用邮件采集器订阅原始威胁情报邮件，并将原始威胁情报邮件存储到同一邮件存储库中还包括以下步骤：
S11、设置邮件采集器，采用多源化搜集方式通过订阅邮件获取IOC的威胁情报源；
S12、将S11步骤中获取的IOC威胁情报邮件收集起来；
S13、通过设置邮件存储库，将S12步骤中收集IOC威胁情报邮件汇总到同一个邮件库中。
3.根据权利要求2所述的一种恶意IOC自动采集方法，其特征在于，所述邮件存储库包括：将不同邮箱运营商接收到的邮件汇总起来，通过代理设置一次邮件转移，可以将国外邮件转移到国内邮箱。
4.根据权利要求1所述的一种恶意IOC自动采集方法，其特征在于，所述邮件存储库的下载协议包括：开启邮箱访问协议或邮局协议版本3。
5.根据权利要求1所述的一种恶意IOC自动采集方法，其特征在于，所述将原始威胁情报邮件转化为可读邮件还包括以下步骤：
S31、设置邮件头部解析器，通过正则匹配和统一码转码获取邮件头部信息；
S32、设置邮件文本内容解析器，通过统一码解码函数获取邮件的文本内容；
S33、设置邮件统一码数据解析器，针对邮件中的多元件数据，将其转化为列表输出。
6.根据权利要求5所述的一种恶意IOC自动采集方法，其特征在于，所述邮件头部解析器、邮件文本内容解析器和邮件多元件数据解析器包含但是不限于统一码与utf-8解析方法。
7.根据权利要求1所述的一种恶意IOC自动采集方法，其特征在于，所述设置附件获取器检测可读邮件中编码函数，处理非法数据并输出最终的附件内容还包括以下步骤：
S41、设置附件获取器，获取附件的文件名，通过统一码解码函数解码出附件数据，处理附件中的非法数据，输出最终的附件内容。
8.根据权利要求1所述的一种恶意IOC自动采集方法，其特征在于，所述提取威胁情报邮件附件内容中威胁情报IOC信息还包括以下步骤：
S51、对于获取邮件附件内容的IOC信息部分进行清洗，去除掉夹杂在IOC信息中的特殊字符，以及转化特殊编码格式生成的IOC信息；
S52、设置威胁情报IP获取器，获取邮件中的威胁情报IP信息；
S53、设置威胁情报文件的哈希算法获取器，针对不同长度的文件的哈希算法，获取威胁情报文件的哈希算法；
S54、通过设计统一资源定位符、域名、威胁情报邮箱对应的正则表达式获取邮件中的设计统一资源定位符、域名、威胁情报邮箱的IOC信息。
9.根据权利要求8所述的一种恶意IOC自动采集方法，其特征在于，所述IP获取器为通过正则表达式结合IP特征设计出从文本中提取威胁情报IP。
10.根据权利要求8所述的一种恶意IOC自动采集方法，其特征在于，所述威胁情报文件哈希算法获取器为通过正则表达式结合哈希算法的特征设计出从文本中提取威胁情报哈希算法的方法。
CN202110624468.8A 2021-06-04 2021-06-04 一种恶意ioc自动采集方法 Pending CN113364772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110624468.8A CN113364772A (zh) 2021-06-04 2021-06-04 一种恶意ioc自动采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624468.8A CN113364772A (zh) 2021-06-04 2021-06-04 一种恶意ioc自动采集方法

Publications (1)

Publication Number Publication Date
CN113364772A true CN113364772A (zh) 2021-09-07

Family

ID=77532383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624468.8A Pending CN113364772A (zh) 2021-06-04 2021-06-04 一种恶意ioc自动采集方法

Country Status (1)

Country Link
CN (1) CN113364772A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102655482A (zh) * 2011-12-26 2012-09-05 上海西默通信技术有限公司 基于http协议分析的web邮件还原方法
US20190132273A1 (en) * 2017-10-31 2019-05-02 Edgewave, Inc. Analysis and reporting of suspicious email
CN110717049A (zh) * 2019-08-29 2020-01-21 四川大学 一种面向文本数据的威胁情报知识图谱构建方法
CN110912889A (zh) * 2019-11-22 2020-03-24 上海交通大学 一种基于智能化威胁情报的网络攻击检测系统和方法
CN111181959A (zh) * 2019-12-30 2020-05-19 论客科技（广州）有限公司 一种基于邮件数据的威胁情报知识图谱构建方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102655482A (zh) * 2011-12-26 2012-09-05 上海西默通信技术有限公司 基于http协议分析的web邮件还原方法
US20190132273A1 (en) * 2017-10-31 2019-05-02 Edgewave, Inc. Analysis and reporting of suspicious email
CN110717049A (zh) * 2019-08-29 2020-01-21 四川大学 一种面向文本数据的威胁情报知识图谱构建方法
CN110912889A (zh) * 2019-11-22 2020-03-24 上海交通大学 一种基于智能化威胁情报的网络攻击检测系统和方法
CN111181959A (zh) * 2019-12-30 2020-05-19 论客科技（广州）有限公司 一种基于邮件数据的威胁情报知识图谱构建方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴鑫等: "基于WinPcap的邮件信息解析系统的实现与优化", 《电子测量技术》 *
徐留杰等: "一种多源网络安全威胁情报采集与封装技术", 《网络安全技术与应用》 *

Similar Documents

Publication Publication Date Title
US11218500B2 (en) Methods and systems for automated parsing and identification of textual data
US8554774B2 (en) System and method for word indexing in a capture system and querying thereof
US7962591B2 (en) Object classification in a capture system
CN108259415B (zh) 一种邮件检测的方法及装置
CN107947918B (zh) 一种基于字符特征的无载体文本隐写方法
US20050132034A1 (en) Rule parser
US20150095359A1 (en) Volume Reducing Classifier
US20050060643A1 (en) Document similarity detection and classification system
CN102655482B (zh) 基于http协议分析的web邮件还原方法
RU2701040C1 (ru) Способ и вычислительное устройство для информирования о вредоносных веб-ресурсах
US11681936B2 (en) Scanning server ports to infer service protocols
CN112347165A (zh) 日志处理方法、装置及服务器和计算机可读存储介质
Shen et al. Hdiff: A semi-automatic framework for discovering semantic gap attack in http implementations
WO2020167552A1 (en) System and method for forensic artifact analysis and visualization
Ghafarian An empirical analysis of email forensics tools
CN113364772A (zh) 一种恶意ioc自动采集方法
You et al. Web service-enabled spam filtering with naive Bayes classification
Fdez-Glez et al. WSF2: a novel framework for filtering web spam
Swarnkar et al. RDClass: on using relative distance of keywords for accurate network traffic classification
Aldwairi et al. Characterizing realistic signature-based intrusion detection benchmarks
Antunes et al. Automatically complementing protocol specifications from network traces
CN116414976A (zh) 文档检测方法、装置及电子设备
Jaeger et al. Fast Automated Processing and Evaluation of Identity Leaks
Qin et al. Interaction Context‐Aware Network Behavior Anomaly Detection for Discovering Unknown Attacks
Ghafarian Capabilities of Email Forensic Tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210907