CN111212049A - 一种威胁情报ioc信誉度分析方法 - Google Patents

一种威胁情报ioc信誉度分析方法 Download PDF

Info

Publication number
CN111212049A
CN111212049A CN201911375091.6A CN201911375091A CN111212049A CN 111212049 A CN111212049 A CN 111212049A CN 201911375091 A CN201911375091 A CN 201911375091A CN 111212049 A CN111212049 A CN 111212049A
Authority
CN
China
Prior art keywords
data
intelligence
threat
source
ioc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911375091.6A
Other languages
English (en)
Other versions
CN111212049B (zh
Inventor
罗毓环
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201911375091.6A priority Critical patent/CN111212049B/zh
Publication of CN111212049A publication Critical patent/CN111212049A/zh
Application granted granted Critical
Publication of CN111212049B publication Critical patent/CN111212049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Technology Law (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种威胁情报IOC信誉度分析方法，获取威胁情报IOC，分析并建立网络威胁行为活动和社区，间隔预设时间对建立的模型进行动态调优。本发明中，主要以自有设备的流量数据与日志数据与第三方共享数据以及各项目中数据通过技术手段深度挖掘得到的攻击者以及数据源特征，建立威胁情报IOC信誉度评分模型，可满足各个数据源数据使用，满足对现有威胁情报源共享系统中对数据源信誉度验证，解决现有目前市场中存在大量威胁情报源数据不准确、威胁情报缺乏失效机制，使得无论是收集滴三方开源数据源，还是对自有设备中流量分析都能进行信誉度评价，体系可以随时间动态调整模型结构，确保数据失效机制。

Description

一种威胁情报IOC信誉度分析方法
技术领域
本发明属于数字信息的传输，例如电报通信的技术领域，特别涉及一种威胁情报IOC信誉度分析方法。
背景技术
威胁情报在遥远的古代就应用于军事和生产过程中，近年来成为网路安全热词之一。
随着威胁情报逐渐在国内发展，目前内部设有威胁情报研究团队的公司日益剧增，同时在互联网上设计的相关产品、平台、情报数据亦相应增加。如何做好威胁情报之本——数据的把关、建立可信赖的数据信誉度评价体系、使得平台或者产品使用的数据建立有效的评价机制，这成为现今威胁情报使用的痛点。
究其原因，是由于威胁情报在应用中，存在大量第三方威胁情报数据源，各方在使用数据源时并无统一的评价机制对数据源进行评价，造成数据源共享时无法知道数据源的准确性以及数据的准确性，而正是由于无法评估数据来源以及数据的准确性，造成了大量威胁情报源数据不准确、威胁情报缺乏失效机制。该问题不解决，则客户在使用威胁情报进行设备中的威胁源检测时容易造成数据误报，同时由于收集的威胁情报源无法对其进行追溯分析，可能存在黑客将某些白名单放置在开源情报中等，这些问题都将造成情报业务和产品出现严重滞留。
发明内容
本发明解决了现有技术中，存在大量第三方威胁情报数据源，各方在使用数据源时并无统一的评价机制对数据源进行评价，造成了大量威胁情报源数据不准确、威胁情报缺乏失效机制的问题，提供了一种优化的威胁情报IOC信誉度分析方法。
本发明所采用的技术方案是，一种威胁情报IOC信誉度分析方法，所述方法包括以下步骤：
步骤1：获取威胁情报IOC；
步骤2：对威胁情报进行分析；
步骤3：基于分析结果，建立网络威胁行为活动和社区；
步骤4：间隔预设时间，返回步骤1动态调优。
优选地，所述步骤1中，获取威胁情报IOC后，对来源进行整理；所述威胁情报IOC的来源包括自有数据来源和第三方数据源。
优选地，所述自有数据来源包括安全厂商自有设备及设备中的日志。
优选地，所述第三方数据源包括开源数据、其他厂商设备及设备中的数据，数据包括Event、URL、DNS、IP、Hash、来源名称、来源中数据标签详细描述文档、来源中是否存在定义不同的标识。
优选地，所述步骤2包括以下步骤：
步骤2.1：对数据源威胁情报进行预处理；
步骤2.2：对情报准确度进行匹配分析；
步骤2.3：得到信誉度分析值；
步骤2.4：建立不同情报源在不同威胁类型情报的信誉度模型。
优选地，所述步骤2.1中，将威胁情报分类处理，得到不同情报源下不同威胁类型的情报；所述类型包括C&C、钓鱼地址、木马地址、恶意软件、文章引用、恶意主机、扫描主机、垃圾邮件、漏洞利用。
优选地，所述步骤2.2中，基于分类结果，得到不同的威胁情报在不同数据类型中的准确率及覆盖度。
优选地，所述信誉度分析值F=(2* Pre*R)/(Pre+R)，其中，Pre为可信的情报在总数中的占比，Pre=TP/(TP+FP)，R为召回率，R=TP/(TP+TN)，TP为情报预测为真且实际结果为真的值，TN为情报预测为真而实际结果为假的值，FP为情报预测为假且实际结果为真的值，FN为情报预测和实际结果均为假的值。
优选地，所述步骤3中，对自有数据来源和第三方数据源的数据进行关联分析，建立网络威胁行为活动和社区。
优选地，若在自有数据来源中检测到第三方数据源，则通过自由数据来源对应的模型对第三方数据源对应的模型进行修正。
本发明提供了一种优化的威胁情报IOC信誉度分析方法，通过获取威胁情报IOC，进行分析并基于分析结果建立网络威胁行为活动和社区，对威胁情报进行信誉度分析，并间隔预设时间对建立的模型进行动态调优。
本发明中，主要以自有设备的流量数据与日志数据与第三方共享数据以及各项目中数据通过大数据挖掘技术、关联分析、机器学习、深度学习、威胁情报建模技术、区块链技术、样本文件深度分析等技术手段深度挖掘得到的攻击者以及数据源特征，建立威胁情报IOC信誉度评分模型，可满足各个数据源数据使用，满足对现有威胁情报源共享系统中对数据源信誉度验证，解决现有目前市场中存在大量威胁情报源数据不准确、威胁情报缺乏失效机制，使得无论是收集滴三方开源数据源，还是对自有设备中流量分析都能进行信誉度评价，体系可以随时间动态调整模型结构，确保数据失效机制。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种威胁情报IOC信誉度分析方法，达到对各个途径中的威胁情报IOC有一套可信赖的信誉度评价体系的目的，并以该评价体系动态调整以确保实效机制
本发明中，事实上，威胁情报收集的IOC主要来自安全厂商自有设备（包括该公司使用设备在项目实践中捕获数据）、购买安全厂商数据、开源情报数据三个数据来源。这其中，对于第三方开源情报数据源，安全厂商数据无法对数据生产过程、数据评价机制进行判断，而在实际生产过程中由于技术、地域等原因又无法对威胁情报源进行全面收集，所以必须采用第三方数据源，故在收录第三方威胁情报数据时先进行网络威胁分析，在情报源接入时即可以进行实时的网络威胁分析。
所述方法包括以下步骤。
步骤1：获取威胁情报IOC。
所述步骤1中，获取威胁情报IOC后，对来源进行整理；所述威胁情报IOC的来源包括自有数据来源和第三方数据源。
所述自有数据来源包括安全厂商自有设备及设备中的日志。
所述第三方数据源包括开源数据、其他厂商设备及设备中的数据，数据包括Event、URL、DNS、IP、Hash、来源名称、来源中数据标签详细描述文档、来源中是否存在定义不同的标识。
步骤2：对威胁情报进行分析。
所述步骤2包括以下步骤：
步骤2.1：对数据源威胁情报进行预处理；
所述步骤2.1中，将威胁情报分类处理，得到不同情报源下不同威胁类型的情报；所述类型包括C&C、钓鱼地址、木马地址、恶意软件、文章引用、恶意主机、扫描主机、垃圾邮件、漏洞利用。
步骤2.2：对情报准确度进行匹配分析；
所述步骤2.2中，基于分类结果，得到不同的威胁情报在不同数据类型中的准确率及覆盖度。
步骤2.3：得到信誉度分析值；
所述信誉度分析值F=(2* Pre*R)/(Pre+R)，其中，Pre为可信的情报在总数中的占比，Pre=TP/(TP+FP)，R为召回率，R=TP/(TP+TN)，TP为情报预测为真且实际结果为真的值，TN为情报预测为真而实际结果为假的值，FP为情报预测为假且实际结果为真的值，FN为情报预测和实际结果均为假的值。
步骤2.4：建立不同情报源在不同威胁类型情报的信誉度模型。
本发明中， 步骤2.1中，对于定义不同的威胁情报，以自有数据来源中对情报的命名方式为准。
本发明中，步骤2.2中，基于自有情报，在不同的情报源中进行匹配比较得到匹配结果，一般来说，根据威胁类型进行匹配分析，自有情报是分类预测结果，情报源情报是分类实际结果，得到不同情报源在不同的数据类型中的准确率情况，以及覆盖度情况；其中，覆盖度是指匹配到的数据与总共查询的数据的比值。
本发明中，步骤2.2中，以二分类问题混淆矩阵对匹配结果进行统计，得到步骤2.3的信誉度分析值，即总体评价效果；在二分类问题中，模型或算法分类评价一般会使用精度和召回率，这两个值都是从正确判别威胁情报的准确性出发，这两个值越大说明准确性越高，召回率和精度相互制约，F值可以综合衡量两者间的关系。
本发明中，最终可以以正确率Accuracy来评价待验证的威胁情报的准确度，Accuracy=(TP+FN)/(TP+FP+FN+TN)。
步骤3：基于分析结果，建立网络威胁行为活动和社区。
所述步骤3中，对自有数据来源和第三方数据源的数据进行关联分析，建立网络威胁行为活动和社区。
若在自有数据来源中检测到第三方数据源，则通过自由数据来源对应的模型对第三方数据源对应的模型进行修正。
本发明中，步骤3中，内部和外部的数据模型已经建立并对数据进行了预处理，将内部和外部数据进行关联，主要以内部可验证数据进行主要验证方式，进而生成网络威胁源分析闭环。
本发明中，还可以在威胁情报中建立情报联盟，分享使用的数据，该部分数据处理同外部源处理数据。
步骤4：间隔预设时间，返回步骤1动态调优。
本发明中，信誉度并非一成不变，需要长期进行分析比较，贴合到最优结果，故设置时间阈值，在实际操作中，亦可以基于实际数据的变化，不断对模型进行重新评估，获取不同情报源在不同威胁类型情报的信誉度情况。
本发明通过获取威胁情报IOC，进行分析并基于分析结果建立网络威胁行为活动和社区，对威胁情报进行信誉度分析，并间隔预设时间对建立的模型进行动态调优。
本发明中，主要以自有设备的流量数据与日志数据与第三方共享数据以及各项目中数据通过大数据挖掘技术、关联分析、机器学习、深度学习、威胁情报建模技术、区块链技术、样本文件深度分析等技术手段深度挖掘得到的攻击者以及数据源特征，建立威胁情报IOC信誉度评分模型，可满足各个数据源数据使用，满足对现有威胁情报源共享系统中对数据源信誉度验证，解决现有目前市场中存在大量威胁情报源数据不准确、威胁情报缺乏失效机制，使得无论是收集滴三方开源数据源，还是对自有设备中流量分析都能进行信誉度评价，体系可以随时间动态调整模型结构，确保数据失效机制。

Claims (10)

1.一种威胁情报IOC信誉度分析方法，其特征在于：所述方法包括以下步骤：
步骤1：获取威胁情报IOC；
步骤2：对威胁情报进行分析；
步骤3：基于分析结果，建立网络威胁行为活动和社区；
步骤4：间隔预设时间，返回步骤1动态调优。
2.根据权利要求1所述的一种威胁情报IOC信誉度分析方法，其特征在于：所述步骤1中，获取威胁情报IOC后，对来源进行整理；所述威胁情报IOC的来源包括自有数据来源和第三方数据源。
3.根据权利要求2所述的一种威胁情报IOC信誉度分析方法，其特征在于：所述自有数据来源包括安全厂商自有设备及设备中的日志。
4.根据权利要求2所述的一种威胁情报IOC信誉度分析方法，其特征在于：所述第三方数据源包括开源数据、其他厂商设备及设备中的数据，数据包括Event、URL、DNS、IP、Hash、来源名称、来源中数据标签详细描述文档、来源中是否存在定义不同的标识。
5.根据权利要求1所述的一种威胁情报IOC信誉度分析方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1：对数据源威胁情报进行预处理；
步骤2.2：对情报准确度进行匹配分析；
步骤2.3：得到信誉度分析值；
步骤2.4：建立不同情报源在不同威胁类型情报的信誉度模型。
6.根据权利要求5所述的一种威胁情报IOC信誉度分析方法，其特征在于：所述步骤2.1中，将威胁情报分类处理，得到不同情报源下不同威胁类型的情报；所述类型包括C&C、钓鱼地址、木马地址、恶意软件、文章引用、恶意主机、扫描主机、垃圾邮件、漏洞利用。
7.根据权利要求6所述的一种威胁情报IOC信誉度分析方法，其特征在于：所述步骤2.2中，基于分类结果，得到不同的威胁情报在不同数据类型中的准确率及覆盖度。
8.根据权利要求5所述的一种威胁情报IOC信誉度分析方法，其特征在于：所述信誉度分析值F=(2* Pre*R)/(Pre+R)，其中，Pre为可信的情报在总数中的占比，Pre=TP/(TP+FP)，R为召回率，R=TP/(TP+TN)，TP为情报预测为真且实际结果为真的值，TN为情报预测为真而实际结果为假的值，FP为情报预测为假且实际结果为真的值，FN为情报预测和实际结果均为假的值。
9.根据权利要求1所述的一种威胁情报IOC信誉度分析方法，其特征在于：所述步骤3中，对自有数据来源和第三方数据源的数据进行关联分析，建立网络威胁行为活动和社区。
10.根据权利要求9所述的一种威胁情报IOC信誉度分析方法，其特征在于：若在自有数据来源中检测到第三方数据源，则通过自由数据来源对应的模型对第三方数据源对应的模型进行修正。
CN201911375091.6A 2019-12-27 2019-12-27 一种威胁情报ioc信誉度分析方法 Active CN111212049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911375091.6A CN111212049B (zh) 2019-12-27 2019-12-27 一种威胁情报ioc信誉度分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911375091.6A CN111212049B (zh) 2019-12-27 2019-12-27 一种威胁情报ioc信誉度分析方法

Publications (2)

Publication Number Publication Date
CN111212049A true CN111212049A (zh) 2020-05-29
CN111212049B CN111212049B (zh) 2022-04-12

Family

ID=70788355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911375091.6A Active CN111212049B (zh) 2019-12-27 2019-12-27 一种威胁情报ioc信誉度分析方法

Country Status (1)

Country Link
CN (1) CN111212049B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800439A (zh) * 2020-09-08 2020-10-20 江苏苏宁银行股份有限公司 一种威胁情报在银行中的应用方法及其系统
CN112769821A (zh) * 2021-01-07 2021-05-07 中国电子科技集团公司第十五研究所 一种基于威胁情报和att＆ck的威胁响应方法及装置
CN112769803A (zh) * 2020-12-31 2021-05-07 北京天融信网络安全技术有限公司 网络威胁的检测方法、装置和电子设备
CN113139025A (zh) * 2021-05-14 2021-07-20 恒安嘉新（北京）科技股份公司 一种威胁情报的评价方法、装置、设备及存储介质
CN113691552A (zh) * 2021-08-31 2021-11-23 上海观安信息技术股份有限公司 威胁情报有效性评估方法、装置、系统及计算机存储介质
CN113961969A (zh) * 2021-12-22 2022-01-21 北京金睛云华科技有限公司 一种安全威胁协同建模方法及系统
CN114490626A (zh) * 2022-04-18 2022-05-13 成都数融科技有限公司 一种基于并行计算的金融情报分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209856A (zh) * 2016-07-14 2016-12-07 何钟柱 基于可信计算的大数据安全态势地图生成方法
CN108460278A (zh) * 2018-02-13 2018-08-28 北京奇安信科技有限公司 一种威胁情报处理方法及装置
CN108600212A (zh) * 2018-04-19 2018-09-28 北京邮电大学 基于多维度可信特征的威胁情报可信性判别方法及装置
US20180375831A1 (en) * 2017-06-27 2018-12-27 Microsoft Technology Licensing, Llc Firewall configuration manager
CN109688091A (zh) * 2018-04-25 2019-04-26 北京微步在线科技有限公司 多源的威胁情报的质量评估方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209856A (zh) * 2016-07-14 2016-12-07 何钟柱 基于可信计算的大数据安全态势地图生成方法
US20180375831A1 (en) * 2017-06-27 2018-12-27 Microsoft Technology Licensing, Llc Firewall configuration manager
CN108460278A (zh) * 2018-02-13 2018-08-28 北京奇安信科技有限公司 一种威胁情报处理方法及装置
CN108600212A (zh) * 2018-04-19 2018-09-28 北京邮电大学 基于多维度可信特征的威胁情报可信性判别方法及装置
CN109688091A (zh) * 2018-04-25 2019-04-26 北京微步在线科技有限公司 多源的威胁情报的质量评估方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800439A (zh) * 2020-09-08 2020-10-20 江苏苏宁银行股份有限公司 一种威胁情报在银行中的应用方法及其系统
CN112769803A (zh) * 2020-12-31 2021-05-07 北京天融信网络安全技术有限公司 网络威胁的检测方法、装置和电子设备
CN112769821A (zh) * 2021-01-07 2021-05-07 中国电子科技集团公司第十五研究所 一种基于威胁情报和att＆ck的威胁响应方法及装置
CN112769821B (zh) * 2021-01-07 2022-07-22 中国电子科技集团公司第十五研究所 一种基于威胁情报和att＆ck的威胁响应方法及装置
CN113139025A (zh) * 2021-05-14 2021-07-20 恒安嘉新（北京）科技股份公司 一种威胁情报的评价方法、装置、设备及存储介质
CN113139025B (zh) * 2021-05-14 2024-06-07 恒安嘉新（北京）科技股份公司 一种威胁情报的评价方法、装置、设备及存储介质
CN113691552A (zh) * 2021-08-31 2021-11-23 上海观安信息技术股份有限公司 威胁情报有效性评估方法、装置、系统及计算机存储介质
CN113961969A (zh) * 2021-12-22 2022-01-21 北京金睛云华科技有限公司 一种安全威胁协同建模方法及系统
CN114490626A (zh) * 2022-04-18 2022-05-13 成都数融科技有限公司 一种基于并行计算的金融情报分析方法及系统
CN114490626B (zh) * 2022-04-18 2022-08-16 成都数融科技有限公司 一种基于并行计算的金融情报分析方法及系统

Also Published As

Publication number Publication date
CN111212049B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111212049B (zh) 一种威胁情报ioc信誉度分析方法
US11785037B2 (en) Cybersecurity risk assessment on an industry basis
US11323469B2 (en) Entity group behavior profiling
US11005779B2 (en) Method of and server for detecting associated web resources
Meidan et al. N-baiot—network-based detection of iot botnet attacks using deep autoencoders
CN110431817B (zh) 识别恶意网络设备
US9609010B2 (en) System and method for detecting insider threats
US10469514B2 (en) Collaborative and adaptive threat intelligence for computer security
US8813228B2 (en) Collective threat intelligence gathering system
US9021583B2 (en) System and method for network security including detection of man-in-the-browser attacks
Ranganayakulu et al. Detecting malicious urls in e-mail–an implementation
WO2010126733A1 (en) Systems and methods for sensitive data remediation
David et al. Zero day attack prediction with parameter setting using bi direction recurrent neural network in cyber security
US11968184B2 (en) Digital identity network alerts
US20230403296A1 (en) Analyses and aggregation of domain behavior for email threat detection by a cyber security system
Zhu et al. An effective neural network phishing detection model based on optimal feature selection
Khade et al. Detection of phishing websites using data mining techniques
CN104335236A (zh) 用于检测敏感数据通过网络的未授权批量转发的方法和装置
Alserhani et al. Detection of coordinated attacks using alert correlation model
Toorn et al. Looking beyond the horizon: Thoughts on proactive detection of threats
US20230239311A1 (en) Network security systems for attributing network events to users
Garringer The Role of Protocol Analysis in Cybersecurity: Closing the Gap on Undetected Data Breaches
Barnett Reputation: The foundation of effective threat protection
Hilts et al. Half Baked: The opportunity to secure cookie-based identifiers from passive surveillance
Ahamad et al. Guarding the next Internet frontier: countering denial of information attacks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant