CN112202818B - 一种融合威胁情报的网络流量入侵检测方法及系统 - Google Patents

一种融合威胁情报的网络流量入侵检测方法及系统 Download PDF

Info

Publication number
CN112202818B
CN112202818B CN202011379756.3A CN202011379756A CN112202818B CN 112202818 B CN112202818 B CN 112202818B CN 202011379756 A CN202011379756 A CN 202011379756A CN 112202818 B CN112202818 B CN 112202818B
Authority
CN
China
Prior art keywords
data
threat
threat intelligence
steps
open source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011379756.3A
Other languages
English (en)
Other versions
CN112202818A (zh
Inventor
张海文
马奥
苗功勋
郭鹏
姜南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhongfu Information Technology Co Ltd
Original Assignee
Nanjing Zhongfu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhongfu Information Technology Co Ltd filed Critical Nanjing Zhongfu Information Technology Co Ltd
Priority to CN202011379756.3A priority Critical patent/CN112202818B/zh
Publication of CN112202818A publication Critical patent/CN112202818A/zh
Application granted granted Critical
Publication of CN112202818B publication Critical patent/CN112202818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种融合威胁情报的网络流量入侵检测方法及系统，该方法包括以下步骤：S1、通过预设方法不断扩展、更新威胁情报库；S2、根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类；S3、使用预先配置的布隆过滤器对分类后的威胁情报进行过滤，并用结构化查询语言查询命中的数据。本发明的有益效果为：通过在恶意流量检测中加入威胁情报模块可以使得防御者联合起来，在一定程度上缓解攻防不对等的现状。另外，在原有入侵检测系统中加入根据情报库筛选、展示攻击链环节及打分的功能，增加了数据展示的维度和可信度，从而可以过滤掉很多误报数据。

Description

一种融合威胁情报的网络流量入侵检测方法及系统
技术领域
本发明涉及数据检测技术领域，具体来说，涉及一种融合威胁情报的网络流量入侵检测方法及系统。
背景技术
互联网时代的到来，给人们的生活带来了种种便利，但也给隐私、信息资产带来了一些威胁。为保护好人们的隐私和信息资产，我们必须及时发现这些威胁流量，并给出告警。在传统基于规则的威胁检测方案效果平庸的情况下，对现有方案进行优化尤为重要。
目前恶意流量检测方案分为两类，一类是基于正则规则进行特征匹配的，一类是基于算法进行模式匹配。从人工发现威胁到形成规则和算法时间跨度较大，更新完成后大概率也只会支持某一类的恶意流量监测，很容易被攻击者花式绕过，从而出现攻防不对等的现象。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种融合威胁情报的网络流量入侵检测方法及系统，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
根据本发明的一个方面，提供了一种融合威胁情报的网络流量入侵检测方法，该方法包括以下步骤：
S1、通过预设方法不断扩展、更新威胁情报库；
S2、根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类；
S3、使用预先配置的布隆过滤器对分类后的威胁情报进行过滤，并用结构化查询语言查询命中的数据。
进一步的，所述预设方法包括爬取开源威胁情报数据、挖掘生产数据及交换情报数据。
进一步的，所述爬取开源威胁情报数据还包括以下步骤：
通过预先配置的浏览器爬虫和开源TI的软件开发工具包获取面向开源及私有软件项目的托管平台更新的黑名单，并从互联网中爬取到威胁情报数据。
进一步的，所述挖掘生产数据还包括以下步骤：
对内生数据进行人工研判，并整理成入侵事件；
将近期的安全资讯整理成攻击链加入数据库中。
进一步的，所述根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类还包括以下步骤：
S21、读取检测文件；
S22、解析文件；
S23、分析关联威胁情报库；
S24、分析结构数据入库。
进一步的，所述根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类之前还包括以下步骤：
对获取的威胁情报原始数据进行清洗操作。
进一步的，所述清洗操作还包括以下步骤：
洗去乱码数据以及翻译外语数据；
根据收集到的DNS服务器以及知名网站资产组成的白名单进行过滤。
根据本发明的另一个方面，还提供了一种融合威胁情报的网络流量入侵检测系统，该系统包括：
威胁情报采集模块，用于通过预设方法不断扩展、更新威胁情报库；
数据分类入库模块，用于根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类；
数据碰撞模块，用于使用预先配置的布隆过滤器对分类后的威胁情报进行过滤，并用结构化查询语言查询命中的数据。
进一步的，所述预设方法包括爬取开源威胁情报数据、挖掘生产数据及交换情报数据。
进一步的，所述根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类还包括以下步骤：
S21、读取检测文件；
S22、解析文件；
S23、分析关联威胁情报库；
S24、分析结构数据入库。
本发明的有益效果为：通过在恶意流量检测中加入威胁情报模块可以使得防御者联合起来，在一定程度上缓解攻防不对等的现状。另外，在原有入侵检测系统中加入根据情报库筛选、展示攻击链环节及打分的功能，增加了数据展示的维度和可信度，从而可以过滤掉很多误报数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种融合威胁情报的网络流量入侵检测方法的流程图；
图2是根据本发明实施例的一种融合威胁情报的网络流量入侵检测系统的原理框图。
图中：
1、威胁情报采集模块；2、数据分类入库模块；3、数据碰撞模块。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种融合威胁情报的网络流量入侵检测方法及系统。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的融合威胁情报的网络流量入侵检测方法，该方法包括以下步骤：
S1、通过预设方法不断扩展、更新威胁情报库；
S2、根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类；
S3、使用预先配置的布隆过滤器对分类后的威胁情报进行过滤，并用结构化查询语言查询命中的数据。
此外，具体的，由于威胁情报库的数据量大多在亿级单位，在内网Spark（计算引擎）项目中，这种的数据量对性能的影响会很大。此时需要使用BloomFilter（布隆过滤器）进行过滤，只用sql（Structured Query Language，结构化查询语言）查命中到的数据，在保证查询速度的情况下实现了减少了10GB的项目运行所需内存，程序启动、运行速度也提升巨大。
在一个实施例中，所述预设方法包括爬取开源威胁情报数据、挖掘生产数据及交换情报数据。
在一个实施例中，所述爬取开源威胁情报数据还包括以下步骤：
通过预先配置的浏览器爬虫和开源TI的软件开发工具包（SDK，SoftwareDevelopment Kit）获取面向开源及私有软件项目的托管平台（github）更新的黑名单，并从互联网中爬取到威胁情报数据。
具体的，所述爬取到的威胁情报数据，通过logstash（是一个应用程序日志、事件的传输、处理、管理和搜索的平台）从数据库同步给kafka（由Apache软件基金会开发的一个开源流处理平台），然后kafka将数据传输至Spark（计算引擎）平台进行分析。
此外，通过上述步骤，每天可以从互联网中爬取到数万条威胁情报数据。
在一个实施例中，所述挖掘生产数据还包括以下步骤：
分析人员每天会对部分比较有价值的内生数据进行人工研判，并整理成入侵事件；
将近期的安全资讯整理成攻击链加入数据库中。
在一个实施例中，所述根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类还包括以下步骤：
S21、读取检测文件；
S22、解析文件；
S23、分析关联威胁情报库；
S24、分析结构数据入库。
在一个实施例中，所述根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类之前还包括以下步骤：
对获取的威胁情报原始数据进行清洗操作。
具体的，获取到威胁情报原始数据后第一步就是清洗工作，开源的威胁情报普遍存在：包含脏数据、字段不全、甚至分类不明等问题。
洗完后开始分类，在这里根据每个开源威胁情报的来源，依据笔者的安全知识选择合适的聚类方法，最后形成合适的聚类表。依据聚类表编写算法即可完成网络威胁情报的分类工作。
在一个实施例中，所述清洗操作还包括以下步骤：
洗去乱码数据以及翻译外语数据；
根据收集到的DNS服务器以及知名网站资产组成的白名单进行过滤。
根据本发明的另一个实施例，如图2所示，还提供了一种融合威胁情报的网络流量入侵检测系统，该系统包括：
威胁情报采集模块1，用于通过预设方法不断扩展、更新威胁情报库；
数据分类入库模块2，用于根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类；
数据碰撞模块3，用于使用预先配置的布隆过滤器对分类后的威胁情报进行过滤，并用结构化查询语言查询命中的数据。
在一个实施例中，所述预设方法包括爬取开源威胁情报数据、挖掘生产数据及交换情报数据。
在一个实施例中，所述根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类还包括以下步骤：
S21、读取检测文件；
S22、解析文件；
S23、分析关联威胁情报库；
S24、分析结构数据入库。
综上所述，借助于本发明的上述技术方案，通过在恶意流量检测中加入威胁情报模块可以使得防御者联合起来，在一定程度上缓解攻防不对等的现状。另外，在原有入侵检测系统中加入根据情报库筛选、展示攻击链环节及打分的功能，增加了数据展示的维度和可信度，从而可以过滤掉很多误报数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种融合威胁情报的网络流量入侵检测方法，其特征在于，该方法包括以下步骤：
S1、通过预设方法不断扩展、更新威胁情报库；
S2、根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类；
S3、使用预先配置的布隆过滤器对分类后的威胁情报进行过滤，并用结构化查询语言查询命中的数据；
所述预设方法包括爬取开源威胁情报数据、挖掘生产数据及交换情报数据；
所述爬取开源威胁情报数据还包括以下步骤：
通过预先配置的浏览器爬虫和开源TI的软件开发工具包获取面向开源及私有软件项目的托管平台更新的黑名单，并从互联网中爬取到威胁情报数据；
所述挖掘生产数据还包括以下步骤：
对内生数据进行人工研判，并整理成入侵事件；
将近期的安全资讯整理成攻击链加入数据库中；
所述根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类还包括以下步骤：
S21、读取检测文件；
S22、解析文件；
S23、分析关联威胁情报库；
S24、分析结构数据入库；
所述根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类之前还包括以下步骤：
对获取的威胁情报原始数据进行清洗操作。
2.根据权利要求1所述的一种融合威胁情报的网络流量入侵检测方法，其特征在于，所述清洗操作还包括以下步骤：
洗去乱码数据以及翻译外语数据；
根据收集到的DNS服务器以及知名网站资产组成的白名单进行过滤。
3.一种融合威胁情报的网络流量入侵检测系统，以实现权利要求1-2中任一项融合威胁情报的网络流量入侵检测方法的步骤，其特征在于，该系统包括：
威胁情报采集模块，用于通过预设方法不断扩展、更新威胁情报库；
数据分类入库模块，用于根据开源威胁情报的来源，采用预先设计的聚类方法，形成聚类表，并依据聚类表的编写算法实现网络威胁情报的分类；
数据碰撞模块，用于使用预先配置的布隆过滤器对分类后的威胁情报进行过滤，并用结构化查询语言查询命中的数据。
CN202011379756.3A 2020-12-01 2020-12-01 一种融合威胁情报的网络流量入侵检测方法及系统 Active CN112202818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379756.3A CN112202818B (zh) 2020-12-01 2020-12-01 一种融合威胁情报的网络流量入侵检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379756.3A CN112202818B (zh) 2020-12-01 2020-12-01 一种融合威胁情报的网络流量入侵检测方法及系统

Publications (2)

Publication Number Publication Date
CN112202818A CN112202818A (zh) 2021-01-08
CN112202818B true CN112202818B (zh) 2021-03-09

Family

ID=74034365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379756.3A Active CN112202818B (zh) 2020-12-01 2020-12-01 一种融合威胁情报的网络流量入侵检测方法及系统

Country Status (1)

Country Link
CN (1) CN112202818B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113364780B (zh) * 2021-06-08 2022-11-04 国家计算机网络与信息安全管理中心 网络攻击受害者确定方法、设备、存储介质及装置
CN115514529B (zh) * 2022-08-22 2023-09-22 智网安云(武汉)信息技术有限公司 一种威胁情报数据处理方法、设备及存储设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719291A (zh) * 2019-10-16 2020-01-21 杭州安恒信息技术股份有限公司 一种基于威胁情报的网络威胁识别方法及识别系统
CN110730175A (zh) * 2019-10-16 2020-01-24 杭州安恒信息技术股份有限公司 一种基于威胁情报的僵尸网络检测方法及检测系统
CN110912889A (zh) * 2019-11-22 2020-03-24 上海交通大学 一种基于智能化威胁情报的网络攻击检测系统和方法
CN111581355A (zh) * 2020-05-13 2020-08-25 杭州安恒信息技术股份有限公司 威胁情报的主题检测方法、装置和计算机存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8763114B2 (en) * 2007-01-24 2014-06-24 Mcafee, Inc. Detecting image spam
CN107172022B (zh) * 2017-05-03 2021-01-01 成都国腾实业集团有限公司 基于入侵途径的apt威胁检测方法和系统
CN107872454B (zh) * 2017-11-04 2022-02-08 公安部第三研究所 超大型互联网平台威胁信息监测与分析系统及方法
CN108449366B (zh) * 2018-05-18 2019-01-22 广西电网有限责任公司 基于人工智能的关键信息基础设施安全威胁情报分析系统
CN109547479A (zh) * 2018-12-27 2019-03-29 国网浙江省电力有限公司电力科学研究院 一种工业环境中威胁情报整合系统和方法
CN110245158A (zh) * 2019-06-10 2019-09-17 上海理想信息产业（集团）有限公司 一种基于Flink流计算技术的多源异构数据实时处理系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719291A (zh) * 2019-10-16 2020-01-21 杭州安恒信息技术股份有限公司 一种基于威胁情报的网络威胁识别方法及识别系统
CN110730175A (zh) * 2019-10-16 2020-01-24 杭州安恒信息技术股份有限公司 一种基于威胁情报的僵尸网络检测方法及检测系统
CN110912889A (zh) * 2019-11-22 2020-03-24 上海交通大学 一种基于智能化威胁情报的网络攻击检测系统和方法
CN111581355A (zh) * 2020-05-13 2020-08-25 杭州安恒信息技术股份有限公司 威胁情报的主题检测方法、装置和计算机存储介质

Also Published As

Publication number Publication date
CN112202818A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112202818B (zh) 一种融合威胁情报的网络流量入侵检测方法及系统
CN103297435B (zh) 一种基于web日志的异常访问行为检测方法与系统
Kotenko et al. Systematic literature review of security event correlation methods
CN107517216B (zh) 一种网络安全事件关联方法
CN113486351A (zh) 一种民航空管网络安全检测预警平台
CN112165462A (zh) 基于画像的攻击预测方法、装置、电子设备及存储介质
CN117473571B (zh) 一种数据信息安全处理方法及系统
CN109756467B (zh) 一种钓鱼网站的识别方法及装置
CN113904881B (zh) 一种入侵检测规则误报处理方法和装置
Gonaygunta Machine learning algorithms for detection of cyber threats using logistic regression
US20230033117A1 (en) Systems and methods for analyzing cybersecurity events
CN114143015A (zh) 异常访问行为检测方法和电子设备
CN114124503A (zh) 一种逐级并发缓存优化效能的智能网络感知方法
CN109104421A (zh) 一种网站内容篡改检测方法、装置、设备及可读存储介质
Bhatia et al. Soft computing for anomaly detection and prediction to mitigate IoT-based real-time abuse
Srinivasan et al. Original Research Article Detection of Data imbalance in MANET network based on ADSY-AEAMBi-LSTM with DBO Feature selection
CN118138361A (zh) 一种基于可自主进化智能体的安全策略制定方法和系统
Kaur et al. P2ADF: a privacy-preserving attack detection framework in fog-IoT environment
Ding et al. A method for discovering hidden patterns of cybersecurity knowledge based on hierarchical clustering
CN108229175B (zh) 一种多维异构取证信息的关联分析系统及方法
CN103455754A (zh) 一种基于正则表达式的恶意搜索关键词识别方法
Hussain et al. An NIDS for Known and Zero-Day Anomalies
Da et al. A survey of webpage access prediction
CN114422193A (zh) 一种僵尸网络风险评估方法及装置
CN113572781A (zh) 网络安全威胁信息归集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant