CN110351266A - 基于神经网络的识别网络黑产ip的方法 - Google Patents

基于神经网络的识别网络黑产ip的方法 Download PDF

Info

Publication number
CN110351266A
CN110351266A CN201910595001.8A CN201910595001A CN110351266A CN 110351266 A CN110351266 A CN 110351266A CN 201910595001 A CN201910595001 A CN 201910595001A CN 110351266 A CN110351266 A CN 110351266A
Authority
CN
China
Prior art keywords
neural network
black
attack
scanning
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910595001.8A
Other languages
English (en)
Inventor
唐其彪
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201910595001.8A priority Critical patent/CN110351266A/zh
Publication of CN110351266A publication Critical patent/CN110351266A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及基于神经网络的识别网络黑产IP的方法，收集时间T内的扫描IP，获取关联数据，进行分类并提取特征，利用神经网络算法对特征进行训练并进行算法调整，直至得到稳定的神经网络；获取M时间内的扫描IP及关联数据后同样进行分类并提取特征，将特征输入稳定的神经网络进行识别，当识别结果为网络黑产IP时，将对应的攻击信息发送至分析平台。本发明提取扫描行为的特征，使用神经网络的算法，能够快速、高效、准确识别扫描IP是否为网络黑产IP，避免其给用户带来不必要的损失，可以将数据传送到分析平台，提供给高级威胁情报分析高级威胁IP使用，还能有效溯源黑产IP并进行处理，具有精确率高、误报率低、成本低的特点。

Description

基于神经网络的识别网络黑产IP的方法
技术领域
本发明涉及数字信息的传输，例如电报通信的技术领域，特别涉及一种基于神经网络的识别网络黑产IP的方法。
背景技术
随着互联网技术的发展，Web应用系统已经广泛应用于政府门户网站、电子商务、互联网等行业，方便生活和工作的同时也带来网络安全隐患。这其中，黑客利用扫描行为发现用户服务器的漏洞进行攻击，对用户网站威胁性极大。一般来说，正常的扫描行为主要是上级单位对下级单位的扫描或者安全服务厂商对用户的扫描，属于一种安全防护检测行为，而黑产扫描则是针对用户服务器进行大量恶意扫描以获取相关的服务器信息，为下一步攻击行为做准备，这种扫描行为不但能够找到服务器漏洞进行攻击，且扫描产生的大量数据报文占用大量的网络带宽，导致正常的网络通讯无法进行。
对网络黑产IP的发现、跟踪一直是业界难题，网络黑产IP的高级持续性威胁对用户网站威胁大，防护困难，业界一般采用事后分析恶意IP的攻击行为及访问时间轴来判断其是否属于网络黑产IP行为，但事后发现网络黑产IP往往存在时间延迟大、性能低、漏报率高的问题。
申请号为201710806188.2的中国专利“一种挖掘恶意IP的方法及装置”根据与第一采样日志集合中的IP相关的第一采样登录数据，确定预设数目个初级检测模型，根据预设数目个初级检测模型，分别对第二采样日志集合中与IP相关的第二采样登录数据进行检测，选取准确率最高的初级检测模型作为高级检测模型，采用高级检测模型，对与待检测日志集合中的IP相关的检测登录数据进行检测，根据检测结果挖掘出恶意IP。专利号为200410057124.X的中国专利“一种检测进行恶意IP扫描的用户的方法”对所接收报文的源IP地址进行统计；寻找所述统计值中出现次数最多的源IP地址；判断所述出现次数最多的源IP地址是否为进行恶意IP扫描的用户的IP地址；以及对确定为进行恶意IP扫描的用户的IP地址进行控制。这两种方法主要通过统计学方法或者根据检测模式优先级发现恶意IP，存在效率低、误报率高、漏报率高的缺点。
发明内容
本发明解决了现有技术中，主要通过统计学方法或者根据检测模式优先级发现恶意IP，导致的对于识别网络黑产IP存在效率低、误报率高、漏报率高的缺点的问题，提供了一种优化的基于神经网络的识别网络黑产IP的方法。
本发明所采用的技术方案是，一种基于神经网络的识别网络黑产IP的方法，所述方法包括以下步骤：
步骤1：收集时间T内的扫描IP，获取所有扫描IP的关联数据；
步骤2：对所有扫描IP进行分类，基于关联数据提取特征；
步骤3：利用神经网络算法对提取的特征进行训练，基于验证结果对隐藏层进行参数调整，直至得到稳定的神经网络；
步骤4：获取更新的M时间内的扫描IP及关联数据，对所有扫描IP进行步骤2所述的分类并提取特征；
步骤5：将步骤4提取的特征输入稳定的神经网络进行识别；
步骤6：当识别结果为网络黑产IP时，将对应的攻击信息发送至分析平台，返回步骤4，否则直接返回步骤4。
优选地，所述步骤1中，关联数据包括访问数据和攻击数据。
优选地，所述步骤2中，扫描IP的分类包括黑产IP和正常扫描IP。
优选地，所述步骤2中，特征包括扫描IP的攻击和访问的占比、攻击域名总数、每个域名受到攻击的平均数、扫描IP的POST方法占全部攻击次数的占比、扫描IP的HEAD方法占全部攻击次数的占比、用户代理在本地全部恶意UA集合的占比、按照防护规则排序在攻击总数的占比及扫描IP触发防护规则占比。
优选地，所述步骤3中，神经网络算法采用BP神经网络。
优选地，所述神经网络算法通过十折交叉方法进行验证。
优选地，所述步骤6中，当识别结果为1时，认为当前扫描IP为网络黑产IP，否则为非网络黑产IP。
优选地，所述攻击信息包括网络黑产IP的攻击次数、访问次数、攻击域名个数及请求源站方法。
优选地，所述步骤6中，分析识别到的网络黑产IP在给定时间段中的访问源站行为、攻击行为和攻击特征，进行追溯。
优选地，所述步骤6中，每3个月根据最新的攻击数据和正常数据返回步骤1，以新的数据进行训练并生成新的稳定的神经网络。
本发明提供了一种优化的基于神经网络的识别网络黑产IP的方法，通过收集时间T内的扫描IP，获取所有扫描IP的关联数据，进行分类并提取特征，利用神经网络算法对提取的特征进行训练，基于验证结果进行算法调整，直至得到稳定的神经网络；获取M时间内的扫描IP及关联数据后同样进行分类并提取特征，将特征输入稳定的神经网络进行识别，当识别结果为网络黑产IP时，将对应的攻击信息发送至分析平台。
本发明提取扫描行为的特征，使用神经网络的算法，能够快速、高效、准确识别扫描IP是否为网络黑产IP，避免其给用户带来不必要的损失，并可以将数据传送到分析平台，提供给高级威胁情报分析高级威胁IP使用，还能有效溯源黑产IP并进行处理，具有精确率高、误报率低、成本低的特点。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种基于神经网络的识别网络黑产IP的方法，通过获取相关特征，使用深度学习中神经网络算法预测扫描IP是否为网络黑产IP，整体包括数据收集、数据预处理、神经网络算法模板训练、数据预测。
所述方法包括以下步骤。
步骤1：收集时间T内的扫描IP，获取所有扫描IP的关联数据。
所述步骤1中，关联数据包括访问数据和攻击数据。
本发明中，扫描IP可以通过Elasticsearch数据平台进行收集，时间T一般可以为15天。
步骤2：对所有扫描IP进行分类，基于关联数据提取特征。
所述步骤2中，扫描IP的分类包括黑产IP和正常扫描IP。
所述步骤2中，特征包括扫描IP的攻击和访问的占比、攻击域名总数、每个域名受到攻击的平均数、扫描IP的POST方法占全部攻击次数的占比、扫描IP的HEAD方法占全部攻击次数的占比、用户代理在本地全部恶意UA集合的占比、按照防护规则排序在攻击总数的占比及扫描IP触发防护规则占比。
本发明中，正常扫描IP为如上下级单位的扫描行为的扫描IP。
本发明中，一般来说，特征可以被输入维度为637维、采用3个隐藏层、激活函数为relu函数、输出层的分类函数为softmax的算法模板中，并基于验证结果进行算法隐藏层参数调整。
步骤3：利用神经网络算法对提取的特征进行训练，基于验证结果对隐藏层进行参数调整，直至得到稳定的神经网络。
所述步骤3中，神经网络算法采用BP神经网络。
所述神经网络算法通过十折交叉方法进行验证。
本发明中，采用深度学习中的神经网络算法进行模板训练。神经网络由三部分组成：输入层，隐藏层，输出层。每一层均由单元(units)组成，输入层是由训练集中的示例特征向量传入，根据连接点的之间权重传递到下一层，输入层和输出层都只有一层，隐藏层的个数是任意。
本发明中，具体来说，采用BP神经网络来进行训练，BPNN作为多层神经网络训练的核心算法，根据损失函数来调整输出结点中的输入权向量，其目的是更新每个连接点的权重，从而减少预测值与真实值之间的差距，输入一条训练数据就会更新一次权重，并反方向（从输出层->隐藏层->输入层）来以最小化误差更新权重；在训练神经网络之前，需要初始化权重和偏向，初始化的权重为-1至1之间的随机值，每个单元存在一个偏向。
本发明中，标记网络黑产IP的特征向量为1，非网络黑产IP的特征向量为0，以神经网络算法进行训练，并通过十折交叉方法进行验证。
本发明中，稳定的神经网络是指模型的验证结果精确率达到99%，模型的召回率，即查全率达到98%。
步骤4：获取更新的M时间内的扫描IP及关联数据，对所有扫描IP进行步骤2所述的分类并提取特征。
本发明中，M可以依据本领域技术人员的需求自行设置。
步骤5：将步骤4提取的特征输入稳定的神经网络进行识别。
步骤6：当识别结果为网络黑产IP时，将对应的攻击信息发送至分析平台，返回步骤4，否则直接返回步骤4。
所述步骤6中，当识别结果为1时，认为当前扫描IP为网络黑产IP，否则为非网络黑产IP。
所述攻击信息包括网络黑产IP的攻击次数、访问次数、攻击域名个数及请求源站方法。
所述步骤6中，分析识别到的网络黑产IP在给定时间段中的访问源站行为、攻击行为和攻击特征，进行追溯。
所述步骤6中，每3个月根据最新的攻击数据和正常数据返回步骤1，以新的数据进行训练并生成新的稳定的神经网络。
本发明中，通过获取Elasticsearch数据平台扫描IP库近半个月的扫描IP，提取步骤2所述的特征后，使用深度学习模板进行识别。
本发明中，将识别为网络黑产IP的攻击信息通过Json格式发送到Elasticsearch数据平台进行分析。
本发明中，根据识别的网络黑产IP可以分析其过去一段时间的访问源站行为、攻击行为、攻击特征等，从而为威胁情报再赋能，达到循环提升威胁情报功能的目的。
本发明中，请求源站方法包括但不限于GET、HEAD、POST。
本发明中，为了保证算法模板的有效性，需要限定时间进行算法更新，一般来说为3个月，当然，本领域技术人员可以依据需求自行调整设置更新间隔。
本发明通过收集时间T内的扫描IP，获取所有扫描IP的关联数据，进行分类并提取特征，利用神经网络算法对提取的特征进行训练，基于验证结果进行算法调整，直至得到稳定的神经网络；获取M时间内的扫描IP及关联数据后同样进行分类并提取特征，将特征输入稳定的神经网络进行识别，当识别结果为网络黑产IP时，将对应的攻击信息发送至分析平台。
本发明提取扫描行为的特征，使用神经网络的算法，能够快速、高效、准确识别扫描IP是否为网络黑产IP，避免其给用户带来不必要的损失，并可以将数据传送到分析平台，提供给高级威胁情报分析高级威胁IP使用，还能有效溯源黑产IP并进行处理，具有精确率高、误报率低、成本低的特点。

Claims (10)

1.一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述方法包括以下步骤：
步骤1：收集时间T内的扫描IP，获取所有扫描IP的关联数据；
步骤2：对所有扫描IP进行分类，基于关联数据提取特征；
步骤3：利用神经网络算法对提取的特征进行训练，基于验证结果对隐藏层进行参数调整，直至得到稳定的神经网络；
步骤4：获取更新的M时间内的扫描IP及关联数据，对所有扫描IP进行步骤2所述的分类并提取特征；
步骤5：将步骤4提取的特征输入稳定的神经网络进行识别；
步骤6：当识别结果为网络黑产IP时，将对应的攻击信息发送至分析平台，返回步骤4，否则直接返回步骤4。
2.根据权利要求1所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述步骤1中，关联数据包括访问数据和攻击数据。
3.根据权利要求1所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述步骤2中，扫描IP的分类包括黑产IP和正常扫描IP。
4.根据权利要求1所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述步骤2中，特征包括扫描IP的攻击和访问的占比、攻击域名总数、每个域名受到攻击的平均数、扫描IP的POST方法占全部攻击次数的占比、扫描IP的HEAD方法占全部攻击次数的占比、用户代理在本地全部恶意UA集合的占比、按照防护规则排序在攻击总数的占比及扫描IP触发防护规则占比。
5.根据权利要求1所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述步骤3中，神经网络算法采用BP神经网络。
6.根据权利要求5所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述神经网络算法通过十折交叉方法进行验证。
7.根据权利要求1所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述步骤6中，当识别结果为1时，认为当前扫描IP为网络黑产IP，否则为非网络黑产IP。
8.根据权利要求1所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述攻击信息包括网络黑产IP的攻击次数、访问次数、攻击域名个数及请求源站方法。
9.根据权利要求1所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述步骤6中，分析识别到的网络黑产IP在给定时间段中的访问源站行为、攻击行为和攻击特征，进行追溯。
10.根据权利要求1所述的一种基于神经网络的识别网络黑产IP的方法，其特征在于：所述步骤6中，每3个月根据最新的攻击数据和正常数据返回步骤1，以新的数据进行训练并生成新的稳定的神经网络。
CN201910595001.8A 2019-07-03 2019-07-03 基于神经网络的识别网络黑产ip的方法 Pending CN110351266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910595001.8A CN110351266A (zh) 2019-07-03 2019-07-03 基于神经网络的识别网络黑产ip的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910595001.8A CN110351266A (zh) 2019-07-03 2019-07-03 基于神经网络的识别网络黑产ip的方法

Publications (1)

Publication Number Publication Date
CN110351266A true CN110351266A (zh) 2019-10-18

Family

ID=68177774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910595001.8A Pending CN110351266A (zh) 2019-07-03 2019-07-03 基于神经网络的识别网络黑产ip的方法

Country Status (1)

Country Link
CN (1) CN110351266A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669370A (zh) * 2020-05-15 2020-09-15 深圳供电局有限公司 一种基于数据分析的网络攻击溯源方法及系统
CN112954685A (zh) * 2021-01-29 2021-06-11 上海安恒时代信息技术有限公司 黑灰产手机号码识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483458A (zh) * 2017-08-29 2017-12-15 杭州迪普科技股份有限公司 网络攻击的识别方法及装置、计算机可读存储介质
CN108377275A (zh) * 2018-02-11 2018-08-07 厦门卓讯信息技术有限公司 基于神经网络算法的网络安全防护方法
US20180262521A1 (en) * 2017-03-13 2018-09-13 Molbase (Shanghai) Biotechnology Co., Ltd Method for web application layer attack detection and defense based on behavior characteristic matching and analysis
CN109257369A (zh) * 2018-10-22 2019-01-22 杭州安恒信息技术股份有限公司 一种基于机器学习的扫描ip分类方法及装置
CN109525595A (zh) * 2018-12-25 2019-03-26 广州华多网络科技有限公司 一种基于时间流特征的黑产账号识别方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180262521A1 (en) * 2017-03-13 2018-09-13 Molbase (Shanghai) Biotechnology Co., Ltd Method for web application layer attack detection and defense based on behavior characteristic matching and analysis
CN107483458A (zh) * 2017-08-29 2017-12-15 杭州迪普科技股份有限公司 网络攻击的识别方法及装置、计算机可读存储介质
CN108377275A (zh) * 2018-02-11 2018-08-07 厦门卓讯信息技术有限公司 基于神经网络算法的网络安全防护方法
CN109257369A (zh) * 2018-10-22 2019-01-22 杭州安恒信息技术股份有限公司 一种基于机器学习的扫描ip分类方法及装置
CN109525595A (zh) * 2018-12-25 2019-03-26 广州华多网络科技有限公司 一种基于时间流特征的黑产账号识别方法及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669370A (zh) * 2020-05-15 2020-09-15 深圳供电局有限公司 一种基于数据分析的网络攻击溯源方法及系统
CN112954685A (zh) * 2021-01-29 2021-06-11 上海安恒时代信息技术有限公司 黑灰产手机号码识别方法及系统
CN112954685B (zh) * 2021-01-29 2022-11-18 上海安恒时代信息技术有限公司 黑灰产手机号码识别方法及系统

Similar Documents

Publication Publication Date Title
CN111818052B (zh) 基于cnn-lstm的工控协议同源攻击检测方法
CN108449342B (zh) 恶意请求检测方法及装置
CN108494746B (zh) 一种网络端口流量异常检测方法及系统
Cordero et al. Analyzing flow-based anomaly intrusion detection using replicator neural networks
CN113556354A (zh) 一种基于流量分析的工业互联网安全威胁检测方法与系统
CN112738015A (zh) 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法
CN105930727A (zh) 基于Web的爬虫识别算法
Le et al. Traffic dispersion graph based anomaly detection
CN103368979A (zh) 一种基于改进K-means算法的网络安全性验证装置
CN110213124A (zh) 基于tcp多会话的被动操作系统识别方法及装置
CN108282460B (zh) 一种面向网络安全事件的证据链生成方法及装置
CN105939340A (zh) 一种发现隐藏的蠕虫病毒的方法及系统
Fontugne et al. An empirical mixture model for large-scale RTT measurements
CN110351266A (zh) 基于神经网络的识别网络黑产ip的方法
Zhao Network intrusion detection system model based on data mining
Yao et al. Multi-source alert data understanding for security semantic discovery based on rough set theory
CN112003869A (zh) 一种基于流量的漏洞识别方法
Ma et al. DDoS detection for 6G Internet of Things: Spatial-temporal trust model and new architecture
Wang et al. Botnet detection using social graph analysis
CN111147490A (zh) 一种定向钓鱼攻击事件发现方法及装置
Xia et al. Enhancing DDoS flood attack detection via intelligent fuzzy logic
CN110650157B (zh) 基于集成学习的Fast-flux域名检测方法
Lu et al. Botnets detection based on irc-community
Yang et al. Computer User Behavior Anomaly Detection Based on K-Means Algorithm
Zolotukhin et al. Detection of anomalous http requests based on advanced n-gram model and clustering techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018

RJ01 Rejection of invention patent application after publication