CN113489622A - 一种提取网络设备指纹的方法、系统、设备及存储介质 - Google Patents
一种提取网络设备指纹的方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113489622A CN113489622A CN202110738313.7A CN202110738313A CN113489622A CN 113489622 A CN113489622 A CN 113489622A CN 202110738313 A CN202110738313 A CN 202110738313A CN 113489622 A CN113489622 A CN 113489622A
- Authority
- CN
- China
- Prior art keywords
- fingerprint
- same
- met
- fusion condition
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/065—Generation of reports related to network devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/30—Managing network names, e.g. use of aliases or nicknames
- H04L61/3015—Name registration, generation or assignment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种提取网络设备指纹的方法,通过对网络设备的地理位置、设备类型、操作系统等信息进行分组预处理,结合编解码、终端类型、知名端口及服务、开放端口特征、活跃账号的特征信息,进行相似性融合分析,高效识别不同IP对应的同一设备。本发明的有益效果为:结合多维度的信息提取,对虚拟设备进行有效身份标识,达到对虚拟网络中硬件设备的准确识别,可以对网络攻击等行为动作进行快速识别及反应。
Description
技术领域
本发明涉及大数据处理、网络通信协议应用领域,应用大数据分析于网络物理设备指纹的获取方法,尤其是一种用于提取非法网络攻击设备的网络设备指纹的方法。
背景技术
近年来,随着各类大中型企业信息化的建设的加强,所需要防范网络攻击风险的严峻性也是同步提升,如何正确识别网络攻击的发起源,是目前此类研究的重要方向。
由于攻击设备的IP和端口是在动态变化的,如何对网络上的虚拟IP身份识别,以及如何正确定位物理攻击设备的身份指纹,是需要从网络海量报文数据中进行分析提取的,故需要一种新的技术方案以解决上述问题。
发明内容
本发明所要解决的技术问题在于,如何对网络上的虚拟IP身份识别并正确定位物理攻击设备的身份指纹。
为解决上述技术问题,本发明提供一种提取网络设备指纹的有效方法,包括如下步骤:
步骤1:针对攻击本地服务器的报文进行提取分析,获取报文中的设备特征数据,特征数据包含:地理位置、设备类型、操作系统、编解码、终端类型、知名端口及服务、开放端口特征、活跃账号;
步骤2:聚合分组,即根据地理位置、设备类型、操作系统三个特征字段作为分组条件,对设备特征数据进行初步分组;
步骤3:初步分组中对多个虚拟IP对应的编解码信息进行指纹相似度计算,根据各个IP对应的编解码集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
步骤4:初步分组中对多个虚拟IP对应的终端类型信息进行指纹相似度计算,根据各个IP对应的终端类型集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
步骤5:初步分组中对多个虚拟IP对应的知名端口及服务信息进行指纹相似度计算,根据各个IP对应的知名端口及服务集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
步骤6:初步分组中对多个虚拟IP对应的开放端口特征信息进行指纹相似度计算,根据各个IP对应的开放端口特征集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
步骤7:初步分组中对多个虚拟IP对应的活跃账号信息进行指纹相似度计算,根据各个IP对应的活跃账号集合取交集,判断是否满足同一指纹融合条件,同时根据指纹生成规则,生成指纹唯一ID;
步骤8:针对步骤3至步骤7过程中任意不满足融合条件,则新建设备指纹分组,生成新的设备指纹ID;
步骤9:汇总所有设备指纹信息进行输出。
有益效果:与现有方案相比,本发明具有如下显著优点:(1)在预处理阶段进行多维特征分组,利用地理位置、设备类型、操作系统信息进行预过滤分组;(2)选取编解码,终端类型,知名端口及服务,开放端口特征,活跃账号多个设备特征进行相似性融合处理,有效筛选同一的物理设备指纹;(3)不依赖现有数据分析平台,适用于各类编程语言。
对应上述提取网络设备指纹的方法,本发明还提供一种提取网络设备指纹的系统的技术方案,包括:
第一模块,用以对攻击本地服务器的报文进行提取分析,获取报文中的设备特征数据,特征数据包含:地理位置、设备类型、操作系统、编解码、终端类型、知名端口及服务、开放端口特征、活跃账号;
第二模块,用以聚合分组,即根据地理位置、设备类型、操作系统三个特征字段作为分组条件,对设备特征数据进行初步分组;
第三模块,用以对初步分组中对多个虚拟IP对应的编解码信息进行指纹相似度计算,根据各个IP对应的编解码集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第四模块,用以对初步分组中对多个虚拟IP对应的终端类型信息进行指纹相似度计算,根据各个IP对应的终端类型集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第五模块,用以对初步分组中对多个虚拟IP对应的知名端口及服务信息进行指纹相似度计算,根据各个IP对应的知名端口及服务集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第六模块,用以对初步分组中对多个虚拟IP对应的开放端口特征信息进行指纹相似度计算,根据各个IP对应的开放端口特征集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第七模块,用以对初步分组中对多个虚拟IP对应的活跃账号信息进行指纹相似度计算,根据各个IP对应的活跃账号集合取交集,判断是否满足同一指纹融合条件,同时根据指纹生成规则,生成指纹唯一ID;
第八模块,用以当步骤3至步骤7过程中任意不满足融合条件时,新建设备指纹分组,生成新的设备指纹ID;
第九模块,用以汇总所有设备指纹信息进行输出。
附图说明
图1是本发明的一种提取网络设备指纹的有效方法的流程实现图。
图2是本发明的一种提取网络设备指纹的有效方法的分组内部相似性分析流程示意图。
具体实施方式
结合图1与图2所示,一种提取网络设备指纹的方法的实现,包括如下步骤:
步骤1:获取设备特征数据,提取地理位置、设备类型、操作系统信息,并进行分组处理;
步骤2:分组中对多个虚拟IP对应的编解码信息进行指纹相似度计算,根据各个IP对应的编解码集合取交集,判断是否满足同一指纹融合条件,确定是否融合。同一指纹,不同网关特征记录,相似度融合条件是编码集中相同数量需大于70%,相似度规则见备注a;
步骤3:分组中对多个虚拟IP对应的终端类型信息进行指纹相似度计算,根据各个IP对应的终端类型集合取交集,判断是否满足同一指纹融合条件,确定是否融合;同一指纹,不同网关特征记录,相似度融合条件是终端类型中相同数量需大于50%,相似度规则见备注a;
步骤4:分组中对多个虚拟IP对应的知名端口及服务信息进行指纹相似度计算,根据各个IP对应的知名端口及服务集合取交集,判断是否满足同一指纹融合条件,确定是否融合;同一指纹,不同网关特征记录,相似度融合条件是知名端口及服务中相同数量需大于80%,相似度规则见备注a;
步骤5:分组中对多个虚拟IP对应的开放端口特征信息进行指纹相似度计算,根据各个IP对应的开放端口特征集合取交集,判断是否满足同一指纹融合条件,确定是否融合;同一指纹,不同网关特征记录,相似度融合条件是开放端口特征中相同数量需大于80%,相似度规则见备注a;
步骤6:分组中对多个虚拟IP对应的活跃账号信息进行指纹相似度计算,根据各个IP对应的活跃账号集合取交集,判断是否满足同一指纹融合条件,同一指纹,不同网关特征记录,相似度融合条件是活跃账号中相同数量需大于50%,相似度规则见备注a;同时根据指纹生成规则,生成指纹唯一ID,指纹生成规则见备注b;
步骤7:针对步骤3至步骤7过程中任意不满足融合条件,则新建设备指纹分组,生成新的设备指纹ID;
步骤8:汇总所有设备指纹信息进行输出。
备注:
a相似度规则
1取两集合中前一百(根据具体特征数据是否排序)特征集合为list1、list2(不满100即取全部)
2遍历比较list1和list2中相同的特征集数量m
3相似度=m/min(len(list1),len(list2))
b指纹生成规则
网关指纹的生成为取前n(默认30)个账号生成字符串,再根据此字符串生成MD5值作为指纹ID。
本发明提供的上述方法,能够结合多维度的信息提取,对虚拟设备进行有效身份标识,达到对虚拟网络中硬件设备的准确识别,可以对网络攻击等行为动作进行快速识别及反应。
本发明还提出一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述提取网络设备指纹的方法的步骤。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述提取网络设备指纹的方法的步骤。
对应上述提取网络设备指纹的方法,本发明还提供一种提取网络设备指纹的系统的技术方案,包括:
第一模块,用以对攻击本地服务器的报文进行提取分析,获取报文中的设备特征数据,特征数据包含:地理位置、设备类型、操作系统、编解码、终端类型、知名端口及服务、开放端口特征、活跃账号;
第二模块,用以聚合分组,即根据地理位置、设备类型、操作系统三个特征字段作为分组条件,对设备特征数据进行初步分组;
第三模块,用以对初步分组中对多个虚拟IP对应的编解码信息进行指纹相似度计算,根据各个IP对应的编解码集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第四模块,用以对初步分组中对多个虚拟IP对应的终端类型信息进行指纹相似度计算,根据各个IP对应的终端类型集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第五模块,用以对初步分组中对多个虚拟IP对应的知名端口及服务信息进行指纹相似度计算,根据各个IP对应的知名端口及服务集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第六模块,用以对初步分组中对多个虚拟IP对应的开放端口特征信息进行指纹相似度计算,根据各个IP对应的开放端口特征集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第七模块,用以对初步分组中对多个虚拟IP对应的活跃账号信息进行指纹相似度计算,根据各个IP对应的活跃账号集合取交集,判断是否满足同一指纹融合条件,同时根据指纹生成规则,生成指纹唯一ID;
第八模块,用以当步骤3至步骤7过程中任意不满足融合条件时,新建设备指纹分组,生成新的设备指纹ID;
第九模块,用以汇总所有设备指纹信息进行输出。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所提及方法和系统的前提下进行的改进,这些改进也应视为本发明的保护范围。
Claims (11)
1.一种提取网络设备指纹的方法,其特征在于,包括以下步骤:
步骤1:针对攻击本地服务器的报文进行提取分析,获取报文中的设备特征数据,特征数据包含:地理位置、设备类型、操作系统、编解码、终端类型、知名端口及服务、开放端口特征、活跃账号;
步骤2:聚合分组,即根据地理位置、设备类型、操作系统三个特征字段作为分组条件,对设备特征数据进行初步分组;
步骤3:初步分组中对多个虚拟IP对应的编解码信息进行指纹相似度计算,根据各个IP对应的编解码集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
步骤4:初步分组中对多个虚拟IP对应的终端类型信息进行指纹相似度计算,根据各个IP对应的终端类型集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
步骤5:初步分组中对多个虚拟IP对应的知名端口及服务信息进行指纹相似度计算,根据各个IP对应的知名端口及服务集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
步骤6:初步分组中对多个虚拟IP对应的开放端口特征信息进行指纹相似度计算,根据各个IP对应的开放端口特征集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
步骤7:初步分组中对多个虚拟IP对应的活跃账号信息进行指纹相似度计算,根据各个IP对应的活跃账号集合取交集,判断是否满足同一指纹融合条件,同时根据指纹生成规则,生成指纹唯一ID;
步骤8:针对步骤3至步骤7过程中任意不满足融合条件,则新建设备指纹分组,生成新的设备指纹ID;
步骤9:汇总所有设备指纹信息进行输出。
2.根据权利要求1所述的提取网络设备指纹的方法,其特征在于,步骤3-5中所述的指纹相似度计算方法为:
1 取两集合中前一百特征集合分别为list1、list2,如一个集合中特征不满一百即取全部;
2 遍历比较list1和list2中相同的特征集数量m
3 相似度 = m/ min(len(list1),len(list2))。
3.根据权利要求1所述的一种提取网络设备指纹的方法,其特征在于,步骤7中的指纹生成方法为:网关指纹的生成为取前若干个账号生成字符串,再根据此字符串生成MD5值作为指纹ID。
4.根据权利要求1所述的提取网络设备指纹的方法,其特征在于,步骤3中,同一指纹,不同网关特征记录,相似度融合条件是编码集中相同数量需大于70%;步骤4中,同一指纹,不同网关特征记录,相似度融合条件是终端类型中相同数量需大于50%;步骤5中,同一指纹,不同网关特征记录,相似度融合条件是知名端口及服务中相同数量需大于80%;步骤6中,同一指纹,不同网关特征记录,相似度融合条件是开放端口特征中相同数量需大于80%。
5.一种提取网络设备指纹的系统,其特征在于,包括:
第一模块,用以对攻击本地服务器的报文进行提取分析,获取报文中的设备特征数据,特征数据包含:地理位置、设备类型、操作系统、编解码、终端类型、知名端口及服务、开放端口特征、活跃账号;
第二模块,用以聚合分组,即根据地理位置、设备类型、操作系统三个特征字段作为分组条件,对设备特征数据进行初步分组;
第三模块,用以对初步分组中对多个虚拟IP对应的编解码信息进行指纹相似度计算,根据各个IP对应的编解码集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第四模块,用以对初步分组中对多个虚拟IP对应的终端类型信息进行指纹相似度计算,根据各个IP对应的终端类型集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第五模块,用以对初步分组中对多个虚拟IP对应的知名端口及服务信息进行指纹相似度计算,根据各个IP对应的知名端口及服务集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第六模块,用以对初步分组中对多个虚拟IP对应的开放端口特征信息进行指纹相似度计算,根据各个IP对应的开放端口特征集合取交集,判断是否满足同一指纹融合条件,确定是否融合;
第七模块,用以对初步分组中对多个虚拟IP对应的活跃账号信息进行指纹相似度计算,根据各个IP对应的活跃账号集合取交集,判断是否满足同一指纹融合条件,同时根据指纹生成规则,生成指纹唯一ID;
第八模块,用以当步骤3至步骤7过程中任意不满足融合条件时,新建设备指纹分组,生成新的设备指纹ID;
第九模块,用以汇总所有设备指纹信息进行输出。
6.根据权利要求5所述的提取网络设备指纹的系统,其特征在于,第三模块至第五模块中所述的指纹相似度计算方法为:
1 取两集合中前一百特征集合分别为list1、list2,如一个集合中特征不满一百即取全部;
2 遍历比较list1和list2中相同的特征集数量m
3 相似度 = m/ min(len(list1),len(list2))。
7.根据权利要求1所述的一种提取网络设备指纹的有效方法,其特征在于,步骤7中的指纹生成方法为:网关指纹的生成为取前若干个账号生成字符串,再根据此字符串生成MD5值作为指纹ID。
8.根据权利要求5所述的一种提取网络设备指纹的系统,其特征在于,第七模块中的指纹生成方法为:网关指纹的生成为取前若干个账号生成字符串,再根据此字符串生成MD5值作为指纹ID。
9.根据权利要求5所述的提取网络设备指纹的系统,其特征在于,第三模块中,同一指纹,不同网关特征记录,相似度融合条件是编码集中相同数量需大于70%;第四模块,中同一指纹,不同网关特征记录,相似度融合条件是终端类型中相同数量需大于50%;第五模块中,同一指纹,不同网关特征记录,相似度融合条件是知名端口及服务中相同数量需大于80%;第六模块中,同一指纹,不同网关特征记录,相似度融合条件是开放端口特征中相同数量需大于80%。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110738313.7A CN113489622B (zh) | 2021-06-30 | 2021-06-30 | 一种提取网络设备指纹的方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110738313.7A CN113489622B (zh) | 2021-06-30 | 2021-06-30 | 一种提取网络设备指纹的方法、系统、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113489622A true CN113489622A (zh) | 2021-10-08 |
CN113489622B CN113489622B (zh) | 2022-05-13 |
Family
ID=77937164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110738313.7A Active CN113489622B (zh) | 2021-06-30 | 2021-06-30 | 一种提取网络设备指纹的方法、系统、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113489622B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103166917A (zh) * | 2011-12-12 | 2013-06-19 | 阿里巴巴集团控股有限公司 | 网络设备身份识别方法及系统 |
EP2779574A1 (en) * | 2013-03-15 | 2014-09-17 | Juniper Networks, Inc. | Attack detection and prevention using global device fingerprinting |
CN106302397A (zh) * | 2016-07-29 | 2017-01-04 | 北京北信源软件股份有限公司 | 一种基于设备指纹的设备识别系统 |
CN106534164A (zh) * | 2016-12-05 | 2017-03-22 | 公安部第三研究所 | 计算机中基于网络空间用户标识的有效虚拟身份刻画方法 |
CN110380989A (zh) * | 2019-07-26 | 2019-10-25 | 东南大学 | 网络流量指纹特征二阶段多分类的物联网设备识别方法 |
-
2021
- 2021-06-30 CN CN202110738313.7A patent/CN113489622B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103166917A (zh) * | 2011-12-12 | 2013-06-19 | 阿里巴巴集团控股有限公司 | 网络设备身份识别方法及系统 |
EP2779574A1 (en) * | 2013-03-15 | 2014-09-17 | Juniper Networks, Inc. | Attack detection and prevention using global device fingerprinting |
CN106302397A (zh) * | 2016-07-29 | 2017-01-04 | 北京北信源软件股份有限公司 | 一种基于设备指纹的设备识别系统 |
CN106534164A (zh) * | 2016-12-05 | 2017-03-22 | 公安部第三研究所 | 计算机中基于网络空间用户标识的有效虚拟身份刻画方法 |
CN110380989A (zh) * | 2019-07-26 | 2019-10-25 | 东南大学 | 网络流量指纹特征二阶段多分类的物联网设备识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113489622B (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816397B (zh) | 一种欺诈判别方法、装置及存储介质 | |
CN107665191B (zh) | 一种基于扩展前缀树的私有协议报文格式推断方法 | |
CN114143020A (zh) | 一种基于规则的网络安全事件关联分析方法和系统 | |
CN106126383A (zh) | 一种日志处理方法和装置 | |
CN113194058B (zh) | Web攻击检测方法、设备、网站应用层防火墙及介质 | |
CN112989348B (zh) | 攻击检测方法、模型训练方法、装置、服务器及存储介质 | |
CN112118249B (zh) | 基于日志和防火墙的安全防护方法及装置 | |
EP3905084A1 (en) | Method and device for detecting malware | |
CN104036187A (zh) | 计算机病毒类型确定方法及其系统 | |
CN116915450A (zh) | 基于多步网络攻击识别和场景重构的拓扑剪枝优化方法 | |
Umbarkar et al. | Analysis of heuristic based feature reduction method in intrusion detection system | |
CN114024761A (zh) | 网络威胁数据的检测方法、装置、存储介质及电子设备 | |
CN113489622B (zh) | 一种提取网络设备指纹的方法、系统、设备及存储介质 | |
CN115913655B (zh) | 一种基于流量分析和语义分析的Shell命令注入检测方法 | |
CN109190408B (zh) | 一种数据信息的安全处理方法及系统 | |
CN111444364A (zh) | 一种图像检测方法和装置 | |
CN115473734A (zh) | 基于单分类和联邦学习的远程代码执行攻击检测方法 | |
CN108052587A (zh) | 基于决策树的大数据分析方法 | |
CN115392238A (zh) | 一种设备识别方法、装置、设备及可读存储介质 | |
CN114510717A (zh) | 一种elf文件的检测方法、装置、存储介质 | |
CN114169540A (zh) | 一种基于改进机器学习的网页用户行为检测方法及系统 | |
CN114186637A (zh) | 流量识别方法、装置、服务器和存储介质 | |
CN113055760A (zh) | 日志处理方法、装置、设备和存储介质 | |
CN113296831B (zh) | 应用标识的提取方法、装置、计算机设备及存储介质 | |
KR101886526B1 (ko) | 응용 트래픽 분류에 정교한 페이로드 시그니쳐 생성 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |