CN107995226A - 一种基于被动流量的设备指纹识别方法 - Google Patents

一种基于被动流量的设备指纹识别方法 Download PDF

Info

Publication number
CN107995226A
CN107995226A CN201711447872.2A CN201711447872A CN107995226A CN 107995226 A CN107995226 A CN 107995226A CN 201711447872 A CN201711447872 A CN 201711447872A CN 107995226 A CN107995226 A CN 107995226A
Authority
CN
China
Prior art keywords
network
parsing
data
characteristic
fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711447872.2A
Other languages
English (en)
Inventor
朱凤刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Huaruan Goldencis Software Co Ltd
Original Assignee
Shandong Huaruan Goldencis Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Huaruan Goldencis Software Co Ltd filed Critical Shandong Huaruan Goldencis Software Co Ltd
Priority to CN201711447872.2A priority Critical patent/CN107995226A/zh
Publication of CN107995226A publication Critical patent/CN107995226A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于被动流量的设备指纹识别方法,采用以下步骤:(1)接入网络设备;(2)对获取的网络流量进行数据解析,获取到网络流量之后,对其进行分层拆包解析,获取可以进行识别的信息,分析模块可以将其中的特征提取出来,形成系统的指纹特征;(3)提取特征:解析之后的数据包,变为一系列协议特征数据和用户数据,通过对协议特征数据进行收集,并对用户数据综合进行行为分析,分别形成协议特征数据和行为特征数据,综合提取出设备指纹。本发明的有益效果:非侵入式信息获取;响应速度快;可以进行行为特征分析。

Description

一种基于被动流量的设备指纹识别方法
技术领域
本发明涉及一种设备指纹的识别方法,特别一种基于被动流量的设备指纹识别方法。
背景技术
近年来网络发展规模越来越大,网络中的接入设备、传输设备和主机数量以接近指数的速率增长,尤其是物联网系统中设备类型复杂,设备也难以集中接入。随着设备数量的增长和反侵入意识的不断增强,传统的依赖于主动侵入式的设备指纹获取方式已经越来越难以获取准确的信息。而被动式指纹提取方式通过对网络数据流量进行分层信息提取,并结合设备网络活动的行为综合分析,从而提取出设备指纹。其中,设备指纹是指可以用于唯一标识出该设备的设备特征或者独特的设备标识。
传统的主动式指纹技术大多通过侵入式的方式获取设备的信息,存在以下缺陷:
1.部分探测方式需要安装客户端,难以适应复杂的网络环境。
2.随着用户的反侵入意识和相关反侵入产品的增强,越来越多的主动指纹探测难以有效获取设备信息。
3.只能获取部分预置的特征类型,难以结合设备行为特征进行分析,难以适应复杂的网络应用环境。
发明内容
本发表的目的在于提供一种基于被动流量的设备指纹识别方法,采用纯被动网络数据分析获取设备指纹,无需安装客户端,不会对网络造成侵入影响,适应各种复杂的网络环境;同时结合设备协议特征和行为特种综合分析,获取的设备指纹更准确、更适应复杂的应用环境。
本发明的技术方案是通过以下措施来实现的:
本发明公开了一种基于被动流量的设备指纹识别方法,其特征在于采用以下步骤
(1)接入网络设备,在网络的汇聚或核心交换机上通过配置端口镜像,将网络数据包镜像到本系统,获取网络流量;
(2)对获取的网络流量进行数据解析
获取到网络流量之后,对其进行分层拆包解析,获取可以进行识别的信息,分析模块可以将其中的特征提取出来,形成系统的指纹特征;
(3)提取特征
解析之后的数据包,变为一系列协议特征数据和用户数据,通过对协议特征数据进行收集,并对用户数据综合进行行为分析,分别形成协议特征数据和行为特征数据,综合提取出设备指纹。
上述的识别方法,优选的:所述步骤1中获取网络流量的方式为:通过配置交换机端口镜像间接获取网络流量,或者,通过将设备作为网络设备接入,从而直接获取到网络流量。
上述的识别方法,优选的:所述步骤2中所述的解析分为链路层解析和网络层解析;所述的链路层解析包括ICMP包的解析、IP包的解析和ARP包的解析;所述的网络层解析包括TCP包的解析和UDP包的解析。
上述的识别方法,优选的:所述步骤2所述的分层拆包解析是对网络数据包进行OSI七层模型的逐层分析,获取其所有的网络特征标识。
上述的识别方法,优选的:所述步骤3中,所述的协议特征数据为应用协议所携带的特征值,包括有操作系统、协议、工具、用户环境所使用的语言、字体;所述的行为特征数据为用户使用所述工具的网络活动,包括用户访问的网站、用户的id、访问网络的时段。
被动指纹识别的基础是网络流量,只有获取到网络流量,才能对其内容进行深入解析并提取其中的设备标识信息和行为特征,从而综合为设备指纹。
本方案关键点在于通过对网络数据包的深入解析和特征分析,从而汇总出设备的各项特征,从而综合形成设备指纹。设备指纹的提取关键在于数据包的解析过程和对解析后数据的分析和提取,所以本方案的关键点在于数据包解析和特征信息提取过程。
本发明的有益效果:
1.非侵入式信息获取,所有信息的获取都是通过被动数据分析而来,不会对现有网络环境造成影响,也不会受到防火墙、ids等设备的影响
2.响应速度快,对于设备发生伪冒的情况,可以迅速识别出设备的特征变化,从而快速提出报警。
3.行为特征分析,通过被动数据分析,可以获取设备网络活动的行为特征,这是主动指纹所难以达到的。
4.现有一网络,想要对网络中的设备进行唯一的标识,通过本方案可以方便的达成。在网络的汇聚或核心交换机上通过配置端口镜像,将网络数据包镜像到本系统。经过系统对网络数据包的解析和分析汇总,可以获取每个网络设备的设备指纹,从而可以唯一的标识出网络设备。对于网络中存在的冒用等情况,可以迅速且准确的提出报警。
附图说明
图1为本发明具体实施例的流程图。
具体实施方式
下面结合具体实施例来详细说明本专利的识别方法和效果。如图1所示。
1.流量获取
端口镜像(port Mirroring)功能是通过在交换机或路由器上,将一个或多个源端口的数据流量转发到某一个指定端口来实现对网络的监听,指定端口称之为“镜像端口”或“目的端口”,在不严重影响源端口正常吞吐流量的情况下,可以通过镜像端口对网络的流量进行监控分析。在企业中用镜像功能,可以很好地对企业内部的网络数据进行监控管理,在网络出故障的时候,可以快速地定位故障。
市面上大多数的网管型交换机均支持端口镜像功能,因而非常利于部署。而且该技术已经成熟稳定,可以在不改变网络结构的情况下实现对网络的数据监听,部署起来可靠稳定,即使设备出现故障也不会对网络造成大规模影响。
在网络中的网管型交换机上部署好端口镜像之后,便可以将流经该交换机的网络数据拷贝至服务器,服务器进而可以对这些网络包进行数据解析。
2.数据解析
系统获取到网络流量之后,便是对其进行分层拆包解析,获取可以进行识别的信息。本方案通过对网络数据包进行OSI七层模型的逐层分析,获取其所有的网络特征标识。例如,通过对网络层的解析,可以获取到源IP地址、目标IP地址、TTL、传输层协议类型等信息。通过对传输层解析,可以获取到服务端口等信息。以TCP包为例,解析后的数据结构如下所示:
struct PacketDataTcp
{
PacketDataIp *pd_ip; // 网络层信息
uint32_t payload_len;
uint16_t port_src; // 源端口号
uint16_t port_dst; // 目标端口号
uint32_t seq; // 序列号
uint32_t seq_ack; // 响应序列号
uint8_t tcphdr_len; // tcp头长度,包含选项
bool urg; // urg flag
bool ack; // ack flag
bool psh; // psh flag
bool rst; // rst flag
bool syn; // syn flag
bool fin; // fin flag
uint16_t window; // window
uint16_t window_actual; // window和windowscale计算后的结果
//bool checksum_ok; // 校验和是否正确
uint16_t urg_ptr; // 紧急指针
uint8_t opt_len; // tcp选项长度
uint8_t opt_count; // tcp选项个数
bool bad_opt; // tcp选项中存在错误
bool bad_opt_eol; // tcp选项EOL错误
vector<uint8_t> opt_types; // tcp选项类型列表
uint8_t opt_eol; // EOL选项个数
uint16_t opt_mss; // MSS大小
uint8_t opt_wscale; // WINDOW SCALE大小
uint32_t opt_ts_val; // 时间戳
uint32_t opt_ts_ecr; // 响应时间戳
bool opt_sack_permitted; // 支持SACK
uint32_t opt_sack; // SACK个数(一个为一组left + right)
};
一个TCP包经过解析,就变为以上可以直接进行分析的数据结构,其中包含了大量系统协议栈的特征信息,分析模块可以将其中的特征提取出来,形成系统的指纹特征。
3.提取特征
数据包经过解析之后,变为一系列协议特征数据和用户数据。通过对协议特征数据进行收集,并对用户数据综合进行行为分析,综合提取出设备指纹。
a.协议特征
主要包括应用协议所携带的特征值。例如对于http协议,用户的浏览器客户端类型、用户环境所使用的语言、字体等信息,均为特征信息。这些信息综合起来就构成了用户设备的使用环境信息。
b.行为特征
如果协议特征是环境,那么行为特征就是人物。协议特征标识出了用户所以用的操作系统、协议、工具等信息,而行为特征就标识出了用户使用这些工具做了什么网络活动。比如,同样对于http,用户访问了哪些网站、都采用哪些用户id、经常在每天的哪个时段访问网络等,这些单个的特征对于设备标识没有多大的意义,只有将一段时间的行为信息综合起来,经过机器学习等方式提取出一段时间的综合特征才有意义。而经过不断的机器学习,行为特征的判别也会随着时间的增长更加准确。
4.设备指纹应用
提取出设备指纹之后,系统便可以利用设备指纹对网络内设备的合法性进行验证。设备指纹像是人类的DNA一样,特征数量庞大而且难以模拟。通过前后设备指纹的特征进行对比,可以判断设备是否发生了伪冒替换,这在网络安全方面具有重大意义。
例如,在视频监控网络中,摄像机分布在城市各个路口,而且设备类型和数量都很多,非常难以监控。如果存在不法人员利用摄像机的网线冒用接入监控网络,会对监控网络造成很大的风险。当非法人员通过一个笔记本替换网络摄像机接入网络时,如果其修改了笔记本的ip和mac地址,传统的交换机mac地址绑定和网络防火墙等防御手段便失去了防护作用。然而,本系统提取的设备指纹包含出ip和mac地址外的大量信息,如系统网络协议栈的时间戳信息等,这些信息非常难以伪装。因而本系统仍然可以发现该ip的设备指纹前后发生了重大差异,存在设备冒用的情况,进而可以向网络运维人员发出报警。

Claims (5)

1.一种基于被动流量的设备指纹识别方法,其特征在于采用以下步骤
(1)接入网络设备,在网络的汇聚或核心交换机上通过配置端口镜像,将网络数据包镜像到本系统,获取网络流量;
(2)对获取的网络流量进行数据解析
获取到网络流量之后,对其进行分层拆包解析,获取可以进行识别的信息,分析模块可以将其中的特征提取出来,形成系统的指纹特征;
(3)提取特征
解析之后的数据包,变为一系列协议特征数据和用户数据,通过对协议特征数据进行收集,并对用户数据综合进行行为分析,分别形成协议特征数据和行为特征数据,综合提取出设备指纹。
2.根据权利要求1所述的识别方法,其特征在于:所述步骤1中获取网络流量的方式为:通过配置交换机端口镜像间接获取网络流量,或者,通过将设备作为网络设备接入,从而直接获取到网络流量。
3.根据权利要求1所述的识别方法,其特征在于:所述步骤2中所述的解析分为链路层解析和网络层解析;所述的链路层解析包括ICMP包的解析、IP包的解析和ARP包的解析;所述的网络层解析包括TCP包的解析和UDP包的解析。
4.根据权利要求1所述的识别方法,其特征在于:所述步骤2所述的分层拆包解析是对网络数据包进行OSI七层模型的逐层分析,获取其所有的网络特征标识。
5.根据权利要求1所述的识别方法,其特征在于:所述步骤3中,所述的协议特征数据为应用协议所携带的特征值,包括有操作系统、协议、工具、用户环境所使用的语言、字体;所述的行为特征数据为用户使用所述工具的网络活动,包括用户访问的网站、用户的id、访问网络的时段。
CN201711447872.2A 2017-12-27 2017-12-27 一种基于被动流量的设备指纹识别方法 Pending CN107995226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711447872.2A CN107995226A (zh) 2017-12-27 2017-12-27 一种基于被动流量的设备指纹识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711447872.2A CN107995226A (zh) 2017-12-27 2017-12-27 一种基于被动流量的设备指纹识别方法

Publications (1)

Publication Number Publication Date
CN107995226A true CN107995226A (zh) 2018-05-04

Family

ID=62042984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711447872.2A Pending CN107995226A (zh) 2017-12-27 2017-12-27 一种基于被动流量的设备指纹识别方法

Country Status (1)

Country Link
CN (1) CN107995226A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110022308A (zh) * 2019-03-11 2019-07-16 中国科学院信息工程研究所 一种物联网设备识别方法及系统
CN110120950A (zh) * 2019-05-13 2019-08-13 四川长虹电器股份有限公司 一种基于物联网流量进行威胁分析的系统及方法
CN110532756A (zh) * 2018-05-23 2019-12-03 中国移动通信集团浙江有限公司 一种系统指纹识别方法、装置、电子设备及存储介质
CN110830325A (zh) * 2019-11-05 2020-02-21 北京云杉世纪网络科技有限公司 一种自适应的网络旁路路径网流方向推测方法及系统
CN110958262A (zh) * 2019-12-15 2020-04-03 国网山东省电力公司电力科学研究院 电力行业泛在物联网安全防护网关系统、方法及部署架构
CN110958225A (zh) * 2019-11-08 2020-04-03 杭州安恒信息技术股份有限公司 基于流量识别网站指纹的方法
CN111343163A (zh) * 2020-02-14 2020-06-26 东南大学 基于网络流量特征融合的物联网设备身份凭证生成方法
CN111917975A (zh) * 2020-07-06 2020-11-10 成都深思科技有限公司 基于网络通讯数据的隐蔽网络摄像头识别方法
CN111935212A (zh) * 2020-06-29 2020-11-13 杭州创谐信息技术股份有限公司 安全路由器及基于安全路由器的物联网安全联网方法
CN112714045A (zh) * 2020-12-31 2021-04-27 浙江远望信息股份有限公司 一种基于设备指纹和端口的快速协议识别方法
CN112822063A (zh) * 2020-08-17 2021-05-18 北京辰信领创信息技术有限公司 通过被动网络行为探测实现物联网终端网络指纹测绘设计
CN113746849A (zh) * 2021-09-07 2021-12-03 深信服科技股份有限公司 一种网络中的设备识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374140A (zh) * 2007-08-22 2009-02-25 湖南大学 无线传感器网络的节点结构及其mac通讯协议
CN105554009A (zh) * 2015-12-28 2016-05-04 成都千牛信息技术有限公司 一种通过网络数据获取设备操作系统信息的方法
CN106850246A (zh) * 2015-12-07 2017-06-13 中兴通讯股份有限公司 设备信息的识别方法及装置
CN106899586A (zh) * 2017-02-21 2017-06-27 上海交通大学 一种基于机器学习的dns服务器软件指纹识别系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374140A (zh) * 2007-08-22 2009-02-25 湖南大学 无线传感器网络的节点结构及其mac通讯协议
CN106850246A (zh) * 2015-12-07 2017-06-13 中兴通讯股份有限公司 设备信息的识别方法及装置
CN105554009A (zh) * 2015-12-28 2016-05-04 成都千牛信息技术有限公司 一种通过网络数据获取设备操作系统信息的方法
CN106899586A (zh) * 2017-02-21 2017-06-27 上海交通大学 一种基于机器学习的dns服务器软件指纹识别系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GENEVIEVE BARTLETT: "Understanding Passive and Active Service Discovery", 《IMC "07: PROCEEDINGS OF THE 7TH ACM SIGCOMM CONFERENCE ON INTERNET MEASUREMENT,HTTPS://DOI.ORG/10.1145/1298306.1298314》 *
ZHOUWAN: "被动式全栈设备指纹技术调研", 《博客园, HTTPS://WWW.CNBLOGS.COM/SWJE/P/6685758.HTML》 *
隋新: "主机特征信息被动识别的研究与实现", 《科学技术与工程》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532756A (zh) * 2018-05-23 2019-12-03 中国移动通信集团浙江有限公司 一种系统指纹识别方法、装置、电子设备及存储介质
CN110022308B (zh) * 2019-03-11 2020-05-29 中国科学院信息工程研究所 一种物联网设备识别方法、系统、电子设备及存储介质
CN110022308A (zh) * 2019-03-11 2019-07-16 中国科学院信息工程研究所 一种物联网设备识别方法及系统
CN110120950A (zh) * 2019-05-13 2019-08-13 四川长虹电器股份有限公司 一种基于物联网流量进行威胁分析的系统及方法
CN110830325A (zh) * 2019-11-05 2020-02-21 北京云杉世纪网络科技有限公司 一种自适应的网络旁路路径网流方向推测方法及系统
CN110830325B (zh) * 2019-11-05 2021-05-14 北京云杉世纪网络科技有限公司 一种自适应的网络旁路路径网流方向推测方法及系统
CN110958225B (zh) * 2019-11-08 2022-02-15 杭州安恒信息技术股份有限公司 基于流量识别网站指纹的方法
CN110958225A (zh) * 2019-11-08 2020-04-03 杭州安恒信息技术股份有限公司 基于流量识别网站指纹的方法
CN110958262A (zh) * 2019-12-15 2020-04-03 国网山东省电力公司电力科学研究院 电力行业泛在物联网安全防护网关系统、方法及部署架构
CN111343163A (zh) * 2020-02-14 2020-06-26 东南大学 基于网络流量特征融合的物联网设备身份凭证生成方法
CN111935212A (zh) * 2020-06-29 2020-11-13 杭州创谐信息技术股份有限公司 安全路由器及基于安全路由器的物联网安全联网方法
CN111935212B (zh) * 2020-06-29 2023-05-09 杭州创谐信息技术股份有限公司 安全路由器及基于安全路由器的物联网安全联网方法
CN111917975A (zh) * 2020-07-06 2020-11-10 成都深思科技有限公司 基于网络通讯数据的隐蔽网络摄像头识别方法
CN111917975B (zh) * 2020-07-06 2021-11-02 成都深思科技有限公司 基于网络通讯数据的隐蔽网络摄像头识别方法
CN112822063A (zh) * 2020-08-17 2021-05-18 北京辰信领创信息技术有限公司 通过被动网络行为探测实现物联网终端网络指纹测绘设计
CN112714045A (zh) * 2020-12-31 2021-04-27 浙江远望信息股份有限公司 一种基于设备指纹和端口的快速协议识别方法
CN113746849A (zh) * 2021-09-07 2021-12-03 深信服科技股份有限公司 一种网络中的设备识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107995226A (zh) 一种基于被动流量的设备指纹识别方法
CN104937886B (zh) 日志分析装置、信息处理方法
CN106209870B (zh) 一种针对分布式工业控制系统的网络入侵检测系统
CN109600363B (zh) 一种物联网终端网络画像及异常网络访问行为检测方法
CN102307123B (zh) 基于传输层流量特征的nat流量识别方法
CN107404400A (zh) 一种网络态势感知实现方法及装置
CN111277570A (zh) 数据的安全监测方法和装置、电子设备、可读介质
CN110401624A (zh) 源网荷系统交互报文异常的检测方法及系统
CN104081730A (zh) 用于从通信链路提取结构化应用程序数据的系统和方法
ES2609861T3 (es) Método y dispositivo para configurar y optimizar una regla de detección
CN107241186A (zh) 应用签名生成和分发
CN106656922A (zh) 一种基于流量分析的网络攻击防护方法和装置
WO2005099214A1 (en) Method and system for network intrusion detection, related network and computer program product
CN108833437A (zh) 一种基于流量指纹和通信特征匹配的apt检测方法
US20210168163A1 (en) Bind Shell Attack Detection
CN110430191A (zh) 调度数据网中基于协议识别的安全预警方法及装置
CN102857486A (zh) 下一代应用防火墙系统及防御方法
Celik et al. Salting public traces with attack traffic to test flow classifiers
US20120173712A1 (en) Method and device for identifying p2p application connections
CN110113350A (zh) 一种物联网系统安全威胁监测与防御系统及方法
EP3242240B1 (en) Malicious communication pattern extraction device, malicious communication pattern extraction system, malicious communication pattern extraction method and malicious communication pattern extraction program
TWM594841U (zh) 封包擷取分析裝置及具有該封包擷取分析裝置之網路資安系統
CN106789728A (zh) 一种基于NetFPGA的VoIP流量实时识别方法
Aksoy et al. Operating system classification performance of tcp/ip protocol headers
CN111818049A (zh) 一种基于马尔可夫模型的僵尸网络流量检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180504

RJ01 Rejection of invention patent application after publication