CN110213212A - 一种设备的分类方法和装置 - Google Patents
一种设备的分类方法和装置 Download PDFInfo
- Publication number
- CN110213212A CN110213212A CN201810509974.0A CN201810509974A CN110213212A CN 110213212 A CN110213212 A CN 110213212A CN 201810509974 A CN201810509974 A CN 201810509974A CN 110213212 A CN110213212 A CN 110213212A
- Authority
- CN
- China
- Prior art keywords
- equipment
- port
- network
- address
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1458—Denial of Service
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种设备的分类方法和装置,识别IP设备的详细类型,提高对IP设备的识别率和准确性。其中该方法可包括:获取IP设备发送的访问请求;从访问请求中获取到IP设备的目标IP地址;根据目标IP地址对IP设备的端口以及端口开放的网络服务进行扫描处理,得到IP设备对应的设备扫描结果,设备扫描结果包括如下信息中的至少一种:端口的banner信息、端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据;使用预设的设备分类规则模型对设备扫描结果进行关联分析,输出IP设备对应的分类结果,分类结果包括:IP设备为如下设备类型中的其中一种设备:PC设备、IDC设备、Router设备、IOT设备。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种设备的分类方法和装置。
背景技术
在分布式拒绝服务(Distributed Denial of Service,DDoS)攻击发展前期,绝大部分都能被业界知名的“黑洞”(Collapsar)抗拒绝服务攻击系统所防护,于是黑客们研究出一种新型的针对超文本传输协议(HyperText Transfer Protocol,HTTP)的DDOS攻击后,即命名为Challenge Collapsar,声称黑洞设备无法防御,后来CC这个名称延用至今。CC攻击是DDOS攻击的一种,发生在第七层应用层,不同于网络层DDOS的是传输控制协议(Transmission Control Protocol,TCP)连接已经建立,攻击互联网协议(InternetProtocol,IP)是真实IP地址,主要对一些消耗资源的页面进行不断请求,导致消耗源站资源,和正常业务请求界定模糊,目前已有的业界防护产品中一直达不到很好的效果。
为了对客户端进行识别,以确定是否对该客户端进行打击,现有技术公开一种基于网络端口扫描的互联网协议(Internet Protocol,IP)设备检测方案,通过探测IP设备的操作系统版本进行设备资产识别,同时也会利用运营商设备登记的网关接口进行辅助判断。
现有技术只能探测出可能的操作系统版本,例如判断出IP设备采用的操作系统版本是否是Windows、Openwrt等操作系统版本,但是单凭利用操作系统版本对IP设备进行划分是不够的,从而导致最终的分类检测结果误报率较高。由于网络空间的复杂性,在网络抖动环境或者防火墙阻断下,现有技术中发出的探测包有一定不可达几率,因此识别率较低。同时依靠运营商或者其它第三方接口判断,也存在较大的依赖性,不利于线上安全业务系统大规模使用。
因此,现有技术提供的设备检测方案在实际检测过程中存在识别率低、误报率高的问题。
发明内容
本发明实施例提供了一种设备的分类方法和装置,用于识别出IP设备的详细类型,提高对IP设备的识别率和准确性。
为解决上述技术问题,本发明实施例提供以下技术方案:
第一方面,本发明实施例提供一种设备的分类方法,包括:
获取互联网协议IP设备发送的访问请求;
从所述访问请求中获取到所述IP设备的目标IP地址;
根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理,得到所述IP设备对应的设备扫描结果,所述设备扫描结果包括如下信息中的至少一种:所述端口的标识banner信息、所述端口开放的网络协议、所述IP设备的操作系统版本和所述IP设备的网络应用层数据;
使用预设的设备分类规则模型对所述设备扫描结果进行关联分析,输出所述IP设备对应的分类结果,所述分类结果包括:所述IP设备为如下设备类型中的其中一种设备:个人电脑PC设备、互联网数据中心IDC设备、路由Router设备、物联网IOT设备。
第二方面,本发明实施例还提供一种设备的分类装置,包括:
请求获取模块,用于获取互联网协议IP设备发送的访问请求;
地址获取模块,用于从所述访问请求中获取到所述IP设备的目标IP地址;
设备扫描模块,用于根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理,得到所述IP设备对应的设备扫描结果,所述设备扫描结果包括如下信息中的至少一种:所述端口的标识banner信息、所述端口开放的网络协议、所述IP设备的操作系统版本和所述IP设备的网络应用层数据;
设备识别模块,用于使用预设的设备分类规则模型对所述设备扫描结果进行关联分析,输出所述IP设备对应的分类结果,所述分类结果包括:所述IP设备为如下设备类型中的其中一种设备:个人电脑PC设备、互联网数据中心IDC设备、路由Router设备、物联网IOT设备。
在第二方面中,设备的分类装置的组成模块还可以执行前述第一方面以及各种可能的实现方式中所描述的步骤,详见前述对第一方面以及各种可能的实现方式中的说明。
第三方面,本发明实施例提供一种设备的分类装置,该设备的分类装置包括:处理器、存储器;存储器用于存储指令;处理器用于执行存储器中的指令,使得设备的分类装置执行如前述第一方面中任一项的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
第五方面,本发明实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出,本发明实施例具有以下优点:
在本发明实施例中,首先获取IP设备发送的访问请求,然后从访问请求中获取到IP设备的目标IP地址,接下来根据目标IP地址对IP设备的端口以及端口开放的网络服务进行扫描处理,得到IP设备对应的设备扫描结果,设备扫描结果包括如下信息中的至少一种:端口的标识banner信息、端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据。最后使用预设的设备分类规则模型对设备扫描结果进行关联分析,输出IP设备对应的分类结果,分类结果包括:IP设备为如下设备类型中的其中一种设备:PC设备、IDC设备、Router设备、IOT设备。本发明实施例中对IP设备进行扫描时可以提取到IP设备的端口的banner信息、操作系统版本、端口开放的网络协议以及网络应用层数据,通过这些多维度的设备扫描结果对IP设备的刻画,使用设备分类规则模型识别出该IP设备是PC设备,或者IDC设备,或者Router设备,或者IOT设备,相比于现有技术只能识别出设备的操作系统,本发明实施例中可以识别出IP设备的详细类型,由于使用多维度的设备扫描结果来刻画IP设备,因此可以提高对IP设备的识别率和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的设备的分类方法所应用的系统架构示意图;
图2为本发明一个实施例提供的设备的分类方法的流程方框示意图;
图3为本发明另一个实施例提供的设备的分类方法的流程方框示意图;
图4为本发明另一个实施例提供的设备的分类方法的流程方框示意图;
图5为本发明实施例提供的对IP设备的类型进行划分的示意图;
图6为本发明实施例提供的IP设备分类计算的应用场景示意图;
图7为本发明实施例提供的设备的分类方法在互联网安全防御场景中的应用架构示意图;
图8为本发明实施例提供的设备的分类方法在安全态势感知场景中的应用架构示意图;
图9-a为本发明实施例提供的一种设备的分类装置的组成结构示意图;
图9-b为本发明实施例提供的另一种设备的分类装置的组成结构示意图;
图9-c为本发明实施例提供的另一种设备的分类装置的组成结构示意图;
图9-d为本发明实施例提供的一种设备扫描模块的组成结构示意图;
图9-e为本发明实施例提供的另一种设备的分类装置的组成结构示意图;
图10为本发明实施例提供的设备的分类方法应用于服务器的组成结构示意图。
具体实施方式
本发明实施例提供了一种设备的分类方法和装置,用于识别出IP设备的详细类型,提高对IP设备的识别率和准确性。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域的技术人员所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先对本发明实施例中涉及的几个重要术语做出如下说明:
物联网(Internet of Things,IOT)设备:指各种信息传感设备,如射频识别装置、红外感应器、全球定位系统、激光扫描器等种种装置与互联网结合起来而形成的一个巨大网络。其目的是让所有的物品都与网络连接在一起,方便识别和管理。
指纹识别:通过特定的指纹规则,识别出端口开放的协议以及操作系统版本,包括简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)、远程终端协议(Telnet)、文件传输协议(File Transfer Protocol,FTP)等协议,以及Linux\Windows操作系统版本等信息。
端口banner:通过尝试建立TCP连接,在尝试等待片刻时间内,会接收到目标机发送的“Welcome banner”信息,该banner指的是端口的标识或者特征。
互联网数据中心(Internet Data Center,IDC):提供机房环境、互联网通信线路与带宽资源、服务器托管或租用以及相关增值服务。
分布式拒绝服务攻击(Distributed Denial of Service,DDoS),是攻击者利用多个受控的计算机联合对一个或少量几个目标发起攻击,旨在让目标服务器无法正常提供服务的攻击行为,DDoS攻击可以简单分为两类:带宽资源耗尽型、服务器资源耗尽型。
CC攻击:即Challenge Collapsar,是指不断对网站发送请求,消耗服务器资源,以达到让目标服务器拒绝服务的目的。
请参考图1,其示出了本发明实施例提供的处理请求的方法所应用的系统的结构示意图。该处理请求的方法所应用的系统包括服务器110和终端120。
服务器110是一台服务器,或者由若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心,该服务器110可以用于接收终端发送的访问请求,通过对该访问请求的分析获取到目标(Internet Protocol,IP)地址,通过该目标IP地址和终端进行交互,获取到该终端的端口的标识(banner)信息、端口开放的网络协议、终端的操作系统版本和终端的网络(web)应用层数据。该服务器中还可以预先设置设备分类规则,训练出设备分类模型,通过该设备分类模型对终端进行关联分析,输出该终端属于PC设备,或者该终端属于IDC设备,或者该终端属于路由(Router)设备,或者该终端属于物联网(Internet ofThings,IOT)设备。
可选的,服务器110包括提供网络(web)应用防火墙的后台服务器;可选的,服务器110包括提供多维度策略的后台服务器。
服务器110与终端120之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
终端120可以是手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等IP设备。
可选的,终端120中也运行有浏览器客户端,该浏览器客户端用于通过服务器110向网络发起访问,以及从网络下载到网络资源。
本发明实施例提供的设备的分类方法中,可以关联和识别网络中存活的IP设备,通过基于传输控制协议(Transmission Control Protocol,TCP)网络发包技术对目标IP地址指定的端口、网络协议、操作系统版本、网络应用层数据进行指纹扫描。如果成功与目标端口建立TCP会话连接,并且在指定的等待阈值时间内收到IP设备送的开放端口banner数据,则证明该目标IP地址存活。同时探测IP设备可能的操作系统版本。其中,存活是指此IP地址的设备可被访问,通过nmap等扫描工具可识别此IP地址的设备上运行的操作系统。最终通过开放的端口号、网络协议、操作系统版本、端口banner信息等设备扫描结果进行关联分析,使用预设的设备分类规则模型的匹配,可分类出IP设备归属于PC设备、IDC设备、Router设备、IOT设备中的哪一类设备。并且针对Router设备和IOT设备,通过本发明实施例还能识别出目前占据市场80%份额以上的主流产品型号和版本。
本发明实施例提供的IP设备属性探测方案,可以广泛应用于企业安全防护,例如应用于安全态势感知系统,建立以IP设备属性划分的网络空间探测器。又如应用于安全漏洞扫描系统,针对不同属性指纹的IP设备,扫描可能存在已知漏洞的主机设备。又如应用于Web应用防护系统(Web Application Firewall,简称:WAF)和网络流量过滤器,拦截恶意攻击者非法利用IOT设备组建的僵尸网络针对Web应用或高危业务发起的DDos攻击,例如发起CC攻击。
本发明实施例中定义了IP设备的属性分类依据,同时建立多维的设备分类规则模型,优化了操作系统、端口协议、网络协议、网络应用层数据等指纹识别规则,减少了发送网络请求包,建立了一套分布式自动化IP设备的扫描分类装置,解决现有技术中对IP设备分类标准不清晰,分类误报率高、识别率低等问题。
以下分别进行详细说明。本发明设备的分类方法的一个实施例,具体可以应用于服务器一侧基于IP设备发送的访问请求对该IP设备进行设备类型识别的场景中,请参阅图2所示,本发明一个实施例提供的设备的分类方法,可以包括如下步骤:
201、获取互联网协议(Internet Protocol,IP)设备发送的访问请求。
在本发明实施例中,IP设备发送的访问请求可以为超文本传输协议(HyperTextTransfer Protocol,HTTP)请求,在该访问请求中可以包括:IP设备的IP地址。例如服务器采用抓包(packet capture,PCAP)方式获取到IP设备发送的访问请求,或者利用部署的分光器、分流器,或通过网络设备的旁路流量复制功能来获取到访问请求。
202、从访问请求中获取到IP设备的目标IP地址。
在本发明实施例中,服务器从IP设备获取到访问请求之后,解析该访问请求中携带的参数可以得到该IP设备的IP地址,即后续实施例中目标IP地址,该目标IP地址可以携带在访问请求的IP协议包头中。
203、根据目标IP地址对IP设备的端口以及端口开放的网络服务进行扫描处理,得到IP设备对应的设备扫描结果,设备扫描结果包括如下信息中的至少一种:端口的标识(banner)信息、端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据。
在本发明实施例中,服务器获取到IP设备的目标IP地址之后,服务器可以通过该目标IP地址和IP设备进行交互,服务器可以对IP设备的端口以及端口开放的网络服务进行扫描处理,例如服务器和IP设备建立TCP连接,以获取到IP设备的端口发送的banner信息,服务器通过分析IP设备的端口返回的数据包解析该端口开放的网络服务,确定出端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据。
在本发明实施例中,服务器对IP设备的扫描,从而可以得到IP设备对应的设备扫描结果,设备扫描结果包括如下信息中的至少一种:端口的banner信息、端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据。可以理解的是,服务器获取到的设备扫描结果可以包括上述信息中的任意一种,或者上述四种信息中的任意两种信息,或者上述四种信息中的任意三种信息,或者上述四种信息。服务器具体可以根据关联分析规则中需要收集的信息类型来确定。例如该关联分析规则可以包括如下的至少一种:端口banner规则、网络协议规则、操作系统版本规则和网络应用层规则。举例说明如下,若以端口banner规则为统计维度,则服务器可以只获取到端口的banner信息。若以端口的网络协议规则为统计维度,则服务器可以只获取到端口开放的网络协议。若以操作系统版本规则为统计维度,则服务器可以只获取到IP设备的操作系统版本。若以网络应用层规则为统计维度,则服务器可以只获取到IP设备的网络应用层数据。
204、使用预设的设备分类规则模型对设备扫描结果进行关联分析,输出IP设备对应的分类结果,分类结果包括:IP设备为如下设备类型中的其中一种设备:个人电脑(personal computer,PC)设备、互联网数据中心(Internet Data Center,IDC)设备、路由(Router)设备、物联网(Internet of Things,IOT)设备。
在本发明实施例中,服务器对IP设备进行扫描之后,获取到设备扫描结果。服务器上可以预先保存设备分类规则模型,该设备分类规则模型中可以包括一个或多个的关联分析规则。设备分类规则模型中可以输入设备扫描结果,即可以将如下信息中的至少一种:端口的banner信息、端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据输入到设备分类规则模型中,针对IP设备的具体设备类型设置相应的关联分析规则,当IP设备的设备扫描结果满足相应的关联分析规则时,可以识别出该IP设备的具体设备类型。
在本发明实施例中,设备分类规则模型可以识别出IP设备属于如下设备中的其中一种,例如IP设备的设备类型可以包括:PC设备、IDC设备、Router设备、IOT设备。具体的,PC设备是指个人PC,普通用户设备通过非对称数字用户线路(Asymmetric DigitalSubscriber Line,ADSL)拨号或其它宽带方式接入互联网。IDC设备是指互联网服务商提供的服务设备,该IDC设备可以提供的专业的服务器托管区域,包含为企业或个人提供租用的网站、存储数据服务资源设备。Router设备主要包含路由器、防火墙以及部分出口网关设备等,用来连接和服务不同体系结构网络设备。IOT设备包括接入互联网的各种传感设备、智能网络设备等。
在本发明的一些实施例中,设备分类规则模型可以包括如下的关联分析规则中的至少一种:端口banner规则、网络协议规则、操作系统版本规则和网络应用层规则。其中,端口banner规则、网络协议规则、操作系统版本规则和网络应用层规则中的上述一种规则或者两者规则或者三种规则或者四种规则都可以用于识别IP设备的设备类型,具体由设备分类规则模型来决定采用什么样的规则来分析IP设备的设备类型。举例说明,以网络协议规则和网络应用层规则为例,可以结合IP开放的端口协议以及物理机上实际运行的业务情况进行关联分析,从而确定IP设备为IDC设备。又如,以网络协议规则、操作系统版本规则和网络应用层规则为例,Router设备和IOT设备的区别在于,会根据不同设备厂商定制的专用的网络协议、端口服务以及操作系统版本进行关联分析,从而确定出IP设备为Router设备,还是IOT设备。
在本发明的一些实施例中,关联分析规则的生成,可以采用如下方法:
获取预设的规则格式以及对应的字段内容,字段内容包括:设备指纹、网络协议、设备类型、设备名称、厂商类型以及模式匹配;
对规则格式以及对应的字段内容进行设备分类的准确性测试;
根据测试无误的规则格式以及对应的字段内容生成关联分析规则。
其中,本发明实施例中可以分析IP设备的具体设备类型来设置相应的关联分析规则,例如在测试阶段,先添加多条的设备分类规则,本发明实施例中可以制定简单易懂的规则格式和字段内容,例如定义了设备指纹、网络协议、设备类型、设备名称、厂商类型以及模式匹配等结构,其中设备指纹是识别设备类型的标识或区别几个类型的一个判断条件,网络协议具体是指消息队列遥测传输(Message Queuing Telemetry Transport,MQTT)、表述性状态传递(Representational State Transfer,REST)、可扩展通讯和表示协议(Extensible Messaging and Presence Protocol,XMPP)、高级消息队列协议(AdvancedMessage Queuing Protocol,AMQP)等,设备名称如某摄像头,某名称交换机,厂商类型可以是生成IP设备的厂商名称,模式匹配是指IP设备所适配的模式。通过测试出规则无误后,在由测试无误的规则格式以及对应的字段内容生成关联分析规则,该关联分析规则可以灰度上线到设备分类规则模型中,以使该设备分类规则模型使用关联分析规则来识别IP设备的具体设备类型。
通过以上实施例对本发明实施例的描述可知,首先获取IP设备发送的访问请求,然后从访问请求中获取到IP设备的目标IP地址,接下来根据目标IP地址对IP设备的端口以及端口开放的网络服务进行扫描处理,得到IP设备对应的设备扫描结果,设备扫描结果包括如下信息中的至少一种:端口的标识banner信息、端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据。最后使用预设的设备分类规则模型对设备扫描结果进行关联分析,输出IP设备对应的分类结果,分类结果包括:IP设备为如下设备类型中的其中一种设备:PC设备、IDC设备、Router设备、IOT设备。本发明实施例中对IP设备进行扫描时可以提取到IP设备的端口的banner信息、操作系统版本、端口开放的网络协议以及网络应用层数据,通过这些多维度的设备扫描结果对IP设备的刻画,使用设备分类规则模型识别出该IP设备是PC设备,或者IDC设备,或者Router设备,或者IOT设备,相比于现有技术只能识别出设备的操作系统,本发明实施例中可以识别出IP设备的详细类型,由于使用多维度的设备扫描结果来刻画IP设备,因此可以提高对IP设备的识别率和准确性。
请参考图3,其示出了本发明另一个实施例提供的设备的分类方法的流程图,如图3所示,主要包括如下步骤:
301、获取IP设备发送的访问请求。
302、从访问请求中获取到IP设备的目标IP地址。
其中,步骤301至302与前述实施例中的步骤201至202的描述相类似,请参照前述实施例的说明。
303、通过定时任务脚本将获取到目标IP地址存储到任务调度管理系统。
在本发明实施例中,在一段时间内分别提取到多个IP设备的目标IP地址之后,通过定时任务脚本将待扫描分类的目标IP地址存储到任务调度管理系统,该任务调度管理系统主要起到调度作用,比如扫描哪些目标IP地址,使用哪些维度的关联分析规则来扫描等。
304、通过任务调度管理系统将待扫描分类的目标IP地址分配给任务缓存器,任务调度管理系统中包括有多个任务缓存器。
在本发明实施例中,任务调度管理系统通过定时任务脚本获取到待扫描分类的多个目标IP地址,为了实现并发处理,可以将多个任务缓冲器来分别分配给定时获取到的多个目标IP地址,从而可以实现对多个IP设备的同时扫描处理,提高IP设备的识别效率。
305、通过分配的任务缓存器生成任务,并将任务下发给端口网络扫描模块中的端口扫描代理单元,端口网络扫描模块中包括有多个端口扫描代理单元,任务包括:待扫描分类的目标IP地址。
在本发明实施例中,对于每个任务缓存器可以生成一个任务,该任务包括:待扫描分类的目标IP地址,任务缓存器可以将该任务下发给端口网络扫描模块中的端口扫描代理单元,端口网络扫描模块中包括有多个端口扫描代理单元,每个端口扫描代理单元可以独立执行对某个IP设备的设备扫描处理。
306、通过接收到任务的端口扫描代理单元,根据目标IP地址对IP设备的端口以及端口开放的网络服务进行扫描处理,得到IP设备对应的设备扫描结果,设备扫描结果包括如下信息中的至少一种:端口的标识banner信息、端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据。
其中,端口网络扫描模块中多个端口扫描代理单元可以同时执行设备扫描任务,端口扫描代理单元执行的设备扫描过程可以参阅前述实施例中的步骤203的描述。
307、使用预设的设备分类规则模型对设备扫描结果进行关联分析,输出IP设备对应的分类结果,分类结果包括:IP设备为如下设备类型中的其中一种设备:PC设备、IDC设备、Router设备、IOT设备。
其中,步骤307与前述实施例中的步骤204的描述相类似,请参照前述实施例的说明
通过以上实施例对本发明实施例的描述可知,通过任务调度管理系统可以同时触发多个任务缓存器下发任务给端口网络扫描模块,则端口网络扫描模块中各个端口扫描代理单元可以同时对多个IP设备进行设备扫描处理,从而提高了设备扫描的效率。本发明实施例中端口扫描代理单元对IP设备进行扫描时可以提取到IP设备的端口的banner信息、操作系统版本、端口开放的网络协议以及网络应用层数据,通过这些多维度的设备扫描结果对IP设备的刻画,使用设备分类规则模型识别出该IP设备是PC设备,或者IDC设备,或者Router设备,或者IOT设备,相比于现有技术只能识别出设备的操作系统,本发明实施例中可以识别出IP设备的详细类型,由于使用多维度的设备扫描结果来刻画IP设备,因此可以提高对IP设备的识别率和准确性。
请参考图4,其示出了本发明另一个实施例提供的设备的分类方法的流程图,如图4所示,主要包括如下步骤:
401、获取IP设备发送的访问请求。
402、从访问请求中获取到IP设备的目标IP地址。
其中,步骤301至302与前述实施例中的步骤201至202的描述相类似,请参照前述实施例的说明。
403、向IP设备发送传输控制协议TCP请求。
其中,服务器可以向IP设备常识建立TCP连接。
404、判断是否与IP设备的端口建立TCP连接。
其中,服务尝试与IP设备建立TCP连接,在尝试等待片刻时间内,会接收到IP设备发送的banner信息,例如该banner信息为WelcomeBanner。
405、当TCP连接成功建立时,接收IP设备返回的TCP数据包。
406、根据TCP数据包中获取到端口的标识banner信息。
若服务器收到IP设备发送的banner信息,则说明该服务器与IP设备成功建立TCP连接,即该目标IP地址是存活的,若服务器无法收到IP设备返回的banner信息,则说明服务器无法与IP设备建立TCP连接。
407、当端口开放有网络服务时,通过与网络服务器交互,获取到超文本传输协议HTTP响应包。
其中,如果目标IP地址同时开放了web服务,则服务器可以向网络服务器发送HTTP请求,从该网络服务器接收到HTTP响应包,该HTTP响应包可以包括如下字段:响应包主体(body)、头部(header)、标题(title)等。
408、根据TCP数据包,和/或HTTP响应包获取到端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据。
本发明实施例中,服务器可以直接通过建立TCP连接时接收到的TCP数据包确定端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据,或者服务器通过HTTP响应包确定端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据,或者服务器需要使用TCP数据包和HTTP响应包来确定端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据,具体实现方式取决于应用场景。其中,服务器获取到的网络应用层数据包括:向网络服务器请求特定的JavaScript(简称js)、层叠样式表(Cascading Style Sheets,CSS)文件、特定的目录或文件的统一资源定位符(UniformResource Locator,URL)。
409、将IP设备对应的设备扫描结果上报给云端分析引擎。
在本发明实施例中,将上述记录到的Banner信息、端口开放的网络协议、操作系统版本以及网络应用层数据等信息上传到云端分析引擎,由该云端分析引擎进行离线判定。
410、通过云端分析引擎中配置的设备分类规则模型对设备扫描结果进行关联分析,输出IP设备对应的分类结果,分类结果包括:IP设备为如下设备类型中的其中一种设备:PC设备、IDC设备、Router设备、IOT设备,云端分析引擎中预先训练有设备分类规则模型。
其中,云端分析引擎中预配置有设备分类规则模型,通过云端分析引擎中配置的设备分类规则模型对设备扫描结果进行关联分析,输出IP设备对应的分类结果。举例说明如下,云端分析引擎通过设备扫描结果中包括的如下信息:开放的服务端口为80、http响应头、操作系统为社区企业操作系统(Community Enterprise Operating System,CentOS)确定IP设备为IDC设备。
通过以上实施例对本发明实施例的描述可知,服务器与IP设备进行交互从而获取到TCP数据包,通过与网络服务器的交互从而获取到HTTP响应包,根据TCP数据包,和/或HTTP响应包可以生成IP设备的设备扫描结果,基于该设备扫描结果,通过云端分析引擎中配置的设备分类规则模型进行关联分析,输出IP设备对应的分类结果。本发明实施例中端口扫描代理单元对IP设备进行扫描时可以提取到IP设备的端口的banner信息、操作系统版本、端口开放的网络协议以及网络应用层数据,通过这些多维度的设备扫描结果对IP设备的刻画,使用设备分类规则模型识别出该IP设备是PC设备,或者IDC设备,或者Router设备,或者IOT设备,相比于现有技术只能识别出设备的操作系统,本发明实施例中可以识别出IP设备的详细类型,由于使用多维度的设备扫描结果来刻画IP设备,因此可以提高对IP设备的识别率和准确性。
为便于更好的理解和实施本发明实施例的上述方案,下面举例相应的应用场景来进行具体说明。
本发明实施例提供了设备的分类方法,通过设备扫描结果对IP设备进行关联分析,以确定出IP设备的属性分类。本发明实施例能够根据给定的IP地址进行设备分类刻画。该技术通过关联网络TCP/IP的协议栈的banner信息、操作系统版本、端口开放情况以及Web应用层数据,使用多维度的设备分类规则模型,识别出IP设备的具体类型,并可以存储识别结果到IP设备分类表。
图5为本发明实施例提供的对IP设备的类型进行划分的示意图,首先定义IP设备的划分标准,图5中涉及的IP设备分类如下:
PC设备:个人PC,普通用户设备通过ADSL拨号或其它宽带方式接入互联网。
IDC设备:互联网服务商提供的专业的服务器托管区域,包含为企业或个人提供租用的网站、存储数据服务资源设备。
Router设备:主要包含路由器、防火墙以及部分出口网关设备等,用来连接和服务不同体系结构网络设备。
IOT设备:包括接入互联网的各种传感设备、智能网络设备等。
需要说明的是,上述的判断依据可以单独作为安全业务需求的一个划分体系,同时为基于IP设备的类型划分提供标准。
图6为本发明实施例提供的IP设备分类计算的应用场景示意图。IP设备属性识别系统主要包括以下功能模块:
数据预处理模块:提取IP协议包头,例如由业务侧将待分类的IP设备通过PCAP数据包推送过来,或者利用部署的分光器、分流器,或通过网络设备的旁路流量复制功能进行,然后进行流量清洗,剔除无效的IP地址。通过定时任务脚本将待扫描分类的目标IP地址存储到统一的任务调度管理系统。
任务调度管理系统,包括多个任务缓存器,通过任务缓存器下发任务到端口扫描Agent。
端口网络扫描模块,包括多个端口扫描代理(Agent),通过任务调度管理系统,下发任务到端口扫描Agent。每个端口扫描Agent会探测待分类目标IP设备开放的端口号,同时解析返回的TCP数据包标志位字段,并获取到端口的banner信息,也可以利用nmap、masscan等开源扫描工具也可获取到banner信息,识别对应端口的网络协议以及操作系统版本。如果目标IP地址同时开放了web服务,则请求特定的js、css文件、特定的目录、文件URL等等,拆分HTTP响应包字段如body、header、title等。
云端分析引擎模块:将上述记录到的banner信息、端口号、操作系统版本以及HTTP关键字段等信息上传到云端分析引擎进行离线判定。针对PC设备、IDC设备、Router设备、IOT设备有不同的聚类算法和设备分类规则模型。例如,PC设备类型会根据IP历史存活度进行打分计算,例如标记同一个IP是否处于长期在线,而IDC设备会结合IP开放的端口协议以及物理机上实际运行的业务情况进行关联分析。例如,开放的服务端口80,及http响应头,社区企业操作系统(Community Enterprise Operating System,CentOS)等一般为IDC设备。Router设备和IOT设备区别于以上类型设备,会根据不同设备厂商定制的专用的网络协议(MQTT\REST\XMPP\AMQP等)、端口服务以及操作系统版本进行关联分析。例如,云端分析引擎模块有将近200条可持续维护的规则模型,能识别覆盖市场上80%以上主流的Router设备和IOT设备类型。
云端设备规则管理系统:每一条设备分类规则可以根据模型的需要添加,为了提高效率,本发明实施例制定了简单易懂的规则格式和字段内容,例如定义了设备指纹、网络协议、设备类型、设备名称、厂商类型以及模式匹配等结构,通过测试规则无误,则灰度上线到云端分析引擎模块。其中,设备指纹是识别设备类型的标识或区别几个类型的一个判断条件,设备名称如某摄像头,某名称交换机。
数据库处理模块:将上述IP设备检测判定结果写入数据库和缓存结果队列中。处理模块可以有多个,以满足并发的数据存储访问的需求。同时针对端口扫描agent以及云端分析引擎进行实时监控和告警,以保证插件和平台工作的稳定性。
如图7所示,为本发明实施例提供的设备的分类方法在互联网安全防御场景中的应用架构示意图。本发明的应用场景为互联网安全防御进行示例说明,包含合法请求和恶意请求的互联网流量首先经分光器(或可以执行流量复制的网络设备)复制一份到流量清洗中心,而流量清洗中心会针对特定的业务做流量过滤规则。以某个新注册用户返优惠券业务活动为说明,一般的正常用户对业务请求是通过个人PC机器发起的,而清洗中心通过调度后面的IP设备分类计算系统,判断出某个时间段内大量的IP请求属于IDC或者Router\IOT设备发起,则很有可能属于被“羊毛党”利用非法IP发起的针对业务恶意自动刷单行为,从而对这部分IP可以下发更严格的阻断策略,将命中黑名单的请求清洗掉,将来自白名单的请求以及其它合法请求回注到网络中去,发送给业务服务器。
如图8所示,为本发明实施例提供的设备的分类方法在安全态势感知场景中的应用架构示意图。以安全态势感知系统或扫描器场景为例,该应用场景是将IP设备分类库应用于应用层的安全防御,典型的场景是通过互联网安全应急中心或其它第三方安全平台感知到某类设备系统出现了漏洞披露,则可利用IP设备分类表,集中将对应的设备厂商型号筛选出来,通过漏洞扫描或者其它方式能感知到目前爆发的漏洞影响范围,同时也为业务修复漏洞提供了修复指导,达到快速收敛漏洞风险危害。
如下表1所示,为本发明实施例提供的设备分类规则模型的一种具体实现方式。
表1
其中,banner指纹可以包含设备指纹,系统指纹,协议指纹,IP设备属性指纹。
如下表2所示,为banner指纹规则的匹配方式,这里模式匹配字段可选值为1和0。
表2
接下来对云端规则管理系统进行说明,在云端规则管理系统上可以方便完成IP设备分类规则的增、删、改、查等功能,为规则的持续扩展提供了便利的接口。
接下来对端口扫描Agent进行说明,本发明实施例中端口扫描Agent可以构成端口快速扫描工具,通过该工具组建分布式扫描集群,基于业内开源的nmap、masscan安全工具进行了深度定制开发和协议规则优化。通过测试对比目前市场上常用端口扫描工具,具有更快的发包率,同时能根据复杂的网络环境重新调整发包模式。通过统一的任务调度中心将待分类扫描的IP数据推送到各个扫描节点上,提高了IP设备识别覆盖率。
本发明实施例中大幅度降低了互联网业务所面临的DDoS、CC、业务活动恶意刷单等攻击风险,本发明实施例可以识别出IP设备的设备类型,提高了WAF、流量清洗平台针对利用恶意“肉鸡”IP发起的大量请求数据包的阻断效果。
DDoS攻击、业务活动恶意刷单中的每一个请求都符合正常的请求特征,单独针对单次请求的特征进行匹配的防御方法无法进行有效的拦截,而通过对IP设备进行了设备属性画像,则能针对性的选择打击阻断策略,提高安全产品对恶意IP识别率,降低对业务造成的风险。
通过对IP设备分类,及时发现并感知出现漏洞的IOT设备,降低了外部通过利用IOT设备组建的僵尸网络对业务发起攻击的风险。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案,下面还提供用于实施上述方案的相关装置。
请参阅图9-a所示,本发明实施例提供的一种设备的分类装置900,可以包括:请求获取模块901、地址获取模块902、设备扫描模块903、设备识别模块904,其中,
请求获取模块901,用于获取互联网协议IP设备发送的访问请求;
地址获取模块902,用于从所述访问请求中获取到所述IP设备的目标IP地址;
设备扫描模块903,用于根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理,得到所述IP设备对应的设备扫描结果,所述设备扫描结果包括如下信息中的至少一种:所述端口的标识banner信息、所述端口开放的网络协议、所述IP设备的操作系统版本和所述IP设备的网络应用层数据;
设备识别模块904,用于使用预设的设备分类规则模型对所述设备扫描结果进行关联分析,输出所述IP设备对应的分类结果,所述分类结果包括:所述IP设备为如下设备类型中的其中一种设备:个人电脑PC设备、互联网数据中心IDC设备、路由Router设备、物联网IOT设备。
在本发明的一些实施例中,请参阅图9-b所示,所述设备的分类装置900还包括:
存储模块905,用于所述地址获取模块902从所述访问请求中获取到所述IP设备的目标IP地址之后,通过定时任务脚本将获取到所述目标IP地址存储到任务调度管理系统。
在本发明的一些实施例中,请参阅图9-c所示,相对于图9-b所示,所述设备的分类装置900还包括:
任务调度模块906,用于所述存储模块905通过定时任务脚本将获取到所述目标IP地址存储到任务调度管理系统之后,通过任务调度管理系统将待扫描分类的目标IP地址分配给任务缓存器,所述任务调度管理系统中包括有多个任务缓存器;通过所述分配的任务缓存器生成任务,并将所述任务下发给端口网络扫描模块中的端口扫描代理单元,所述端口网络扫描模块中包括有多个端口扫描代理单元,所述任务包括:所述待扫描分类的目标IP地址。
在本发明的一些实施例中,所述设备扫描模块903,具体用于通过接收到所述任务的端口扫描代理单元,根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理。
在本发明的一些实施例中,请参阅图9-d所示,所述设备扫描模块903,包括:
发送单元9031,用于向所述IP设备发送传输控制协议TCP请求;
TCP连接判断单元9032,用于判断是否与所述IP设备的端口建立TCP连接;
接收单元9033,用于当所述TCP连接成功建立时,接收所述IP设备返回的TCP数据包;
标识信息获取单元9034,用于根据所述TCP数据包中获取到所述端口的标识banner信息;
响应包获取单元9035,用于当所述端口开放有网络服务时,通过与网络服务器交互,获取到超文本传输协议HTTP响应包;
应用层数据获取单元9036,用于根据所述TCP数据包,和/或所述HTTP响应包获取到所述端口开放的网络协议、所述IP设备的操作系统版本和所述IP设备的网络应用层数据。
在本发明的一些实施例中,所述设备识别模块904,用于将所述IP设备对应的设备扫描结果上报给云端分析引擎;通过所述云端分析引擎中配置的设备分类规则模型对所述设备扫描结果进行关联分析,所述云端分析引擎中预先训练有所述设备分类规则模型。
在本发明的一些实施例中,所述设备分类规则模型包括如下的关联分析规则中的至少一种:端口banner规则、网络协议规则、操作系统版本规则和网络应用层规则。
在本发明的一些实施例中,请参阅图9-e所示,相对于图9-a所示,设备的分类装置900还包括:
规则生成模块907,用于获取预设的规则格式以及对应的字段内容,所述字段内容包括:设备指纹、网络协议、设备类型、设备名称、厂商类型以及模式匹配;对所述规则格式以及对应的字段内容进行设备分类的准确性测试;根据测试无误的规则格式以及对应的字段内容生成所述关联分析规则。
通过以上对本发明实施例的描述可知,首先获取IP设备发送的访问请求,然后从访问请求中获取到IP设备的目标IP地址,接下来根据目标IP地址对IP设备的端口以及端口开放的网络服务进行扫描处理,得到IP设备对应的设备扫描结果,设备扫描结果包括如下信息中的至少一种:端口的标识banner信息、端口开放的网络协议、IP设备的操作系统版本和IP设备的网络应用层数据。最后使用预设的设备分类规则模型对设备扫描结果进行关联分析,输出IP设备对应的分类结果,分类结果包括:IP设备为如下设备类型中的其中一种设备:PC设备、IDC设备、Router设备、IOT设备。本发明实施例中对IP设备进行扫描时可以提取到IP设备的端口的banner信息、操作系统版本、端口开放的网络协议以及网络应用层数据,通过这些多维度的设备扫描结果对IP设备的刻画,使用设备分类规则模型识别出该IP设备是PC设备,或者IDC设备,或者Router设备,或者IOT设备,相比于现有技术只能识别出设备的操作系统,本发明实施例中可以识别出IP设备的详细类型,由于使用多维度的设备扫描结果来刻画IP设备,因此可以提高对IP设备的识别率和准确性。
图10是本发明实施例提供的一种服务器结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的设备的分类方法的步骤可以基于该图10所示的服务器结构。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
综上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照上述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对上述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种设备的分类方法,其特征在于,包括:
获取互联网协议IP设备发送的访问请求;
从所述访问请求中获取到所述IP设备的目标IP地址;
根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理,得到所述IP设备对应的设备扫描结果,所述设备扫描结果包括如下信息中的至少一种:所述端口的标识banner信息、所述端口开放的网络协议、所述IP设备的操作系统版本和所述IP设备的网络应用层数据;
使用预设的设备分类规则模型对所述设备扫描结果进行关联分析,输出所述IP设备对应的分类结果,所述分类结果包括:所述IP设备为如下设备类型中的其中一种设备:个人电脑PC设备、互联网数据中心IDC设备、路由Router设备、物联网IOT设备。
2.根据权利要求1所述的方法,其特征在于,所述从所述访问请求中获取到所述IP设备的目标IP地址之后,所述方法还包括:
通过定时任务脚本将获取到所述目标IP地址存储到任务调度管理系统。
3.根据权利要求2所述的方法,其特征在于,所述通过定时任务脚本将获取到所述目标IP地址存储到任务调度管理系统之后,所述方法还包括:
通过任务调度管理系统将待扫描分类的目标IP地址分配给任务缓存器,所述任务调度管理系统中包括有多个任务缓存器;
通过所述分配的任务缓存器生成任务,并将所述任务下发给端口网络扫描模块中的端口扫描代理单元,所述端口网络扫描模块中包括有多个端口扫描代理单元,所述任务包括:所述待扫描分类的目标IP地址。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理,包括:
通过接收到所述任务的端口扫描代理单元,根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理,得到所述IP设备对应的设备扫描结果,包括:
向所述IP设备发送传输控制协议TCP请求;
判断是否与所述IP设备的端口建立TCP连接;
当所述TCP连接成功建立时,接收所述IP设备返回的TCP数据包;
根据所述TCP数据包中获取到所述端口的标识banner信息;
当所述端口开放有网络服务时,通过与网络服务器交互,获取到超文本传输协议HTTP响应包;
根据所述TCP数据包,和/或所述HTTP响应包获取到所述端口开放的网络协议、所述IP设备的操作系统版本和所述IP设备的网络应用层数据。
6.根据权利要求1至4中任一项所述的方法,其特征在于,所述使用预设的设备分类规则模型对所述设备扫描结果进行关联分析,包括:
将所述IP设备对应的设备扫描结果上报给云端分析引擎;
通过所述云端分析引擎中配置的设备分类规则模型对所述设备扫描结果进行关联分析,所述云端分析引擎中预先训练有所述设备分类规则模型。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述设备分类规则模型包括如下的关联分析规则中的至少一种:端口banner规则、网络协议规则、操作系统版本规则和网络应用层规则。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获取预设的规则格式以及对应的字段内容,所述字段内容包括:设备指纹、网络协议、设备类型、设备名称、厂商类型以及模式匹配;
对所述规则格式以及对应的字段内容进行设备分类的准确性测试;
根据测试无误的规则格式以及对应的字段内容生成所述关联分析规则。
9.一种设备的分类装置,其特征在于,包括:
请求获取模块,用于获取互联网协议IP设备发送的访问请求;
地址获取模块,用于从所述访问请求中获取到所述IP设备的目标IP地址;
设备扫描模块,用于根据所述目标IP地址对所述IP设备的端口以及所述端口开放的网络服务进行扫描处理,得到所述IP设备对应的设备扫描结果,所述设备扫描结果包括如下信息中的至少一种:所述端口的标识banner信息、所述端口开放的网络协议、所述IP设备的操作系统版本和所述IP设备的网络应用层数据;
设备识别模块,用于使用预设的设备分类规则模型对所述设备扫描结果进行关联分析,输出所述IP设备对应的分类结果,所述分类结果包括:所述IP设备为如下设备类型中的其中一种设备:个人电脑PC设备、互联网数据中心IDC设备、路由Router设备、物联网IOT设备。
10.根据权利要求9所述的装置,其特征在于,所述设备的分类装置还包括:
存储模块,用于所述地址获取模块从所述访问请求中获取到所述IP设备的目标IP地址之后,通过定时任务脚本将获取到所述目标IP地址存储到任务调度管理系统。
11.根据权利要求10所述的装置,其特征在于,所述设备的分类装置还包括:
任务调度模块,用于所述存储模块通过定时任务脚本将获取到所述目标IP地址存储到任务调度管理系统之后,通过任务调度管理系统将待扫描分类的目标IP地址分配给任务缓存器,所述任务调度管理系统中包括有多个任务缓存器;通过所述分配的任务缓存器生成任务,并将所述任务下发给端口网络扫描模块中的端口扫描代理单元,所述端口网络扫描模块中包括有多个端口扫描代理单元,所述任务包括:所述待扫描分类的目标IP地址。
12.根据权利要求9至11中任一项所述的装置,其特征在于,所述设备扫描模块,包括:
发送单元,用于向所述IP设备发送传输控制协议TCP请求;
TCP连接判断单元,用于判断是否与所述IP设备的端口建立TCP连接;
接收单元,用于当所述TCP连接成功建立时,接收所述IP设备返回的TCP数据包;
标识信息获取单元,用于根据所述TCP数据包中获取到所述端口的标识banner信息;
响应包获取单元,用于当所述端口开放有网络服务时,通过与网络服务器交互,获取到超文本传输协议HTTP响应包;
应用层数据获取单元,用于根据所述TCP数据包,和/或所述HTTP响应包获取到所述端口开放的网络协议、所述IP设备的操作系统版本和所述IP设备的网络应用层数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810509974.0A CN110213212B (zh) | 2018-05-24 | 2018-05-24 | 一种设备的分类方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810509974.0A CN110213212B (zh) | 2018-05-24 | 2018-05-24 | 一种设备的分类方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110213212A true CN110213212A (zh) | 2019-09-06 |
CN110213212B CN110213212B (zh) | 2021-07-16 |
Family
ID=67778862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810509974.0A Active CN110213212B (zh) | 2018-05-24 | 2018-05-24 | 一种设备的分类方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110213212B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110830467A (zh) * | 2019-11-04 | 2020-02-21 | 中国人民解放军战略支援部队信息工程大学 | 基于模糊预测的网络可疑资产识别方法 |
CN110891071A (zh) * | 2019-12-25 | 2020-03-17 | 杭州安恒信息技术股份有限公司 | 一种网络流量信息获取方法、装置及其相关设备 |
CN110943884A (zh) * | 2019-11-22 | 2020-03-31 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
CN112492056A (zh) * | 2020-11-13 | 2021-03-12 | 中盈优创资讯科技有限公司 | 一种ip地址使用分析方法及装置 |
CN112583597A (zh) * | 2019-09-30 | 2021-03-30 | 卡巴斯基实验室股份制公司 | 使用库存规则来识别计算机网络设备的系统及方法 |
CN112787875A (zh) * | 2019-11-06 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 设备识别方法、装置及设备、存储介质 |
CN112910749A (zh) * | 2021-01-18 | 2021-06-04 | 国汽智控(北京)科技有限公司 | 一种can通道连接设备识别方法及数据传输方法、系统 |
CN112953961A (zh) * | 2021-03-14 | 2021-06-11 | 国网浙江省电力有限公司电力科学研究院 | 配电房物联网中设备类型识别方法 |
CN113612655A (zh) * | 2021-07-27 | 2021-11-05 | 北京机沃科技有限公司 | 一种互联网资产指纹模糊探测的方法 |
CN113839833A (zh) * | 2021-09-24 | 2021-12-24 | 北京天融信网络安全技术有限公司 | 静默设备的识别方法、装置及计算机设备、存储介质 |
CN114465925A (zh) * | 2022-02-08 | 2022-05-10 | 北京知道未来信息技术有限公司 | 一种网络设施识别方法、装置、服务器及存储介质 |
CN115208963A (zh) * | 2022-07-02 | 2022-10-18 | 北京华顺信安科技有限公司 | 一种多维度的ip资产标定方法 |
CN115314425A (zh) * | 2022-07-12 | 2022-11-08 | 清华大学 | 网络扫描装置 |
CN116017412A (zh) * | 2022-12-27 | 2023-04-25 | 苏州融硅新能源科技有限公司 | 一种用于获取设备信息的网关设备、方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102340485A (zh) * | 2010-07-19 | 2012-02-01 | 中国科学院计算技术研究所 | 基于信息关联的网络安全态势感知系统及其方法 |
CN102684897A (zh) * | 2011-03-14 | 2012-09-19 | 上海宝信软件股份有限公司 | Tcp/ip网络私接设备发现方法 |
CN105490866A (zh) * | 2014-09-19 | 2016-04-13 | 国家电网公司 | 主机开放端口审计的方法和系统 |
US20170279833A1 (en) * | 2016-03-24 | 2017-09-28 | Cisco Technology, Inc. | Edge-based machine learning for encoding legitimate scanning |
CN107995192A (zh) * | 2017-12-01 | 2018-05-04 | 贵州电网有限责任公司 | 一种网络边界违规内联的检测与阻断系统 |
-
2018
- 2018-05-24 CN CN201810509974.0A patent/CN110213212B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102340485A (zh) * | 2010-07-19 | 2012-02-01 | 中国科学院计算技术研究所 | 基于信息关联的网络安全态势感知系统及其方法 |
CN102684897A (zh) * | 2011-03-14 | 2012-09-19 | 上海宝信软件股份有限公司 | Tcp/ip网络私接设备发现方法 |
CN105490866A (zh) * | 2014-09-19 | 2016-04-13 | 国家电网公司 | 主机开放端口审计的方法和系统 |
US20170279833A1 (en) * | 2016-03-24 | 2017-09-28 | Cisco Technology, Inc. | Edge-based machine learning for encoding legitimate scanning |
CN107995192A (zh) * | 2017-12-01 | 2018-05-04 | 贵州电网有限责任公司 | 一种网络边界违规内联的检测与阻断系统 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112583597A (zh) * | 2019-09-30 | 2021-03-30 | 卡巴斯基实验室股份制公司 | 使用库存规则来识别计算机网络设备的系统及方法 |
CN110830467A (zh) * | 2019-11-04 | 2020-02-21 | 中国人民解放军战略支援部队信息工程大学 | 基于模糊预测的网络可疑资产识别方法 |
CN112787875B (zh) * | 2019-11-06 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 设备识别方法、装置及设备、存储介质 |
CN112787875A (zh) * | 2019-11-06 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 设备识别方法、装置及设备、存储介质 |
CN110943884A (zh) * | 2019-11-22 | 2020-03-31 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
CN110943884B (zh) * | 2019-11-22 | 2024-05-17 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
CN110891071A (zh) * | 2019-12-25 | 2020-03-17 | 杭州安恒信息技术股份有限公司 | 一种网络流量信息获取方法、装置及其相关设备 |
CN112492056A (zh) * | 2020-11-13 | 2021-03-12 | 中盈优创资讯科技有限公司 | 一种ip地址使用分析方法及装置 |
CN112910749A (zh) * | 2021-01-18 | 2021-06-04 | 国汽智控(北京)科技有限公司 | 一种can通道连接设备识别方法及数据传输方法、系统 |
CN112953961A (zh) * | 2021-03-14 | 2021-06-11 | 国网浙江省电力有限公司电力科学研究院 | 配电房物联网中设备类型识别方法 |
CN113612655A (zh) * | 2021-07-27 | 2021-11-05 | 北京机沃科技有限公司 | 一种互联网资产指纹模糊探测的方法 |
CN113839833B (zh) * | 2021-09-24 | 2023-12-05 | 北京天融信网络安全技术有限公司 | 静默设备的识别方法、装置及计算机设备、存储介质 |
CN113839833A (zh) * | 2021-09-24 | 2021-12-24 | 北京天融信网络安全技术有限公司 | 静默设备的识别方法、装置及计算机设备、存储介质 |
CN114465925A (zh) * | 2022-02-08 | 2022-05-10 | 北京知道未来信息技术有限公司 | 一种网络设施识别方法、装置、服务器及存储介质 |
CN115208963A (zh) * | 2022-07-02 | 2022-10-18 | 北京华顺信安科技有限公司 | 一种多维度的ip资产标定方法 |
CN115314425A (zh) * | 2022-07-12 | 2022-11-08 | 清华大学 | 网络扫描装置 |
CN115314425B (zh) * | 2022-07-12 | 2024-02-23 | 清华大学 | 网络扫描装置 |
CN116017412A (zh) * | 2022-12-27 | 2023-04-25 | 苏州融硅新能源科技有限公司 | 一种用于获取设备信息的网关设备、方法及系统 |
CN116017412B (zh) * | 2022-12-27 | 2024-04-16 | 苏州融硅新能源科技有限公司 | 一种用于获取设备信息的网关设备、方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110213212B (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110213212A (zh) | 一种设备的分类方法和装置 | |
US10505932B2 (en) | Method and system for tracking machines on a network using fuzzy GUID technology | |
US11399288B2 (en) | Method for HTTP-based access point fingerprint and classification using machine learning | |
US20230089187A1 (en) | Detecting abnormal packet traffic using fingerprints for plural protocol types | |
WO2022083417A1 (zh) | 一种数据包处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品 | |
KR101010302B1 (ko) | Irc 및 http 봇넷 보안 관제를 위한 관리 시스템 및 그 방법 | |
CN105554009B (zh) | 一种通过网络数据获取设备操作系统信息的方法 | |
US20090182864A1 (en) | Method and apparatus for fingerprinting systems and operating systems in a network | |
CN102055813A (zh) | 一种网络应用的访问控制方法及其装置 | |
CN111147305A (zh) | 一种网络资产画像提取方法 | |
US11252176B2 (en) | Optimal scanning parameters computation methods, devices and systems for malicious URL detection | |
US10659335B1 (en) | Contextual analyses of network traffic | |
CN110245491A (zh) | 网络攻击类型的确定方法、装置以及存储器和处理器 | |
CN111565203B (zh) | 业务请求的防护方法、装置、系统和计算机设备 | |
CN106330849A (zh) | 防止域名劫持的方法和装置 | |
CN102724317A (zh) | 一种网络数据流量分类方法和装置 | |
CN110933111B (zh) | 一种基于DPI的DDoS攻击识别方法及装置 | |
Osanaiye et al. | TCP/IP header classification for detecting spoofed DDoS attack in Cloud environment | |
CN109587156A (zh) | 异常网络访问连接识别与阻断方法、系统、介质和设备 | |
CN114679292B (zh) | 基于网络空间测绘的蜜罐识别方法、装置、设备及介质 | |
CN112532605B (zh) | 一种网络攻击溯源方法及系统、存储介质、电子设备 | |
Fei et al. | The abnormal detection for network traffic of power iot based on device portrait | |
CN111314379B (zh) | 被攻击域名识别方法、装置、计算机设备和存储介质 | |
CN110912887B (zh) | 一种基于Bro的APT监测系统和方法 | |
CN113810381A (zh) | 一种爬虫检测方法、web应用云防火墙、装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |