CN108173692A - 一种基于主动和被动相结合的全网设备感知系统和感知方法 - Google Patents

Abstract

本发明涉及一种基于主动和被动相结合的全网设备感知系统和感知方法。该感知系统包括：A、发现层：包括SNMP发现；探针发现；ICMP发现；被动发现；B、缓存层：负责接收发现层的发现结果，向识别层发送识别请求，调度识别层进行识别，最后将识别的结果发送到缓存层汇总，缓存层将各发现模块获取的整体信息汇总并将设备信息推送给其它业务系统；C、识别层：被动识别层和主动识别层。本发明的有益效果：本发明不依赖于在设备上安装客户端，可以适应复杂的网络环境。而且通过被动识别速度快的优势，可以快速识别设备状态变化。并且结合了主动识别的优点，可以主动探测到被动无法获取到的信息，使获取的设备信息更加全面、丰富。

Description

一种基于主动和被动相结合的全网设备感知系统和感知方法

技术领域

本发明涉及一种全网设备感知系统，特别涉及一种基于主动和被动相结合的全网设备感知系统和感知方法。

背景技术

GDPS：全网设备感知系统（Global Devices Perception System），是用来进行全网设备发现、变化感知的系统，是一个通过对网络的主动探测形成设备资源基线，通过镜像包数据分析感知设备变化，最终做到掌握全网资源动态。

SNMP：简单网络管理协议（SNMP），由一组网络管理的标准组成，包含一个应用层协议（application layer protocol）、数据库模型（database schema）和一组资源对象。该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况。

近年来网络发展规模越来越大，网络中的接入设备、传输设备和主机数量以接近指数的速率增长，尤其是物联网系统中设备类型复杂，设备也难以集中接入。单纯的依赖被动或主动识别设备识别方式也难以有效的获取设备信息。集中高效的网络设备发现和识别方法就显得尤为重要。

在现有的解决方案中，对网络设备的管控通常是基于客户端的管控。此种解决方案难以适应复杂的网络环境，例如无法安装客户端的物联网环境。GDPS通过通用的SNMP协议、ICMP协议与探针相结合的方式进行全网设备发现。并通过主动与被动相结合的方式实现设备信息识别，极大的增强了复杂网络环境下的设备发现与识别能力。

传统的设备发现和识别技术方案依赖客户端采集设备信息，或者单纯的依赖被动流量分析或主动探测获取设备信息，存在以下缺陷：

1、需要部署客户端，难以适应物联网等设备类型复杂的网络环境。

2、单纯的被动流量分析依赖设备的网络活动，不能稳定的获取设备信息。

3、单纯的主动探测分析难以获取设备的行为特征信息。

发明内容

本专利基于主动和被动相结合的全网设备感知系统和感知方法，采用多种方式对全网设备发现和识别，无需安装客户端，适应各种复杂的网络环境。同时结合主动和被动的探测方式，既可以稳定的获取设备的信息，又兼顾了识别效率，保证了设备信息获取的实时性和稳定性。

网络管理和网络准入的前提是了解网络，自然包括对全网资源的发现、识别及快速地对危险行为进行发现。由于当前多数网络结构复杂，设备种类繁多，对自动化整合分析全网资源提出了挑战。

GDPS是用来进行全网设备发现、变化感知的系统，是一个通过对网络的主动探测形成设备资源基线，通过镜像包数据分析感知设备变化，最终做到掌握全网资源动态，发现违规发生地点等，该平台只通过一组预设的交互接口从外部接收命令，向外部报告发现结果。

本发明是通过以下技术措施来实现的

本发明公开了一种基于主动和被动相结合的全网设备感知系统，其特征在于包括：

A、发现层：

通过多种手段获取全网的网络设备，并形成设备信息列表，通过以下一种或几种发现方式获取：

1）SNMP发现：SNMP用于发现IPMAC、以上联设备和上联端口；

2）探针发现：通过在多个点部署小网段资源监测点或独立部署的探针，进行探测探针所在的网段的所有设备；探针的作用是对一片小范围(通常是探针所在的网段)的所有设备进行探测，除探测IPMAC本身外，探针还可以进行深入的探测，如可以发现本网段的设备类型。一个典型应用是基于ARP包分析可极快速发现本网段的新设备入网，发现后再进行主动探测，识别到新接入设备是个无线小路由器，则可快速报警。探针方式优势在于支持NAT环境，只需要每个子网下有一个探针即可工作，劣势在于需要增加设备(当使用微型工控机做探针时)或依赖客户端(当使用WINDOWS终端探针时)及增大了部署成本。

3）ICMP发现：按网段进行ICMP扫描；优势是配置超级简单，发现速度快(每秒可上百个)；劣势是仅能发现IP，重要信息如MAC、上联接口等信息无法获取，个别设备可能禁止ICMP响应而无法发现。

4）被动发现：对接入到网格上的设备，通过配置端口镜像，将网络数据包镜像到本系统，获取网络流量；通过被动的数据流分析，可以准确、快速的发现网络设备。发现迅速准确，拥有极快的响应速度。缺点是只能发现存在网络活动的设备，而且获取的信息较少。

B、缓存层：

负责接收发现层的发现结果，向识别层发送识别请求，调度识别层进行识别，最后将识别的结果发送到缓存层汇总，缓存层将各发现模块获取的整体信息汇总并将设备信息推送给其它业务系统；

C、识别层：

识别层主要分为两大部分：被动识别层和主动识别层，用于将缓存层发送来的信息进行识别和处理，并将识别和处理后的信息发送到缓存层；

被动识别的优点在于识别速度快、准确，而且可以获取设备的行为特征。但被动依赖于设备的网络活动，对于网络活动较少的设备，难以稳定的获取有效信息。主动识别可以补足被动识别的缺点，通过主动激发，可以稳定的获取设备的特征信息，但识别时间较长。通过结合主动和被动两种方式，可以有效且稳定的获取设备的信息。

1）被动识别层

被动识别层通过对被动发现的网络设备的流量信息进行解包和分析，获取设备的特征信息，所述的特征信息包括有协议特征数据和行为特征数据。

2）主动识别

主动识别层通过一系列的扫描程序，主动向设备发送探测包，并通过分析设备的响应来获取设备的信息。

本发明还公开了一种基于主动和被动相结合的全网设备感知方法，其特征在于包括

A、发现和识别网络设备的网络信息，并形成设备信息列表，通过以下一种或几种发现方式获取：

（1）SNMP发现：通过SNMP获取网络信息，包括设备的上联设备和上联端口；通过上联设备用来快速地查找或定位设备，并能直接在网络设备上标注；通过上联端口进行位置报警或基于背板功能；

（2）探针发现：通过在多个点部署小网段资源监测点或独立部署的探针，进行探测探针所在的网段的所有设备；

（3）ICMP发现：按网段进行ICMP扫描；

（4）被动发现：对接入到网格上的设备，通过配置端口镜像，将网络数据包镜像到本系统，获取网络流量；

B、进行缓存处理：当发现层发现网络设备之后，将发现的设备信息发送给缓存层，此时缓存层只获取到了设备的最基本信息，然后缓存层向识别层发送识别请求，识别层各模块接收到识别请求之后对该设备进行多项识别，最后将识别的结果发送到缓存层汇总，缓存层将各发现模块获取的整体信息汇总并将设备信息推送给其它业务系统；

C、识别处理：识别处理分为被动识别和主动识别两部分；用于将缓存层发送来的信息进行识别和处理，并将识别和处理后的信息发送到缓存层；

被动识别的优点在于识别速度快、准确，而且可以获取设备的行为特征。但被动依赖于设备的网络活动，对于网络活动较少的设备，难以稳定的获取有效信息。主动识别可以补足被动识别的缺点，通过主动激发，可以稳定的获取设备的特征信息，但识别时间较长。通过结合主动和被动两种方式，可以有效且稳定的获取设备的信息。

（1）被动识别：通过对网络流量信息进行解包和分析，获取设备的特征信息；

对获取的网络流量进行数据解析：获取到网络流量之后，对其进行分层拆包解析，获取可以进行识别的信息，分析模块可以将其中的特征提取出来，形成系统的指纹特征；

提取特征：解析之后的数据包，变为一系列协议特征数据和用户数据，通过对协议特征数据进行收集，并对用户数据综合进行行为分析，分别形成协议特征数据和行为特征数据，综合提取出设备指纹;

（2）主动识别：

通过一系列的扫描程序，主动向设备发送探测包，并通过分析设备的响应来获取设备的信息，所述的信息包括识别设备的操作系统、服务信息，通过一系列特征包探测，获取到设备网络协议栈的特征信息，通过与预置数据库特征比对，获取到设备的操作系统信息；通过端口扫描，获取设备的服务信息，通过多种主动请求并分析响应的方式，获取设备的信息，并上报给缓存层，基线对此汇总后发送给业务对此处理。

本方案关键点在于通过多种手段获取全网设备信息列表，并感知设备状态的实时变化。设备信息列表的获取关键在于主动和被动相结合的识别手段，所以本天的关键点在于主动识别和被动识别相结合的多种识别设备信息过程。

本发明的有益效果：本发明不依赖于在设备上安装客户端，可以适应复杂的网络环境。而且通过被动识别速度快的优势，可以快速识别设备状态变化。并且结合了主动识别的优点，可以主动探测到被动无法获取到的信息，使获取的设备信息更加全面、丰富。

附图说明

图1为本发明实施例中gdps的框架示意图；

图2为本发明被动识识的流程图；

具体实施方式。

现有一视频监控网络，现想要对网络内的设备进行集中管控。传统的基于客户端的管控手段难以实施，而通过gdps可以有效的解决此类问题。通过简单的配置SNMP或直接配置网段，就可以自动发现全网存在的设备。并对全网设备信息自动收集汇总，实时展示设备状态，并对伪冒入侵等事件实时提出报警。

如图1所示，为本实施例的框架示意图。

现有一视频监控网络，现想要对网络内的设备进行集中管控。传统的手段是在网络内的设备上安装客户端，从而实现对网络内设备的管控。然而，并非所有设备都可以通过安装客户端的方式管控，如摄像机等嵌入式设备就无法安装客户端。而且视频网内设备类型、厂商、地理分布等均存在重大差异，导致传统的管理手段难以适应。而本全网设备感知系统可以有效的解决此类问题。

通过简单的配置snmp或者直接配置网络内设备的网段信息，本系统就可以自动发现全网内存活的网络设备，获取全网内存活的网络设备的列表。后续可以通过主动探测或被动流量分析的方式自动对网络设备的信息进行收集汇总，实时展示网络内的设备状态。当非法人员恶意接入本网络时，本系统可以自动识别到新接入了设备或者原设备的信息产生了变化，并及时向运维人员发出报警。

1.识别层

GDPS第一步是形成全网资源列表，这样才能进行下一步指纹提取，所以发现全网的网络设备尤为重要。获取全网IPMAC的方式很多，最重要的是SNMP方式。

（1）SNMP发现

SNMP应用简单，并且可以获取丰富的网络信息。除IPMAC外，还可以获取到设备的上联设备和上联端口。上联设备可以用来快速地查找或定位设备，如在拓扑图上直接查找一个IP接入到哪个网络设备或产生报警时能直接在网络设备上标注。上联端口可用于更精确的位置报警或基于背板的功能，SNMP发现优势在于和拓扑的深入整合及定位，并且实施简单适用范围广。

（2）探针发现

在多个点部署小网段资源监测点，因为探针可以作为安全终端的功能存在，当然探针也可独立部署，甚至可部署在微型工控机上。探针的作用是对一片小范围(通常是探针所在的网段)的所有设备进行探测，除探测IPMAC本身外，探针还可以进行深入的探测，如可以发现本网段的设备类型。一个典型应用是基于ARP包分析可极快速发现本网段的新设备入网，发现后再进行主动探测，识别到新接入设备是个无线小路由器，则可快速报警。探针方式优势在于支持NAT环境，只需要每个子网下有一个探针即可工作，劣势在于需要增加设备(当使用微型工控机做探针时)或依赖客户端(当使用WINDOWS终端探针时)及增大了部署成本。

（3）ICMP发现

在一些特殊的网络环境无法提供SNMP的环境，SNMP方式不再适用，此时可使用更简单的方法：按网段进行ICMP扫描。优势是配置超级简单，发现速度快(每秒可上百个)；劣势是仅能发现IP，重要信息如MAC、上联接口等信息无法获取，个别设备可能禁止ICMP响应而无法发现。

（4）被动发现

通过被动的数据流分析，可以准确、快速的发现网络设备。发现迅速准确，拥有极快的响应速度。缺点是只能发现存在网络活动的设备，而且获取的信息较少。

2.缓存层

缓存层是gdps系统的核心部分，主要负责接收发现层的发现结果，调度主动识别模块进行识别，最终形成整体设备基线信息，并将产生的变化推送给业务系统。

当发现层发现网络设备之后，将发现的设备信息发送给缓存层，此时缓存层只获取到了设备的最基本信息：ip(也可能获取到MAC)。然后缓存层向识别层发送识别请求，识别层各模块接收到识别请求之后对该设备进行多项识别，最后将识别的结果发送到缓存层汇总。缓存层将各发现模块获取的整体信息汇总并将设备信息推送给其它业务系统。

3.识别层

识别层主要分为两大部分：被动识别和主动识别。被动识别的优点在于识别速度快、准确，而且可以获取设备的行为特征。但被动依赖于设备的网络活动，对于网络活动较少的设备，难以稳定的获取有效信息。主动识别可以补足被动识别的缺点，通过主动激发，可以稳定的获取设备的特征信息，但识别时间较长。通过结合主动和被动两种方式，可以有效且稳定的获取设备的信息。

（1）被动识别

如图2所示，被动识别通过对镜像的网络设备的流量进行解包分析，获取设备的特征信息。被动识别主要包含两部分：数据包解析和分析。数据包解析是将抓取的数据包进行拆包，解析为可直接判别的数据项。分析模块对解析的结果内容进行分析，如分析设备浏览器客户端信息、访问了哪些服务等，从而判断设备的操作系统或设备类型等信息。

被动识别另一个用途是获取设备的行为特征。例如设备开启了哪些长连接的端口、访问了哪些服务等，通过一系列行为特征的分析比对，当设备的行为特征发生显著变化时，设备就可能存在冒用的情况。通过被动行为特征分析可以快速的发现设备冒用的情况，加快伪冒设备的识别。

（2）主动识别

主动识别通过一系列的扫描程序，主动向设备发送探测包，并通过分析设备的响应来获取设备的信息。主动识别可以用来识别设备的操作系统、服务信息等。通过一系列特征包探测，可以获取到设备网络协议栈的特征信息，通过与预置数据库特征比对，可以获取到设备的操作系统信息。通过端口扫描，可以获取设备开放了哪些服务。例如设备开启了http服务，那么可以通过获取http的主页获取设备相关的信息。总之，通过多种主动请求并分析响应的方式，获取设备的信息，并上报给缓存层，基线对此汇总后发送给业务对此处理。

Claims (2)

1.一种基于主动和被动相结合的全网设备感知系统，其特征在于包括：

A、发现层：

通过多种手段获取全网的网络设备，并形成设备信息列表，通过以下一种或几种发现方式获取：

1) SNMP发现：SNMP用于发现IPMAC、以上联设备和上联端口；

2) 探针发现：通过在多个点部署小网段资源监测点或独立部署的探针，进行探测探针所在的网段的所有设备；

3) ICMP发现：按网段进行ICMP扫描；

4) 被动发现：对接入到网格上的设备，通过配置端口镜像，将网络数据包镜像到本系统，获取网络流量；

B、缓存层：

负责接收发现层的发现结果，向识别层发送识别请求，调度识别层进行识别，最后将识别的结果发送到缓存层汇总，缓存层将各发现模块获取的整体信息汇总并将设备信息推送给其它业务系统；

C、识别层：

识别层主要分为两大部分：被动识别层和主动识别层，用于将缓存层发送来的信息进行识别和处理，并将识别和处理后的信息发送到缓存层；

被动识别层

被动识别层通过对被动发现的网络设备的流量信息进行解包和分析，获取设备的特征信息，所述的特征信息包括有协议特征数据和行为特征数据；

主动识别层

主动识别层通过一系列的扫描程序，主动向设备发送探测包，并通过分析设备的响应来获取设备的信息。

2.一种基于主动和被动相结合的全网设备感知方法，其特征在于包括

A、发现和识别网络设备的网络信息，并形成设备信息列表，通过以下一种或几种发现方式获取：

（1）SNMP发现：通过SNMP获取网络信息，包括设备的上联设备和上联端口；通过上联设备用来快速地查找或定位设备，并能直接在网络设备上标注；通过上联端口进行位置报警或基于背板功能；

（2）探针发现：通过在多个点部署小网段资源监测点或独立部署的探针，进行探测探针所在的网段的所有设备；

（3）ICMP发现：按网段进行ICMP扫描；

（4）被动发现：对接入到网格上的设备，通过配置端口镜像，将网络数据包镜像到本系统，获取网络流量；

B、进行缓存处理：当发现层发现网络设备之后，将发现的设备信息发送给缓存层，此时缓存层只获取到了设备的最基本信息，然后缓存层向识别层发送识别请求，识别层各模块接收到识别请求之后对该设备进行多项识别，最后将识别的结果发送到缓存层汇总，缓存层将各发现模块获取的整体信息汇总并将设备信息推送给其它业务系统；

C、识别处理：识别处理分为被动识别和主动识别两部分；用于将缓存层发送来的信息进行识别和处理，并将识别和处理后的信息发送到缓存层；

（1）被动识别：通过对网络流量信息进行解包和分析，获取设备的特征信息；

对获取的网络流量进行数据解析：获取到网络流量之后，对其进行分层拆包解析，获取可以进行识别的信息，分析模块可以将其中的特征提取出来，形成系统的指纹特征；

提取特征：解析之后的数据包，变为一系列协议特征数据和用户数据，通过对协议特征数据进行收集，并对用户数据综合进行行为分析，分别形成协议特征数据和行为特征数据，综合提取出设备指纹;

（2）主动识别：

通过一系列的扫描程序，主动向设备发送探测包，并通过分析设备的响应来获取设备的信息，所述的信息包括识别设备的操作系统、服务信息，通过一系列特征包探测，获取到设备网络协议栈的特征信息，通过与预置数据库特征比对，获取到设备的操作系统信息；通过端口扫描，获取设备的服务信息，通过多种主动请求并分析响应的方式，获取设备的信息，并上报给缓存层，基线对此汇总后发送给业务对此处理。