CN114611576A - 电网中终端设备的精准识别技术 - Google Patents

Abstract

本发明公开了一种电网中终端设备的精准识别技术，其包括：获取终端设备的IP地址，收集所述终端设备的设备指纹并通过指纹识别方式加以识别；获取终端设备的网络流量，提取所述终端设备的行为特征数据并通过机器学习方式加以识别；排列上述设备识别方式的融合优先级，优先级别高的识别方式所得到的结果被确认为融合结果，所述融合结果包括终端设备类型、厂家、型号与操作系统。本发明不依赖终端设备具有特定的注册功能，对终端设备没有额外需求，使用多种设备识别技术对物联网终端进行主动识别，提高了识别的准确性以及一般性。

Description

电网中终端设备的精准识别技术

技术领域

本发明涉及精准识别领域，尤其涉及一种电网中终端设备的精准识别技术。

背景技术

智能电网和物联网的深度融合，将会大大促进电网公司智能化产业的发展，基于新的业务需求，泛在电力物联网全新理念将给现有的业务终端、网络、平台带来新的变化，给安全体系带来巨大的挑战。安全防护是泛在物联网健康快速发展的基础，物联网安全防护体系建设仍然存在薄弱环节，需要从基础安全防护体系、终端层安全防护技术等方面进一步加强。

当前公司的电力物联网，以终端为基础，利用自有或租赁的网络和信息化系统，对公司内外提供业务服务，而终端层各类终端由于数量众多或资源技术能力的限制，防护能力普遍较弱，是物联网系统信息安全的薄弱环节，日渐成为限制其广泛部署和发展的主要障碍。因此，泛在物联网的网络安全防护重点应该在于终端层。

终端层的安全防护风险较为突出，缺乏监测分析等关键安全防护手段。泛在物联网终端设备具有数量规模庞大、地域分布广泛、本体防护难度大的特点，可能造成泄露用户敏感数据、威胁企业正常生产经营、冲击关键信息基础设施的安全隐患，因此泛在物联网终端本体安全、接入认证、监测分析等安全问题需要解决。

加强终端层安全防护首先要从终端资产管理入手，对全网终端资产做到一目了然。因此，终端设备的精准识别是很重要的技术手段。

发明内容

本发明针对上述问题，提供一种针对不同种类终端设备进行精准识别的方法。

为了达到上述目的，本发明提供了一种电网中终端设备的精准识别技术，包括：

S1：获取终端设备的IP地址，收集所述终端设备的设备指纹并通过指纹识别方式加以识别，所述指纹识别方式包括ONVIF、SNMP、NMAP、HTTP特征URL以及开放端口方式；

S2：所述ONVIF方法采用WSDL+XML模式，通过获取终端设备的Web Services接口识别终端设备类型，所述ONVIF适用于视频类终端设备；

S3：所述SNMP方法包括网络管理站、安装于终端设备上的代理程序以及安装于终端设备上的MIB库，所述MIB库包括终端设备的各项参数，所述网络管理站通过代理程序获取MIB库中终端设备的各项参数并识别终端设备类型，所述SNMP适用于网络类终端设备；

S4：所述NMAP方法将特定数据包发送至终端设备，所述终端设备产生响应并返回至NMAP，所述NMAP根据所述响应中的设备特征信息识别终端设备类型；

S5：所述HTTP特征URL方法针对于提供网页界面的终端设备，通过向终端设备发送特定的HTTP请求，终端设备返回HTTP响应，所述HTTP特征URL方法根据所述HTTP响应信息提取终端设备的特征信息即设备指纹，并与事先构建好的设备指纹库进行比对、识别终端设备类型；

S6：所述开放端口方式通过开放端口与终端设备的映射关系识别终端设备类型，所述开放端口方式适用于开放特定端口的终端设备；S7：获取终端设备的网络流量，提取所述终端设备的行为特征数据并通过机器学习方式加以识别终端设备的类型；

S8：排列上述设备识别方式的融合优先级，优先级别高的识别方式所得到的结果被确认为融合结果，所述融合结果包括终端设备类型、厂家、型号与操作系统。

优选方式下，所述设备识别方式的融合优先级为：

SNMP识别方式＞ONVIF识别方式＞HTTP特征URL识别方式＞开放端口识别方式＞机器学习识别方式＞NMAP识别方式。

优选方式下，所述机器学习识别方式为：

S1：抓取终端设备的网络访问行为即网络流量，对所述网络流量进行预处理并得到连接信息，所述连接信息包括IP五元组信息与数据包大小信息；

S2：对所述连接信息聚合计算并得到各IP的行为特征数据，对所述行为特征数据标签化，进而对行为特征数据所代表的终端设备分类并作为训练集备用；

S3：通过训练集对机器学习模型进行训练并得到满足模型精度要求的机器学习模型；

S4：将新的网络流量输入至所述经过训练后的机器学习模型，所述机器学习模型输出网络流量所代表终端设备的识别结果。

本发明的有益效果为：本发明不依赖终端设备具有特定的注册功能，对终端设备没有额外需求；本发明使用多种设备识别技术对物联网终端进行主动识别，包括基于设备指纹的识别以及基于机器学习的识别。

附图说明

图1为本发明的总体流程图。

具体实施方式

具体实施例：

电网中物联终端设备种类多样，数量庞大，不同设备的工作原理和通讯协议有很多差异。为了能对终端设备进行精准识别，需要结合多种技术手段，对设备进行多维度的识别，并通过智能的方式结合多种识别结果，最终达到对设备的精准识别。已有相似技术包括：一种用于电网的设备发现和识别方法及系统，其专利申请号为CN202011339652.X。

相比于已有技术，本发明的创新之处包括以下几点：

(1)对终端设备的要求不同

现有技术依赖终端实现特定的注册机制，主动向中心系统注册设备信息，中心系统从注册信息中获取设备类型等信息。本技术不依赖终端设备具有特定的注册功能。对终端设备没有额外需求。

(2)识别的方式不同

现有技术通过设备注册时上报的设备信息来识别。本技术通过多种方式对设备进行多角度的识别，包括通过设备指纹匹配进行的主动识别和基于机器学习对网络行为特征数据的设备识别。具体地，基于设备指纹的识别可以细分为多种技术，包括SNMP、ONVIF、HTTP、开放端口以及NMAP。基于机器学习的识别使用终端在通讯过程中的多维网络行为特征数据，使用高效的基于梯度提升的决策树分类算法对设备进行分类。

(3)识别技术的适用范围不同

现有技术只支持那些实现的注册功能的终端。对于那些没有实现该功能的设备无法识别。由于物理网终端资源受限，软件升级困难等特点，大量的设备不具有注册功能。

本技术适用于任何有网络通讯行为的终端。只要终端设备具有IP地址可达，本技术就可以通过主动识别技术去收集设备指纹，并通过指纹匹配进行识别。另外，只要设备在网络中有网络通讯，那么本技术就可以通过采集该设备的网络流量，提取网络流量中的行为特征，把该行为特征输入到训练好的机器学习模型进行设备识别。

如图1所示，本发明使用多种设备识别技术对设备进行多维度的识别。其中指纹识别类技术包括ONVIF，SNMP，NMAP，HTTP特征URL，端口。机器学习类识别技术主要是使用XGBoost机器学习模型通过终端设备的网络行为特征进行识别。各种识别技术的试用设备信息如下：

(1)ONVIF，其适用于视频类设备，例如摄像头，NVR。准确性较高。

(2)SNMP，适用于网络设备，例如交换机，路由器。准确性较高。

(3)NMAP，通用的设备识别技术。准确性中等。

(4)HTTP特征URL，通用的设备识别技术。准确性较高。

(5)开放端口，适用于开放特定端口的设备，准确性较高。例如开放9001端口的打印机，开放135端口的Windows主机。

(6)XGBoost机器学习模型，通用的设备识别技术。准确性较高。

本技术通过使用上述技术对设备进行多维度识别，通过对多维度识别结果的融合处理，识别得到设备类型，厂家，型号，操作系统。

本技术的实现过程具体如下：

(1)通过ONVIF对设备进行识别。ONVIF可以识别出摄像头，NVR等视频设备的类型，厂家，型号信息。大部分的视频设备都支持ONVIF。但在某些现场条件下，设备的ONVIF支持功能可能没有开启。这种情况下，ONVIF无法识别出设备信息。

(2)通过SNMP对设备进行识别。SNMP可识别出网络设备的类型，厂家，型号，操作系统信息。大部分的交换机，路由器等网络设备都支持SNMP。

(3)通过NMAP对设备进行识别。NMAP可识别出网络设备的类型，操作系统信息。NMAP不需要设备端的特殊协议支持。

(4)通过HTTP特征URL访问设备网页对设备进行识别。HTTP访问设备网页可识别出设备的类型，厂家，型号等信息。需要设备有对外可访问的网页。

(5)通过设备开放端口对设备进行识别。某些设备类型使用特殊的开放端口。例如，打印机开放9001端口，windows主机开放135端口。

(6)通过XGBoost机器学习模型对设备进行识别。不需要设备端的支持。通过收集设备端的网络流量，对网络流量提取网络行为特征，使用XGBoost机器学习模型对设备的网络行为特征进行分类，从而识别设备类型。

(7)融合上述步骤中识别到的信息。对于多个识别步骤都识别到的信息，按照识别信息的准确度选取最优的信息。

具体地，ONVIF规范描述了网络视频的模型、接口、数据类型以及数据交互的模式。并复用了一些现有的标准，如WS系列标准等。ONVIF规范的目标是实现一个网络视频框架协议，使不同厂商所生产的网络视频产品完全互通，所述网络视频产品包括摄录前端、录像设备等。

ONVIF规范中设备管理和控制部分所定义的接口均以Web Services的形式提供。ONVIF规范涵盖了完全的XML及WSDL的定义。每一个支持ONVIF规范的终端设备均须提供与功能相应的Web Service。服务端与客户端的数据交互采用SOAP协议。

ONVIF规范给视频监控系统带来了抽象的接口功能。统一了对设备的配置以及操作的方式。控制端关心的不是设备的型号，而是设备所提供的Web Service。

协同性：不同厂商所提供的产品，均可以通过一个统一的“语言”来进行交流。方便了系统的集成。

灵活性：终端用户和集成用户不需要被某些设备的固有解决方案所束缚。大大降低了开发成本。

质量保证：不断扩展的规范将由市场来导向，遵循规范的同时也满足主流的用户需求。

由于采用WSDL+XML模式，使ONVIF规范的后续扩展不会遇到太多的麻烦。XML极强的扩展性与SOAP协议开发的便捷性将吸引到更多的人来关注和使用ONVIF规范。

具体地，SNMP，Simple Network Management Protocol，实在是一个非常重要的协议，在被监控设备上把各种参数写入到MIB库中，所述参数包括设置参数、状态参数，我们通过各种网管软件就能读到这些参数比如：端口流量、CPU使用率等，甚至修改这些参数比如：端口速率、双工模式、端口MTU等。在网管软件和被监控设备之间就是通过SNMP协议来交互的。

SNMP网络管理由下面几个部分组成：

(1)网络管理站或管理进程，Manager

管理工作站上运行网管软件，常见的网络软件如：Cisco Works、HP OpenView、Solarwinds、Microsoft SMS、MRTG、Whatsup等。在SNMP组成部分中相当于Client的角色。

(2)被管理设备

可网管的路由器、交换机、服务器、打印机等等。

(3)代理程序，Agent

集成在被管理的设备当中，运行被管理设备的SNMP服务端程序，是Server的角色，Cisco IOS的SNMP配置命令就是以snmp-server开头的。

(4)MIB，Management Information Base

被监控设备上的各种参数都写到MIB库中，MIB包含所有代理进程的可被查询和修改参数。MIB以对象表示符OID来组织数据。OID是一个以点“.”分割的整数序列，这些整数构成一个树型结构，类似于DNS或Linux文件系统。OID从树的顶部开始，顶部没有标识，以root表示。OID是由权威机构进行管理和分配的。

SNMP管理进程和代理进程之间交互的报文分为5种：

(1)get-request操作

从管理进程向代理进程udp 161请求一个或多个数值。linux下的snmpget命令就是完成这个操作。

(2)get-next-request操作

向代理进程udp 161请求一个或多个参数的下一个参数值。snmpwalk命令就是完成这个操作。

(3)get-response操作

对管理进程提交的request进行响应，返回一个或多个参数值，从代理进程的UDP161端口发出。

(4)set-request操作

设置代理进程的一个或多参数值，这个可是十分危险的操作。代理进程开放的端口是udp 161，snmpset执行这个操作。

具体地，NMAP，译为网络映射器，是Gordon Lyon最初编写的一种安全扫描器，用于发现计算机网络上的主机和服务，从而创建网络的“映射”。为了实现其目标，NMAP将特定数据包发送到目标主机，然后分析响应，NMAP强大的网络工具，用于枚举和测试网络。

NMAP的功能包括：

(1)主机发现，即识别网络上的主机。例如，列出响应TCP和/或ICMP请求或打开特定端口的主机。

(2)端口扫描，即枚举目标主机上的开放端口。

(3)版本检测，即询问远程设备上的网络服务以确定应用程序名称和版本号。

(4)OS检测，即确定网络设备的操作系统和硬件特性。

NMAP以新颖的方式使用原始IP报文来发现网络上有一些主机，那些主机提供什么服务，比如应用程序名和版本，那些服务运行在什么操作系统，包括版本信息，它们使用什么类型的报文过滤器/防火墙，以及一堆其他功能。虽然NMAP通常用于安全审核，许多系统管理员和网络管理员也用它来做一些日常的工作，选择查看整个网络的信息，管理服务升级计划，以及监视主机和服务的运行。

NMAP输出的是扫描目标的列表，以及每个目标的补充信息，至于是什么信息则依赖于所使用的选项。“所寻找的端口表格”是其中的关键。那张表列出端口号，协议，服务名称和状态。状态可能是open开放的，filtered被过滤的，closed关闭的，或者unfiltered转换过滤的。Open开放的意味着目标机器上的应用程序正在该端口监听连接/报文。fltered被过滤的意味着防火墙，过滤器或者其它网络障碍阻止了该端口被访问，NMAP的无法得知它是open开放的还是closed关闭的。closed关闭的端口没有应用当端口对NMAP的探测触发响应，但是NMAP无法确定它们是关闭还是开放时，这些端口就被认为是unfiltered过滤的如果NMAP报告状态组合open|filtered和closed|filtered时，那说明NMAP无法确定该端口处于两个状态中的哪一个状态。当要求进行版本探测时，端口表也可以包含软件的版本信息。当要求进行IP协议扫描时，即sO，NMAP提供关于所支持的IP协议而不是正在监听的端口的信息。除了所感兴趣的端口表，NMAP还可以提供关于目标机的进一步信息，包括操作系统，设备类型，和MAC地址。

具体地，HTTP特征URL。很多物联网终端，例如摄像头，都提供了网页界面。这些网页界面提供了设备管理等功能。不同厂家，不同设备的网页页面的实现都是不同的。有些网页界面里包含了独特的有用的信息可以用来作为设备指纹来识别设备。这些独特的网页页面我们称之为HTTP特征URL。

HTTP，其英文全称为Hyper Text Transfer Protocol，汉语译为超文本传输协议，它是用于从万维网到本地浏览器之间的文件传输协议，HTTP是客户端浏览器或其他程序与Web服务器之间的应用层通信协议。在Internet上的Web服务器上存放的都是超文本信息，客户机需要通过HTTP协议传输所要访问的超文本信息。HTTP包含命令和传输信息，不仅可用于Web访问，也可以用于其他因特网/内联网应用系统之间的通信，从而实现各类应用资源超媒体访问的集成。

Http URL就是我们俗称的网址，学名叫做统一资源定位符，又叫URL，其英文全称为Uniform Resource Locator，是专为标识Internet网上资源位置而设置的一种编址方式，我们平时所说的网页地址指的即是URL。统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

一个HTTP请求包含三部分，首行、头部、正文。

首行：[方法]+[URL]+[版本]

Header：请求的属性，冒号分割的键值对，每组属性之间使用\n分隔；遇到空行表示Header部分结束

Body：空行后面的内容都是Body.Body允许为空字符串.如果Body存在，则在Header中会有一个Content-Length属性来标识Body的长度.

一个HTTP响应也包含三部分，首行、头部、正文。

首行：[版本号]+[状态码]+[状态码解释]

Header：请求的属性，冒号分割的键值对；每组属性之间使用\n分隔；遇到空行表示Header部分结束

Body：空行后面的内容都是Body.Body允许为空字符串.如果Body存在，则在Header中会有一个Content-Length属性来标识Body的长度；如果服务器返回了一个html页面，那么html页面内容就是在body中.

HTTP特征URL方法通过向设备发送特定的HTTP请求，并检查HTTP响应信息，提取设备指纹。不同设备的HTTP的设备指纹是不同的，需要不同的方式去提取，并事先构建好设备指纹库。

具体地，开放端口，有些设备使用特定的端口来提供服务。例如打印机会开放9001端口，windows主机会开放135端口。通过检查设备的开发端口，可以识别设备类型。设备的开发端口可以通过上面提到的NMAP扫描来获取。

具体地，通过XGBoost机器学习模型对设备行为进行分析。设备行为是指设备的网络访问行为，包含设备主动发起的到其它网络设备的访问行为和其它设备发起的到改设备的网络行为。两个设备间的网络访问会产生交互的网络数据包。行为特征即是指从这些网络数据包中提取的特征数据。具体的，本技术中使用到的行为特征数据包括：上行流量均值，上行流量方差，下行流量均值，下行流量方差，上行数据包数量均值，上行数据包数量方差，下行数据包数量均值，下行数据包数量方差，上行连接的不同IP数量均值，上行连接的不同IP数量方差，下行连接的不同IP数量均值，下行连接的不同IP数量方差，上行连接的不同端口数量均值，上行连接的不同端口数量方差，下行连接的不同端口数量均值，下行连接的不同端口数量方差。

首先，网络中的流量通过镜像数据进入到我们的系统。系统抓取这些流量数据后提取需要的连接信息，包括IP五元组信息，数据包的大小信息。这些流量数据被存入到数据库中。然后通过对这些流量数据针对每个IP做数据的聚合计算，得到每个IP的行为特征数据。

在上一步通过聚合计算得了设备的行为特征后，对这些数据需要打上标签，标识设备的分类类别。例如，设备的分类类别可以是摄像头，大屏，NVR，视频门禁，智能电表，智能水表。这样打过标签的特征数据就可以作为训练数据来对模型进行训练。

有了训练数据，就可以对XGBoost机器学习模型进行训练。训练时可以通过超参数调优来提高模型的准确度。

在模型训练完成后，就可以把模型部署在实际环境中。当有一个新设备接入网络并收集到对应的行为特征后，可以通过训练后的模型对该设备进行分类预测，从而判定新接入设备的类别。

具体地，针对于识别精度提升而言，对于一台终端设备，通过上述方法对设备进行识别后，每种方式都可能识别出设备的一部分信息。各种方式识别出的信息不完全相同，准确程度也不相同。在这一步，通过融合各种识别方法得到的设备信息，得到最终的设备识别信息。具体的，信息融合是基于规则的。在设备识别中，我们关注五类设备信息，分别是设备类型，型号，厂家，操作系统，MAC地址。在基于规则的信息融合中，准确性高的识别方式得到的结果被优先采用。本技术采用的识别结果的融合顺序如下：

(1)SNMP识别结果

(2)ONVIF识别结果

(3)HTTP特征URL识别结果

(4)开放端口识别结果

(5)机器学习识别结果

(6)NMAP识别结果

针对每一类设备信息，按照融合顺序最先识别到的结果作为融合的结果。

例如，对于一个摄像头，由于摄像头不支持SNMP，SNMP识别不出任何设备信息，但如果摄像头开启了ONVIF，那么通过ONVIF可以识别出摄像头的类型，厂家，型号。那么ONVIF识别出的识别出的类型，厂家，型号就做为该设备的最后识别结果。NMAP一般可以识别出设备的操作系统信息。该摄像头的操作系统信息将采用NMAP识别出的操作系统信息。NMAP也可以识别出设备类型和厂家，但准确性不如ONVIF识别出来的准确，所以不采用。

如果另外一个设备，例如智能电表，既不支持SNMP，也不支持ONVIF，或ONVIF可能没有开启，进一步假设这个设备没有HTTP页面，也没有特殊的开放端口。通过机器学习识别到这个设备是智能电表，通过NMAP识别这个设备的操作系统是Linux，那么这个设备的识别结果将会是智能电表，Linux操作系统。该设备的厂家，型号信息可能无法识别出来。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种电网中终端设备的精准识别技术，其特征在于，包括：

S1：获取终端设备的IP地址，收集所述终端设备的设备指纹并通过指纹识别方式加以识别，所述指纹识别方式包括ONVIF、SNMP、NMAP、HTTP特征URL以及开放端口方式；

S2：所述ONVIF方法采用WSDL+XML模式，通过获取终端设备的Web Services接口识别终端设备类型，所述ONVIF适用于视频类终端设备；

S3：所述SNMP方法包括网络管理站、安装于终端设备上的代理程序以及安装于终端设备上的MIB库，所述MIB库包括终端设备的各项参数，所述网络管理站通过代理程序获取MIB库中终端设备的各项参数并识别终端设备类型，所述SNMP适用于网络类终端设备；

S4：所述NMAP方法将特定数据包发送至终端设备，所述终端设备产生响应并返回至NMAP，所述NMAP根据所述响应中的设备特征信息识别终端设备类型；

S5：所述HTTP特征URL方法针对于提供网页界面的终端设备，通过向终端设备发送特定的HTTP请求，终端设备返回HTTP响应，所述HTTP特征URL方法根据所述HTTP响应信息提取终端设备的特征信息即设备指纹，并与事先构建好的设备指纹库进行比对、识别终端设备类型；

S6：所述开放端口方式通过开放端口与终端设备的映射关系识别终端设备类型，所述开放端口方式适用于开放特定端口的终端设备；S7：获取终端设备的网络流量，提取所述终端设备的行为特征数据并通过机器学习方式加以识别终端设备的类型；

S8：排列上述设备识别方式的融合优先级，优先级别高的识别方式所得到的结果被确认为融合结果，所述融合结果包括终端设备类型、厂家、型号与操作系统。

2.根据权利要求1所述电网中终端设备的精准识别技术，其特征在于，所述设备识别方式的融合优先级为：

SNMP识别方式＞ONVIF识别方式＞HTTP特征URL识别方式＞开放端口识别方式＞机器学习识别方式＞NMAP识别方式。

3.根据权利要求1所述电网中终端设备的精准识别技术，其特征在于，所述机器学习识别方式为：

S1：抓取终端设备的网络访问行为即网络流量，对所述网络流量进行预处理并得到连接信息，所述连接信息包括IP五元组信息与数据包大小信息；

S2：对所述连接信息聚合计算并得到各IP的行为特征数据，对所述行为特征数据标签化，进而对行为特征数据所代表的终端设备分类并作为训练集备用；

S3：通过训练集对机器学习模型进行训练并得到满足模型精度要求的机器学习模型；

S4：将新的网络流量输入至所述经过训练后的机器学习模型，所述机器学习模型输出网络流量所代表终端设备的识别结果。

Images