CN115834368A - 一种识别网络空间资产信息的系统 - Google Patents

一种识别网络空间资产信息的系统 Download PDF

Info

Publication number
CN115834368A
CN115834368A CN202210270824.5A CN202210270824A CN115834368A CN 115834368 A CN115834368 A CN 115834368A CN 202210270824 A CN202210270824 A CN 202210270824A CN 115834368 A CN115834368 A CN 115834368A
Authority
CN
China
Prior art keywords
data
layer
asset
network
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210270824.5A
Other languages
English (en)
Inventor
卢金奇
张烜
李林城
曾嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super High Transmission Co of China South Electric Net Co Ltd
Original Assignee
Super High Transmission Co of China South Electric Net Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super High Transmission Co of China South Electric Net Co Ltd filed Critical Super High Transmission Co of China South Electric Net Co Ltd
Publication of CN115834368A publication Critical patent/CN115834368A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种识别网络空间资产信息的系统,该系统包括数据采集层、数据接入层、数据处理层、数据存储层和展示层。数据采集层,用于通过多种方式对企业网络系统的资产信息进行数据采集;数据处理层,用于对网络空间资产信息的识别,并进行关联性分析、资产动态变化统计和资产组件管理;展示层,用于基于数据存储层中存储的数据,为管理员提供系统管理功能和分析统计功能。该系统可以结合多种数据采集方法实现对网络中的资产信息进行采集并及时发现网络中的数据变化,实现高效空间资产智能分析和定位,避免低效的全局主动扫描。在节省算力需求的基础上,确保全方位、多角度的对网络空间存在的网络资产信息进行高效探测和准确识别。

Description

一种识别网络空间资产信息的系统
技术领域
本发明实施例涉及网络安全与人工智能技术领域,尤其涉及一种识别网络空间资产信息的系统。
背景技术
目前,通过网络的主动探测技术可以为一些重要网络空间提供在线资产信息监测和识别能力。但目前技术还存在许多问题,如支持设备/协议等服务数量不足、感知深度不足。与网络空间大量存在的标准化的信息系统不同,部分系统及相关服务存在大量非标准私有的协议组件,或同一种协议存在多个未公开版本的情况,给网络空间资产信息的探测与识别造成了困难。同时全局的主动扫描也耗时耗力。
基于Banner匹配的识别方法,对指定厂商或者类型的网络空间资产有较好的识别效果,但是很难发现新出现和小众的网络空间资产,需要不断的维护已知资产信息,投入人力成本也比较高。基于机器学习的网络空间资产备识别方法,虽然提高了资产识别的自动化程度,但是识别粒度较粗,很难对每类网络资产做到非常细化的识别,并且网络资产种类繁多,提取的效果好的特征向量也是需要攻克的难点。仅依赖于人工标记来识别网络资产,从投入产出来看是不切实际的;把问题全部丢给机器学习算法,处理全网的数据也必定消耗巨大的算力,而且结果也不一定会理想。
发明内容
本发明实施例提供一种识别网络空间资产信息的系统,可以实现随时自行切换使用模式,降低穿戴设备的功耗,提高用户体验。
第一方面,本发明实施例提供的一种识别网络空间资产信息的系统,包括:数据采集层、数据接入层、数据处理层、数据存储层和展示层;
所述数据采集层,用于通过多种方式对企业网络系统的资产信息进行数据采集;
所述数据接入层,用于提供多元化格式的数据输入方式;
所述数据处理层,用于针对多元化格式输入的数据进行特征提取,完成汇聚、融合,通过机器学习、AI分析等手段进行数据分析,实现对网络空间资产信息的识别,并进行关联性分析、资产动态变化统计和资产组件管理;
所述数据存储层,用于存储所述数据处理层输出的数据;
所述展示层,用于基于所述数据存储层中存储的数据,为管理员提供系统管理功能和分析统计功能,支持性能、设备、安全、资产、链路和行为的管理,同时完成各种报表输出。
可选地,所述数据采集层采用被动采集、主动扫描和SNMP搜集方法相结合的方式,通过端口扫描、协议识别和网络爬虫等模块对企业网络系统的资产信息进行数据采集。
可选地,所述数据采集层基于AI关联引擎的多步过滤算法技术,基于高效大数据采集分析算法、PCA和事件序列分析方法,结合P2DR模型,实时掌握网络的运行状况并及时发现信息网路环境中的数据变化,采集发生变化的资产信息。
可选地,所述采集的资产信息包括资产的指纹信息、ip地址、MAC地址、操作系统、在线时间、端口、服务类型、漏洞类型、漏洞详情、安全状态、资产业务管理、流量趋势和资产变更情况。
可选地,所述多元化格式包括TCP、Kafka、redis、syslog和file。
可选地,所述数据处理层采用SVM、朴素贝叶斯、决策树和神经网络等机器学习算法,生成网络空间资产的指纹信息,利用HTTP流量和报文在结构上的相似性识别网络空间中的资产,生成资产的分类和类别置信度。
可选地,所述数据存储层存储的数据包括资产信息、协议信息、HTTP信息和周期扫描数据。
可选地,当所述数据处理层检测到新的网络空间资产且对该资产分类的置信度较低时,会通过所述展示层展示给管理员,并提供资产信息和可能的资产分类供管理员判定,经判定后资产信息会在所述数据存储层进行更新,并更新所述数据处理层的学习算法。
本发明实施例中,识别网络空间资产信息的系统包括数据采集层、数据接入层、数据处理层、数据存储层和展示层。数据采集层,用于通过多种方式对企业网络系统的资产信息进行数据采集;数据接入层,用于提供多元化格式的数据输入方式;数据处理层,用于针对多元化格式输入的数据进行特征提取,完成汇聚、融合,通过机器学习、AI分析等手段进行数据分析,实现对网络空间资产信息的识别,并进行关联性分析、资产动态变化统计和资产组件管理;数据存储层,用于存储数据处理层输出的数据;展示层,用于基于数据存储层中存储的数据,为管理员提供系统管理功能和分析统计功能,支持性能、设备、安全、资产、链路和行为的管理,同时完成各种报表输出。该系统可以结合多种数据采集方法实现对网络中的资产信息进行采集并及时发现网络中的数据变化,实现高效空间资产智能分析和定位,避免低效的全局主动扫描。在大大节省了算力需求的基础上,确保全方位、多角度的对网络空间存在的网络资产信息进行高效探测和准确识别。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种识别网络空间资产信息的系统的结构示意图;
图2为本发明实施例提供的一种可识别的组件类型的示意图;
图3为本发明实施例提供的一种自动识别空间资产的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
公司信息系统种类繁多、业务变化频繁,不同厂家的资产特征还未实现批量识别与导入,而且由于云平台技术的大量采用,IP地址又是动态分配的,云上承载的各业务系统也变化较快,公司将面临这种快速变化形势下的网络空间资产收集和识别的挑战。
提出的识别网络空间资产信息的方法及系统对相关联网特征进行深入研究。在主动扫描方面,基于AI关联引擎的多步过滤算法技术,基于高效大数据采集分析算法、PCA和事件序列分析方法,结合P2DR模型,实时掌握网络的运行状况并及时发现信息网路环境中的数据变化,实现高效空间资产智能分析和定位,避免低效的全局主动扫描。在大大节省了算力需求的基础上,确保全方位、多角度的对网络空间存在的网络资产信息进行高效探测和准确识别。
在网络空间资产分类识别方面,采用了人工标定和机器学习结合的方式。传统的人工标定方法需要不断的维护已知资产信息,投入人力成本也比较高;而机器学习的方法虽然提高了资产识别的自动化程度,但是识别粒度较粗。本次提出的方法采用SVM、朴素贝叶斯、决策树和神经网络等机器学习算法,生成网络空间资产的指纹信息,利用HTTP流量和报文在结构上的相似性识别网络空间中的资产,生成资产的分类和类别置信度。对置信度较低的网络资产,提供初始可能的分类,采用人工标定进一步核定,提高资产识别的准确度。
为了实现上述功能,本发明实施例提出的识别网络空间资产信息的系统,该系统设计以全流量采集、大数据处理、AI智能分析为核心,在架构逻辑上可分为数据采集层、数据接入层、数据处理层、数据存储层、展示层,如图1所示。
其中,数据采集层采用被动采集、主动扫描和SNMP搜集方法相结合的方式,通过端口扫描、协议识别和网络爬虫等模块对企业网络系统的资产信息进行数据采集。
具体地,被动采集是指采集目标网络的流量,对流量中应用层HTTP,FTP,SMTP等协议数据包中的特殊字段banner或IP、TCP三次握手、DHCP等协议数据包的指纹特征进行分析,从而实现对网络资产信息的被动探测。
具体地,主动扫描是指通过主动向目标网络资产发送构造的数据包,并从返回数据包的相关信息中提取目标指纹,与指纹进库中的指纹进行比对,来实现对开放端口、操作系统、服务及应用类型的探测。
进一步地,基于AI关联引擎的多步过滤算法技术,基于高效大数据采集分析算法、PCA和事件序列分析方法,结合P2DR模型,实时掌握网络的运行状况并及时发现信息网路环境中的数据变化,实现高效空间资产智能分析和定位,避免低效的全局主动扫描。
更进一步地,通过主动扫描的方式对网络资产进行全面探测,详细梳理已知资产,并发现未纳入安全管理的未知网络资产。系统不仅可以探测IP存活状态、端口、服务等信息,还可以通过预置的资产指纹库详细分析出IP的资产组件构成,例如:使用了什么硬件产品、安装了什么操作系统、使用了什么数据库、开发框架、中间件、脚本语言、企业应用等,可以识别的组件类型共计7个大类以及众多子类,产品数量超过30万种,涵盖绝大多数的主流网络产品,如图2所示。
采集的信息包括资产的指纹信息、ip地址、MAC地址、操作系统、在线时间、端口、服务类型、漏洞类型、漏洞详情、安全状态、资产业务管理、流量趋势、资产变更情况等信息。
数据接入层主要指系统数据输入的实现方式,如TCP、Kafka、redis、syslog、file等多元化格式输入。
数据处理层针对多元化格式输入的数据进行特征提取,完成汇聚、融合,再通过机器学习、AI分析等手段进行数据分析,实现对网络空间资产信息的识别,并进行关联性分析、资产动态变化统计和资产组件管理等。
具体地,特征提取是基于网络空间资产信息探测收集的数据中的特定维度,选取具有区分度的特征向量,用来区分与其他网络空间资产。主要有两个部分可以用来提取物联网设备特征:协议报文头部和返回的Banner标语部分。传统上,采用人工标定的特征,但网络空间资产种类繁多,很难提取的效果好的特征向量。而本系统采用机器学习算法,自动提取适合分类识别的特征。
具体地,采用SVM、朴素贝叶斯、决策树和神经网络等机器学习算法,生成网络空间资产的指纹信息,利用HTTP流量和报文在结构上的相似性识别网络空间中的资产,生成资产的分类和类别置信度。
数据存储层对数据进行统计存储,存储的数据主要包括资产信息、协议信息、HTTP信息和周期扫描数据等。
展示层主要为管理员提供系统管理功能和分析统计功能,支持性能、设备、安全、资产、链路、行为等管理,同时完成各种报表输出。
具体地,当数据处理层检测到新的网络空间资产且对该资产分类的置信度较低时,会通过展示层展示给管理员,并提供资产信息和可能的资产分类供管理员判定,经判定后资产信息会在数据存储层进行更新,并更新数据处理层的学习算法。实现人工标定和机器学习算法的结合,提高网络空间资产的自动化水平以及识别的准确度。其主要流程图如图3所示。
本发明实施例可以实现如下有益效果:
1、基于AI关联引擎的多步过滤算法技术,基于高效大数据采集分析算法、PCA和事件序列分析方法,结合P2DR模型,实时掌握网络的运行状况并及时发现信息网路环境中的数据变化,实现高效空间资产智能分析和定位,避免低效的全局主动扫描,实现高效定位的局部主动扫描。
2、采用SVM、朴素贝叶斯、决策树和神经网络等机器学习算法,生成网络空间资产的指纹信息,利用HTTP流量和报文在结构上的相似性识别网络空间中的资产,不单生成资产的分类,还需生成类别置信度。
3、当数据处理层检测到新的网络空间资产且对该资产分类的置信度较低时,会通过展示层展示给管理员,并提供资产信息和可能的资产分类供管理员判定,经判定后资产信息会在数据存储层进行更新,并更新数据处理层的学习算法。实现人工标定和机器学习算法的结合,提高网络空间资产的自动化水平以及识别的准确度。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种识别网络空间资产信息的系统,其特征在于,包括:数据采集层、数据接入层、数据处理层、数据存储层和展示层;
所述数据采集层,用于通过多种方式对企业网络系统的资产信息进行数据采集;
所述数据接入层,用于提供多元化格式的数据输入方式;
所述数据处理层,用于针对多元化格式输入的数据进行特征提取,完成汇聚、融合,通过机器学习、AI分析等手段进行数据分析,实现对网络空间资产信息的识别,并进行关联性分析、资产动态变化统计和资产组件管理;
所述数据存储层,用于存储所述数据处理层输出的数据;
所述展示层,用于基于所述数据存储层中存储的数据,为管理员提供系统管理功能和分析统计功能,支持性能、设备、安全、资产、链路和行为的管理,同时完成各种报表输出。
2.如权利要求1所述的系统,其特征在于,所述数据采集层采用被动采集、主动扫描和SNMP搜集方法相结合的方式,通过端口扫描、协议识别和网络爬虫等模块对企业网络系统的资产信息进行数据采集。
3.如权利要求2所述的系统,其特征在于,所述数据采集层基于AI关联引擎的多步过滤算法技术,基于高效大数据采集分析算法、PCA和事件序列分析方法,结合P2DR模型,实时掌握网络的运行状况并及时发现信息网路环境中的数据变化,采集发生变化的资产信息。
4.如权利要求3所述的系统,其特征在于,所述采集的资产信息包括资产的指纹信息、ip地址、MAC地址、操作系统、在线时间、端口、服务类型、漏洞类型、漏洞详情、安全状态、资产业务管理、流量趋势和资产变更情况。
5.如权利要求1所述的系统,其特征在于,所述多元化格式包括TCP、Kafka、redis、syslog和file。
6.如权利要求1所述的系统,其特征在于,所述数据处理层采用SVM、朴素贝叶斯、决策树和神经网络等机器学习算法,生成网络空间资产的指纹信息,利用HTTP流量和报文在结构上的相似性识别网络空间中的资产,生成资产的分类和类别置信度。
7.如权利要求1所述的系统,其特征在于,所述数据存储层存储的数据包括资产信息、协议信息、HTTP信息和周期扫描数据。
8.如权利要求1至7任一项所述的系统,其特征在于,当所述数据处理层检测到新的网络空间资产且对该资产分类的置信度较低时,会通过所述展示层展示给管理员,并提供资产信息和可能的资产分类供管理员判定,经判定后资产信息会在所述数据存储层进行更新,并更新所述数据处理层的学习算法。
CN202210270824.5A 2021-11-29 2022-03-18 一种识别网络空间资产信息的系统 Pending CN115834368A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021114327663 2021-11-29
CN202111432766 2021-11-29

Publications (1)

Publication Number Publication Date
CN115834368A true CN115834368A (zh) 2023-03-21

Family

ID=85522442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210270824.5A Pending CN115834368A (zh) 2021-11-29 2022-03-18 一种识别网络空间资产信息的系统

Country Status (1)

Country Link
CN (1) CN115834368A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116846690A (zh) * 2023-09-01 2023-10-03 湘潭大学 基于行业分类和概率模型的IPv6网络空间测绘方法
CN116980468A (zh) * 2023-09-20 2023-10-31 长扬科技(北京)股份有限公司 工控环境下资产的发现和管理方法、装置、设备及介质
CN117494147A (zh) * 2023-12-29 2024-02-02 戎行技术有限公司 基于网络空间行为数据的多平台虚拟用户数据对齐方法
CN118075002A (zh) * 2024-03-13 2024-05-24 金祺创(北京)技术有限公司 一种网络数据资产交叉验证方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104276A1 (en) * 2006-10-25 2008-05-01 Arcsight, Inc. Real-Time Identification of an Asset Model and Categorization of an Asset to Assist in Computer Network Security
CN109167799A (zh) * 2018-11-06 2019-01-08 北京华顺信安科技有限公司 一种用于智能网络信息系统的漏洞监控检测系统
CN110991509A (zh) * 2019-11-25 2020-04-10 杭州安恒信息技术股份有限公司 基于人工智能技术的资产识别与信息分类方法
CN111756598A (zh) * 2020-06-23 2020-10-09 北京凌云信安科技有限公司 一种基于主动探测与流量分析结合的资产发现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104276A1 (en) * 2006-10-25 2008-05-01 Arcsight, Inc. Real-Time Identification of an Asset Model and Categorization of an Asset to Assist in Computer Network Security
CN109167799A (zh) * 2018-11-06 2019-01-08 北京华顺信安科技有限公司 一种用于智能网络信息系统的漏洞监控检测系统
CN110991509A (zh) * 2019-11-25 2020-04-10 杭州安恒信息技术股份有限公司 基于人工智能技术的资产识别与信息分类方法
CN111756598A (zh) * 2020-06-23 2020-10-09 北京凌云信安科技有限公司 一种基于主动探测与流量分析结合的资产发现方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116846690A (zh) * 2023-09-01 2023-10-03 湘潭大学 基于行业分类和概率模型的IPv6网络空间测绘方法
CN116846690B (zh) * 2023-09-01 2023-11-03 湘潭大学 基于行业分类和概率模型的IPv6网络空间测绘方法
CN116980468A (zh) * 2023-09-20 2023-10-31 长扬科技(北京)股份有限公司 工控环境下资产的发现和管理方法、装置、设备及介质
CN116980468B (zh) * 2023-09-20 2023-12-19 长扬科技(北京)股份有限公司 工控环境下资产的发现和管理方法、装置、设备及介质
CN117494147A (zh) * 2023-12-29 2024-02-02 戎行技术有限公司 基于网络空间行为数据的多平台虚拟用户数据对齐方法
CN117494147B (zh) * 2023-12-29 2024-03-22 戎行技术有限公司 基于网络空间行为数据的多平台虚拟用户数据对齐方法
CN118075002A (zh) * 2024-03-13 2024-05-24 金祺创(北京)技术有限公司 一种网络数据资产交叉验证方法及系统

Similar Documents

Publication Publication Date Title
CN115834368A (zh) 一种识别网络空间资产信息的系统
CN109726744B (zh) 一种网络流量分类方法
CN112769796B (zh) 一种基于端侧边缘计算的云网端协同防御方法及系统
CN110311829B (zh) 一种基于机器学习加速的网络流量分类方法
CN105871832B (zh) 一种基于协议属性的网络应用加密流量识别方法及其装置
CN110808945B (zh) 一种基于元学习的小样本场景下网络入侵检测方法
CN111935170A (zh) 一种网络异常流量检测方法、装置及设备
CN107196930B (zh) 计算机网络异常检测的方法
CN117411703A (zh) 一种面向Modbus协议的工业控制网络异常流量检测方法
CN113206860B (zh) 一种基于机器学习和特征选择的DRDoS攻击检测方法
CN105184886A (zh) 一种云数据中心智能巡检系统及方法
Schuster et al. Towards learning normality for anomaly detection in industrial control networks
CN111294342A (zh) 一种软件定义网络中DDos攻击的检测方法及系统
CN113328985A (zh) 一种被动物联网设备识别方法、系统、介质及设备
CN111082995A (zh) 一种以太坊网络行为分析方法及相应存储介质与电子装置
Ma et al. A Multi-Perspective Feature Approach to Few-Shot Classification of IoT Traffic
CN111431872B (zh) 一种基于tcp/ip协议特征的两阶段物联网设备识别方法
CN113765891A (zh) 一种设备指纹识别方法以及装置
CN111817935B (zh) 一种互联网智能家居数据处理方法及系统
Yang et al. Unknown traffic identification based on deep adaptation networks
CN110544182B (zh) 一种基于机器学习技术的配电通信网融合控制方法及系统
Jiang et al. P2P traffic identification research based on the SVM
CN114666282A (zh) 一种基于机器学习的5g流量识别方法及装置
Zhao et al. Research on machine learning-based correlation analysis method for power equipment alarms
Yao et al. Intelligent device identification method based on network packet fingerprint

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination