CN114793204B - 一种网络资产探测方法 - Google Patents

Abstract

本发明公开一种网络资产探测方法，本发明涉及网络技术领域。本发明通过获取网络资产线索数据，网络资产线索数据包括网络资产探测目标域名集合；通过反向DNS查询手段获取网络资产探测目标域名集合中与域名对应的网络资产探测目标地址信息，生成网络资产探测目标地址集；对网络资产探测目标地址集中的网络资产探测目标地址信息进行网络路径遍历，以获取网络路径上存活的网络资产探测目标存活地址集等步骤，实现了更加全面、准确地进行网络资产探测。

Description

一种网络资产探测方法

技术领域

本发明涉及网络技术领域，具体涉及一种网络资产探测方法。

背景技术

网络空间资产是指赛博空间中某机构所拥有的一切可能被潜在攻击者利用的设备、信息、应用等数字资产。网络资产具体包括但不限于硬件设备、云主机、操作系统、IP地址、端口、证书、域名、Web应用、业务应用、中间件、框架、机构公众号、小程序、App、API、源代码等。针对赛博空间中的数字化资产，通过扫描探测、流量监听、主机代理、特征匹配等方式，动态发现、汇集资产数据，并进行关联分析与展现，以快速感知安全风险，把握安全态势，从而辅助用户进行指挥决策，支撑预测、保护、检测、响应等安全体系的能力，即为网络空间资产测绘(CAM)。网络资产不清、资产管理困难以及意识不强导致的安全防御无根基等痛点问题是安全行业的“共性顽疾”，因此网络空间资产的探测与绘制是构建网络安全体系的底层支撑这一理念已经成为业界的共识。资产发现能力是资产测绘的基础，决定了后续资产管理分析、资产数据能力输出等环节的效果。现有的网络资产探测手段分为主动扫描探测、被动流量识别等方式，然而目前的网络空间的资产分布广，数量大且种类多，现有的网络资产探测手段难以全面、准确地实现网络资产探测。因此，有必要提出一种网络资产探测方法，以解决上述问题。

发明内容

本发明的目的在于提供一种网络资产探测方法，以解决现有的网络资产探测手段难以全面、准确地实现网络资产探测的问题。

本发明提供一种网络资产探测方法，包括：获取网络资产线索数据，所述网络资产线索数据包括网络资产探测目标域名集合；通过反向DNS查询手段获取网络资产探测目标域名集合中与域名对应的网络资产探测目标地址信息，生成网络资产探测目标地址集；对所述网络资产探测目标地址集中的网络资产探测目标地址信息进行网络路径遍历，以获取网络路径上存活的网络资产探测目标存活地址集；对所述网络资产探测目标存活地址集进行地址浮动偏移，扩充生成对应的网络资产探测目标地址段，对网络资产探测目标地址段进行扫描，探测网络资产探测目标地址段临近的地址存活情况，将探测结果汇总到网络资产探测目标存活地址集；通过学习编址规则或通过已知的编址规则，基于所述网络资产探测目标存活地址集推测出网络资产探测目标IP地址集合，通过分析日志获得网络中存活且处于活动状态的地址，将所述网络资产探测目标IP地址集合和网络中存活且处于活动状态的地址汇总到网络资产探测目标存活地址集。

其中，所述网络资产线索数据还包括IP信息、端口信息、漏洞信息、Whois数据，获取网络资产线索数据的同时针对应用协议进行二次采集，采集网站携带的favicon.ico文件后进行Hash运算存储，利用ico数据寻找同类型网站；对网络资产线索数据进行处理，通过数据格式验证、报文验证对网络资产线索数据进行初步筛选，以确保网络资产线索数据在传输过程中被分片后能够重新在本地组合，对网络资产线索数据中的过载数据报文进行过滤，对网络资产线索数据中的非可见字符集进行有效编码，对网络资产线索数据的返回报文中的版本号进行验证，将处理后的网络资产线索数据进行格式化统一。

进一步地，通过反向DNS查询手段获取网络资产探测目标域名集合中与域名对应的网络资产探测目标地址信息，生成网络资产探测目标地址集包括：通过域名查询工具或指令对网络资产探测目标域名集合中的域名网址进行域名反查，得到初步的网络资产探测目标地址信息；通过域名查询工具或指令中指定DNS服务器参数的功能，指定多个不同服务商或地区的DNS服务器，再次进行域名反查域名网址，对多次查询的结果去重，获取到进一步的网络资产探测目标地址信息。

进一步地，对所述网络资产探测目标地址集中的网络资产探测目标地址信息进行网络路径遍历，以获取网络路径上存活的网络资产探测目标存活地址集包括：对网络资产探测目标地址集中的每一个网络资产探测目标地址信息进行路由路径遍历操作，获取返回记录并分析提取其中的每一条具体的网络资产探测目标地址信息，对每一条具体的网络资产探测目标地址信息进行去重，汇总到网络资产探测目标存活地址集。

进一步地，对所述网络资产探测目标存活地址集进行地址浮动偏移，扩充生成对应的网络资产探测目标地址段，对网络资产探测目标地址段进行扫描，探测网络资产探测目标地址段临近的地址存活情况，将探测结果汇总到网络资产探测目标存活地址集包括：对所述网络资产探测目标存活地址集中的每一个具体地址进行末位地址字段前后一定范围的地址偏移浮动操作，从而将单个地址信息扩充成其对应的网络资产探测目标地址段；对网络资产探测目标地址段进行去重处理，通过快速扫描探测地址段中的存活地址；对探测到存活的地址进行汇总去重后汇总到网络资产探测目标存活地址。

进一步地，通过学习编址规则或通过已知的编址规则，基于所述网络资产探测目标存活地址集推测出网络资产探测目标IP地址集合，通过分析日志获得网络中存活且处于活动状态的地址，将所述网络资产探测目标IP地址集合和网络中存活且处于活动状态的地址汇总到网络资产探测目标存活地址集包括：分析网络资产探测目标存活地址集中的地址的规律，根据分析结果推测出其它可能存活的网络资产探测目标IP地址，以及根据网络资产探测目标存活地址集中的地址作为样本训练出地址存活模型，根据所述地址存活模型进行存活地址的推测；对推测出的地址集合进行存活性扫描探测，得到存活的地址集合；对存活的地址集合进行去重处理，生成网络资产探测目标IP地址集合；所述日志包括DPI日志、DNS日志和安全设备告警日志。

进一步地，所述方法还包括：获取网络资产探测目标存活地址集的网络资产特征数据，所述网络资产特征数据包括网站响应头部数据、网站文件类型、网站异常响应、服务端口、banner数据；根据所述网络资产特征数据提取目标主机的网络资产设备指纹，将所述网络资产设备指纹与网络资产指纹库进行指纹匹配，识别目标主机的设备类型、设备厂商、设备品牌、设备型号。

进一步地，所述方法还包括：解析网络资产探测目标存活地址集的目标网络的应用组件信息，所述应用组件信息包括网站响应头部数据、HTML页面、特殊URL、开放的端口、banner；根据所述应用组件信息生成网络资产应用指纹；将所述网络资产应用指纹与网络资产应用指纹库来进行匹配，识别目标主机的Web服务器软件、Web脚本语言、服务类型及相应版本型号。

进一步地，将所述网络资产设备指纹与网络资产指纹库进行指纹匹配包括：采用奇异值分解和有向无环图的方法，先对初始操作系统指纹生成的矩阵进行奇异值分解，并提取奇异值特征，基于有向无环图生成的多类分类器对未知指纹的奇异值特征进行分类。

本发明的有益效果：本发明提供的一种网络资产探测方法，通过获取网络资产线索数据，网络资产线索数据包括网络资产探测目标域名集合；通过反向DNS查询手段获取网络资产探测目标域名集合中与域名对应的网络资产探测目标地址信息，生成网络资产探测目标地址集；对网络资产探测目标地址集中的网络资产探测目标地址信息进行网络路径遍历，以获取网络路径上存活的网络资产探测目标存活地址集；对网络资产探测目标存活地址集进行地址浮动偏移，扩充生成对应的网络资产探测目标地址段，对网络资产探测目标地址段进行扫描，探测网络资产探测目标地址段临近的地址存活情况，将探测结果汇总到网络资产探测目标存活地址集；通过学习编址规则或通过已知的编址规则，基于网络资产探测目标存活地址集推测出网络资产探测目标IP地址集合，通过分析日志获得网络中存活且处于活动状态的地址，将网络资产探测目标IP地址集合和网络中存活且处于活动状态的地址汇总到网络资产探测目标存活地址集，实现了更加全面、准确地进行网络资产探测。

附图说明

图1为本发明提供的一种网络资产探测方法的流程图；

图2为本发明提供的一种网络资产探测方法的步骤S101的具体流程图；

图3为本发明提供的一种网络资产探测方法的步骤S102的具体流程图；

图4为本发明提供的一种网络资产探测方法的步骤S103的具体流程图；

图5为本发明提供的一种网络资产探测方法的步骤S104的具体流程图；

图6为本发明提供的一种网络资产探测方法的步骤S105的具体流程图。

具体实施方式

请参阅图1，本发明实施例提供一种网络资产探测方法，包括：

步骤S101，获取网络资产线索数据，所述网络资产线索数据包括网络资产探测目标域名集合。

在本实施例中，所述网络资产线索数据还包括IP信息、端口信息、漏洞信息、Whois数据。此外，网络资产线索数据还包括目标设备、目标软件及其属性信息，如识别目标为路由器、交换机、安全防护设备、服务器、终端、物联网设备等，进一步包括目标设备的型号、厂商等；另外，目标软件信息包括目标系统软件、应用软件、中间件等，进一步包括目标软件的名称、版本号、网络协议及版本；目标资产属性信息包括目标IP地址、MAC地址、主机名称、域名、端口开放情况、服务组件、行业属性、脆弱性匹配情况等。请参阅图2，该步骤具体包括：

步骤S1011，获取网络资产线索数据的同时针对应用协议进行二次采集，采集网站携带的favicon.ico文件后进行Hash运算存储。利用ico数据寻找同类型网站。

favicon.ico文件是其可以让浏览器的收藏夹中除显示相应的标题外，还以图标的方式区别不同的网站。当然，这不是Favicon的全部，根据浏览器的不同，Favicon显示也有所区别：在大多数主流浏览器如FireFox和InternetExplorer(5.5及以上版本)中，favicon不仅在收藏夹中显示，还会同时出现在地址栏上，这时用户可以拖曳favicon到桌面以建立到网站的快捷方式；除此之外，标签式浏览器甚至还有不少扩展的功能，如FireFox甚至支持动画格式的favicon等。

步骤S1012，对网络资产线索数据进行处理，通过数据格式验证、报文验证对网络资产线索数据进行初步筛选，以确保网络资产线索数据在传输过程中被分片后能够重新在本地组合，对网络资产线索数据中的过载数据报文进行过滤，对网络资产线索数据中的非可见字符集进行有效编码，对网络资产线索数据的返回报文中的版本号进行验证，将处理后的网络资产线索数据进行格式化统一。

步骤S102，通过反向DNS查询手段获取网络资产探测目标域名集合中与域名对应的网络资产探测目标地址信息，生成网络资产探测目标地址集。

在本实施例中，请参阅图3，该步骤具体包括：

步骤S1021，通过域名查询工具或指令对网络资产探测目标域名集合中的域名网址进行域名反查，得到初步的网络资产探测目标地址信息。

步骤S1022，通过域名查询工具或指令中指定DNS服务器参数的功能，指定多个不同服务商或地区的DNS服务器，再次进行域名反查域名网址，对多次查询的结果去重，获取到进一步的网络资产探测目标地址信息。

步骤S103，对所述网络资产探测目标地址集中的网络资产探测目标地址信息进行网络路径遍历，以获取网络路径上存活的网络资产探测目标存活地址集。

在本实施例中，请参阅图4，该步骤具体包括：

步骤S1031，对网络资产探测目标地址集中的每一个网络资产探测目标地址信息进行路由路径遍历操作。

步骤S1032，获取返回记录并分析提取其中的每一条具体的网络资产探测目标地址信息。

步骤S1033，对每一条具体的网络资产探测目标地址信息进行去重，汇总到网络资产探测目标存活地址集。

步骤S104，对所述网络资产探测目标存活地址集进行地址浮动偏移，扩充生成对应的网络资产探测目标地址段，对网络资产探测目标地址段进行扫描，探测网络资产探测目标地址段临近的地址存活情况，将探测结果汇总到网络资产探测目标存活地址集。

在本实施例中，请参阅图5，该步骤具体包括：

步骤S1041，对所述网络资产探测目标存活地址集中的每一个具体地址进行末位地址字段前后一定范围的地址偏移浮动操作，从而将单个地址信息扩充成其对应的网络资产探测目标地址段。

步骤S1042，对网络资产探测目标地址段进行去重处理，通过快速扫描探测地址段中的存活地址；对探测到存活的地址进行汇总去重后汇总到网络资产探测目标存活地址。

步骤S105，通过学习编址规则或通过已知的编址规则，基于所述网络资产探测目标存活地址集推测出网络资产探测目标IP地址集合，通过分析日志获得网络中存活且处于活动状态的地址，将所述网络资产探测目标IP地址集合和网络中存活且处于活动状态的地址汇总到网络资产探测目标存活地址集。

在本实施例中，请参阅图6，步骤S105具体包括：

步骤S1051，分析网络资产探测目标存活地址集中的地址的规律，根据分析结果推测出其它可能存活的网络资产探测目标IP地址，以及根据网络资产探测目标存活地址集中的地址作为样本训练出地址存活模型，根据所述地址存活模型进行存活地址的推测。

分析网络资产探测目标存活地址集中的地址的规律时，可通过学习编址规则，或者通过已知的编址规则，推测出其它可能存活的网络资产探测目标IP地址，得到上述网络资产探测目标IP地址集合。编址规则具体可以是基于IP地址信息熵的规律，也可以是基于各企业机构内部的规范定义。依据统计学观点，根据上述方法推测出的网络资产探测目标IP地址大概率为存活地址。

此外，还可以根据网络资产探测目标存活地址集中的地址作为样本训练出地址存活模型，根据所述地址存活模型进行存活地址的推测，训练地址存活模型的方法可采用现有技术，例如：将网络资产探测目标存活地址集中的地址作为训练数据集和测试数据集中的正向样本，将获取网络资产线索数据过程中探测到的网络资产探测目标存活地址集之外的非存活地址做为负向样，训练基于卷积神经网络（Convolutional Neural Networks,CNN）的地址存活模型。

本发明中所述网络中存活且处于活动状态的地址，指的是网络中当前能够被正常响应，可以实现正常访问的网络地址。

步骤S1052，对推测出的地址集合进行存活性扫描探测，得到存活的地址集合；对存活的地址集合进行去重处理，生成网络资产探测目标IP地址集合；所述日志包括DPI日志、DNS日志和安全设备告警日志。

通过分析DPI日志、DNS日志和安全设备告警日志，来获得网络中存活且处于活动状态的地址，具体可通过编写脚本实现，为本领域的公知常识，也非本发明的改进点，本领域技术人员可以实现获通过分析DPI日志、DNS日志和安全设备告警日志，来获得网络中存活且处于活动状态的地址，此处不再赘述具体方式。

在本实施例中，所述方法进一步包括：获取网络资产探测目标存活地址集的网络资产特征数据，所述网络资产特征数据包括网站响应头部数据、网站文件类型、网站异常响应、服务端口、banner数据；上述网络资产特征数据的获取可采用现有技术实现，例如：可通过Python爬虫库requests模块获取网站响应头部数据；可通过对网络资产探测目标存活地址集中的URL地址进行切割字符串的方式，获取到文件类型；可基于python3的requests、json、datetime、logging模块环境编写的python脚本去获取网站异常响应；可通过SpringBoot获取服务端口；可通过基于socket模块编写的python脚本获取banner数据。

根据所述网络资产特征数据提取目标主机的网络资产设备指纹，将所述网络资产设备指纹与网络资产指纹库进行指纹匹配，识别目标主机的设备类型、设备厂商、设备品牌、设备型号。

将所述网络资产设备指纹与网络资产指纹库进行指纹匹配包括：采用奇异值分解和有向无环图的方法，先对初始操作系统指纹生成的矩阵进行奇异值分解，并提取奇异值特征，基于有向无环图生成的多类分类器对未知指纹的奇异值特征进行分类。此外，还可以引入朴素贝叶斯分类器进行操作系统指纹识别，实现对未精确匹配指纹的识别；或者利用Ｎｍａｐ指纹库训练的神经网络模型识别操作系统指纹，或者基于C4.5决策树算法分类器的操作系统指纹识别方法，利用TCP连接套接字的哈希值关联SYN包和FIN包，对p0f指纹库中的SYN包指纹进行扩展，加入FIN包中的部分特征。

解析网络资产探测目标存活地址集的目标网络的应用组件信息，所述应用组件信息包括网站响应头部数据、HTML页面、特殊URL、开放的端口、banner；根据所述应用组件信息生成网络资产应用指纹；将所述网络资产应用指纹与网络资产应用指纹库来进行匹配，识别目标主机的Web服务器软件、Web脚本语言、服务类型及相应版本型号。此外，网络资产探测方法还可以基于开源网络情报进行探测，即通过对公开的信息或其他开源工具进行收集、分析后所得到的情报，如公共记录数据库、文件、网站、大众媒体等公共信息；专业网络空间资产测绘产品提供的源数据，包括FOFA、Shodan、ZoomEye、RaySpace、360Quake、BinaryEdge、Sumap、全球鹰等；专用数据资源库，如Maxmind、Whois、pDNS、高精度IP地理位置库、漏洞库、指纹库、资产信息库、行业属性关系库、社工库；威胁情报类服务商，如火眼公司、Infoblox、LookingGlass、迈克菲、RSA、SecureWorks、赛门铁克和威瑞信等。

本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的网络资产探测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：Read-OnlyMemory，简称：ROM）或随机存储记忆体（英文：RandomAccessMemory，简称：RAM）等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.一种网络资产探测方法，其特征在于，包括：

获取网络资产线索数据，所述网络资产线索数据包括网络资产探测目标域名集合；

通过反向DNS查询手段获取网络资产探测目标域名集合中与域名对应的网络资产探测目标地址信息，生成网络资产探测目标地址集；

对所述网络资产探测目标地址集中的网络资产探测目标地址信息进行网络路径遍历，以获取网络路径上存活的网络资产探测目标存活地址集；

对所述网络资产探测目标存活地址集进行地址浮动偏移，扩充生成对应的网络资产探测目标地址段，对网络资产探测目标地址段进行扫描，探测网络资产探测目标地址段临近的地址存活情况，将探测结果汇总到网络资产探测目标存活地址集；

通过学习编址规则或通过已知的编址规则，基于所述网络资产探测目标存活地址集推测出网络资产探测目标IP地址集合，通过分析日志获得网络中存活且处于活动状态的地址，将所述网络资产探测目标IP地址集合和网络中存活且处于活动状态的地址汇总到网络资产探测目标存活地址集；

其中，所述网络资产线索数据还包括IP信息、端口信息、漏洞信息、Whois数据，获取网络资产线索数据的同时针对应用协议进行二次采集，采集网站携带的favicon.ico文件后进行Hash运算存储，利用ico数据寻找同类型网站；对网络资产线索数据进行处理，通过数据格式验证、报文验证对网络资产线索数据进行初步筛选，以确保网络资产线索数据在传输过程中被分片后能够重新在本地组合，对网络资产线索数据中的过载数据报文进行过滤，对网络资产线索数据中的非可见字符集进行有效编码，对网络资产线索数据的返回报文中的版本号进行验证，将处理后的网络资产线索数据进行格式化统一。

2.根据权利要求1所述的一种网络资产探测方法，其特征在于，通过反向DNS查询手段获取网络资产探测目标域名集合中与域名对应的网络资产探测目标地址信息，生成网络资产探测目标地址集包括：

通过域名查询工具或指令对网络资产探测目标域名集合中的域名网址进行域名反查，得到初步的网络资产探测目标地址信息；通过域名查询工具或指令中指定DNS服务器参数的功能，指定多个不同服务商或地区的DNS服务器，再次进行域名反查域名网址，对多次查询的结果去重，获取到进一步的网络资产探测目标地址信息。

3.根据权利要求2所述的一种网络资产探测方法，其特征在于，对所述网络资产探测目标地址集中的网络资产探测目标地址信息进行网络路径遍历，以获取网络路径上存活的网络资产探测目标存活地址集包括：

对网络资产探测目标地址集中的每一个网络资产探测目标地址信息进行路由路径遍历操作，获取返回记录并分析提取其中的每一条具体的网络资产探测目标地址信息，对每一条具体的网络资产探测目标地址信息进行去重，汇总到网络资产探测目标存活地址集。

4.根据权利要求3所述的一种网络资产探测方法，其特征在于，对所述网络资产探测目标存活地址集进行地址浮动偏移，扩充生成对应的网络资产探测目标地址段，对网络资产探测目标地址段进行扫描，探测网络资产探测目标地址段临近的地址存活情况，将探测结果汇总到网络资产探测目标存活地址集包括：

对所述网络资产探测目标存活地址集中的每一个具体地址进行末位地址字段前后一定范围的地址偏移浮动操作，从而将单个地址信息扩充成其对应的网络资产探测目标地址段；对网络资产探测目标地址段进行去重处理，通过快速扫描探测地址段中的存活地址；对探测到存活的地址进行汇总去重后汇总到网络资产探测目标存活地址。

5.根据权利要求4所述的一种网络资产探测方法，其特征在于，通过学习编址规则或通过已知的编址规则，基于所述网络资产探测目标存活地址集推测出网络资产探测目标IP地址集合，通过分析日志获得网络中存活且处于活动状态的地址，将所述网络资产探测目标IP地址集合和网络中存活且处于活动状态的地址汇总到网络资产探测目标存活地址集包括：

分析网络资产探测目标存活地址集中的地址的规律，根据分析结果推测出其它可能存活的网络资产探测目标IP地址，以及根据网络资产探测目标存活地址集中的地址作为样本训练出地址存活模型，根据所述地址存活模型进行存活地址的推测；对推测出的地址集合进行存活性扫描探测，得到存活的地址集合；对存活的地址集合进行去重处理，生成网络资产探测目标IP地址集合；所述日志包括DPI日志、DNS日志和安全设备告警日志。

6.根据权利要求5所述的一种网络资产探测方法，其特征在于，所述方法还包括：

获取网络资产探测目标存活地址集的网络资产特征数据，所述网络资产特征数据包括网站响应头部数据、网站文件类型、网站异常响应、服务端口、banner数据；根据所述网络资产特征数据提取目标主机的网络资产设备指纹，将所述网络资产设备指纹与网络资产指纹库进行指纹匹配，识别目标主机的设备类型、设备厂商、设备品牌、设备型号。

7.根据权利要求6所述的一种网络资产探测方法，其特征在于，所述方法还包括：

解析网络资产探测目标存活地址集的目标网络的应用组件信息，所述应用组件信息包括网站响应头部数据、HTML页面、特殊URL、开放的端口、banner；根据所述应用组件信息生成网络资产应用指纹；将所述网络资产应用指纹与网络资产应用指纹库来进行匹配，识别目标主机的Web服务器软件、Web脚本语言、服务类型及相应版本型号。

8.根据权利要求7所述的一种网络资产探测方法，其特征在于，将所述网络资产设备指纹与网络资产指纹库进行指纹匹配包括：采用奇异值分解和有向无环图的方法，先对初始操作系统指纹生成的矩阵进行奇异值分解，并提取奇异值特征，基于有向无环图生成的多类分类器对未知指纹的奇异值特征进行分类。

Images