CN115296888A

CN115296888A - 数据雷达监测系统

Info

Publication number: CN115296888A
Application number: CN202210921421.2A
Authority: CN
Inventors: 徐桂忠; 张淯舒; 钱茛南; 林倩如
Original assignee: CETC Information Science Research Institute
Current assignee: CETC Information Science Research Institute
Priority date: 2022-08-02
Filing date: 2022-08-02
Publication date: 2022-11-04
Anticipated expiration: 2042-08-02
Also published as: CN115296888B

Abstract

本公开涉及互联网技术领域，提供一种数据雷达监测系统，包括：匿名网络节点利用子系统，用于探测暗网节点，对暗网流量进行检测，提供匿名网络代理；数据探测子系统，用于对暗网上的网络服务和服务指纹进行探测，以探测结果来构建暗网节点服务及指纹探测数据库；检测暗网节点中存在的潜在漏洞，对潜在漏洞进行验证，收集暗网节点的脆弱性信息，利用潜在漏洞对暗网节点进行控制；探测并发现暗网IP地址、暗网IP地址的位置信息、开放端口、banner信息、使用软件及版本中的至少一者；数据处理与分析子系统，用于对数据探测子系统探测到的暗网资源数据进行处理，形成标准化数据格式的数据。本公开可发现并获取暗网中的隐匿服务信息。

Description

数据雷达监测系统

技术领域

本公开涉及互联网技术领域，特别涉及一种数据雷达监测系统。

背景技术

暗网是指只能通过特殊的配置、软件、授权或者非标准的通信协议和端口才能访问的网络。暗网以匿名通信技术为基础，提供一个无法被追踪的网络系统。在暗网中，无论是服务提供者还是访问者，都是完全匿名且无法被追踪的。基于此，对暗网进行数据挖掘以获取其中的情报信息具有重大意义。

在暗网中，存在大量的隐匿服务网站，这些网站采用特殊的域名后缀，并只能通过特定方式才能对其进行访问，并且，访客还必须知道要访问的网站的具体地址。尽管目前已经存在一些网站能够指引访客来访问部分隐匿服务网站，但暗网中的绝大多数隐匿服务依然没有被发现。

因此，如何发现并获取暗网中的隐匿服务信息，成为本领域技术人员亟待解决的问题。

发明内容

本公开旨在至少解决现有技术中存在的问题之一，提供一种数据雷达监测系统。

本公开提供的数据雷达监测系统，包括：

匿名网络节点利用子系统，用于探测暗网节点，对暗网流量进行检测，并提供匿名网络代理；

数据探测子系统，用于对暗网上的网络服务和服务指纹进行探测，并以探测结果来构建暗网节点服务及指纹探测数据库；检测暗网节点中存在的潜在漏洞，对潜在漏洞进行验证，收集暗网节点的脆弱性信息，并利用潜在漏洞对暗网节点进行控制；探测并发现暗网资源，暗网资源包括暗网IP地址、暗网IP地址的位置信息、开放端口、banner信息、使用软件及版本中的至少一者；

数据处理与分析子系统，用于对数据探测子系统探测到的暗网资源数据进行处理，形成标准化数据格式的数据。

可选的，匿名网络节点利用子系统，具体用于：

利用已有的暗网资源数据和匿名网络自身的技术特征，建立相应的流量检测节点、匿名网络代理节点和数据通信传输节点，深入探测暗网流量情况；

使用匿名网络代理和防溯源通信传输技术，实现各节点的防溯源隐匿通信。

可选的，数据处理与分析子系统，具体用于：

对暗网资源数据进行数据标注、数据识别和数据清洗，以得到标准化数据格式的数据，其中，标准化数据格式中的字段包括IP地址、设备名称、设备固件版本、服务类型、访问地址、端口信息、脆弱性信息中的至少一者。

可选的，数据处理与分析子系统，具体用于对暗网资源数据进行数据标注，包括：

数据处理与分析子系统，具体用于：

根据预设的通用标注需求、用户的自定义标注需求以及用户自定义的树形结构标注体系，对暗网资源数据形成的数据表和/或数据列表进行标注；其中，

对暗网资源数据形成的数据表进行标注，包括标注数据表的置信度、数据来源、数据内容所在区域、用户自定义信息；

对暗网资源数据形成的数据列表进行标注，包括：根据用户自定义的树形结构标注体系，对数据列表中的数据列进行业务级标注。

可选的，数据处理与分析子系统，具体用于对暗网资源数据进行数据识别，包括：

数据处理与分析子系统，具体用于：

利用自动识别模型，对暗网资源数据形成的数据列表中的各数据列的数据类型进行识别，并根据识别出的数据类型对各数据列进行标注；其中，数据类型包括地名、日期时间、IP地址、GPS位置信息中的至少一者。

可选的，数据处理与分析子系统，具体用于对暗网资源数据进行数据清洗，包括：

数据处理与分析子系统，具体用于：

对暗网资源数据形成的数据列表进行结构编辑和内容编辑；其中，

内容编辑包括：根据预设的数据清洗规则和自定义的数据清洗规则，对数据列表中的数据进行内容级别的清洗操作，清洗操作包括字段拼接、字段拆分、字段复制、字符串提取、字符串替换、增加前/后缀、清除指定字符、字段截断、时间变换、繁简体转换中的至少一者。

可选的，数据雷达监测系统，还包括：

分布式存储子系统，用于基于MySQL、Hbase、FastDFS中的至少一者，采用分布式存储方式，对数据雷达监测系统中各个子系统采集的暗网资源数据进行存储和管理。

可选的，分布式存储子系统包括代理端和系统端，其中：

代理端部署在数据雷达监测系统的各个子系统上，用于获取数据雷达监测系统中各个子系统采集的暗网资源数据，并将其发送给系统端；

系统端部署在服务器上，用于接收代理端发送的暗网资源数据，并基于 MySQL、Hbase、FastDFS中的至少一者，采用分布式存储方式对暗网资源数据进行存储和管理。

可选的，数据雷达监测系统，还包括：

可视化展示子系统，用于对采集到的暗网资源数据进行统计学分析操作，根据关键词对暗网资源数据进行检索，对暗网资源数据中的威胁事件进行识别和预警，以图形化方式展示暗网资源数据，其中，统计学分析操作包括分类、聚类中的至少一者。

可选的，数据雷达监测系统，还包括：

运维管理子系统，用于对数据雷达监测系统中的各个子系统进行运维管理，根据监测任务对各个子系统进行协调和调度。

本公开相对于现有技术而言，通过匿名网络节点利用子系统探测暗网节点，对暗网流量进行检测，并提供匿名网络代理，通过数据探测子系统探测暗网资源以及暗网上的网络服务和服务指纹，检测暗网节点中存在的潜在漏洞，收集暗网节点的脆弱性信息，通过数据处理与分析子系统对探测到的暗网资源数据进行处理，形成标准化数据格式的数据，从而实现了对暗网中隐匿服务信息的发现和获取，还能够对暗网中的相关网络服务进行发现和监控，进而形成对暗网的全面、长期监控。

附图说明

一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本公开一实施方式提供的一种数据雷达监测系统的结构示意图；

图2为本公开另一实施方式提供的一种数据雷达监测系统的结构示意图。

具体实施方式

为使本公开实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本公开的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本公开各实施方式中，为了使读者更好地理解本公开而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本公开所要求保护的技术方案。以下各个实施方式的划分是为了描述方便，不应对本公开的具体实现方式构成任何限定，各个实施方式在不矛盾的前提下可以相互结合相互引用。

本公开的一个实施方式涉及一种数据雷达监测系统，如图1所示，包括匿名网络节点利用子系统110、数据探测子系统120和数据处理与分析子系统130。

匿名网络节点利用子系统110用于探测暗网节点，对暗网流量进行检测，并提供匿名网络代理。

数据探测子系统120用于对暗网上的网络服务和服务指纹进行探测，并以探测结果来构建暗网节点服务及指纹探测数据库；检测暗网节点中存在的潜在漏洞，对潜在漏洞进行验证，收集暗网节点的脆弱性信息，并利用潜在漏洞对暗网节点进行控制；探测并发现暗网资源，暗网资源包括暗网IP地址、暗网IP 地址的位置信息、开放端口、banner信息、使用软件及版本中的至少一者。

数据探测子系统120可以包括资源探测模块、漏洞探测模块、端口探测模块、资产管理模块、自定义特征探测模块、网络协议栈识别模块、IP地址定位模块。

资源探测模块用于对暗网上的网络服务和应用指纹进行探测，并根据探测结果构建暗网节点服务及指纹探测数据库。资源探测模块具体还用于：获取暗网上待探测网络的IP地址列表，IP地址列表中的IP地址基于预设的顺序排列。将IP地址列表进行拆分并重新排列组合，根据重新排列后的IP地址列表进行探测。作为优选地，在每次探测完成后，均对IP地址列表中未完成探测的IP地址列表进行拆分并重新排列组合，以根据重新排列后的IP地址列表进行下一次探测。通过将IP地址列表进行拆分，打乱顺序进行探测，探测完成后再次重新排列组合，能够避免探测被安全设备的防御机制所阻断，从而大大提高了资源侦测的成功率。

漏洞探测模块用于根据所述暗网节点服务及指纹探测数据库对暗网节点中的潜在漏洞进行探测，并对所述潜在漏洞进行验证，收集暗网节点的脆弱性信息，以及利用所述潜在漏洞针对暗网节点进行控制。漏洞探测模块具体还用于：获取关于目标主机的基本信息与存有漏洞信息的漏洞库进行漏洞特征的关键字匹配，获得漏洞的大致范围。根据漏洞本身的特征构造特定的数据包，发送到目标主机的相应端口。根据所述目标主机的回复情况判断出所述目标主机是否存在某一漏洞。

端口探测模块用于对预设端口进行扫描，探测所述端口的开放情况，并根据响应数据和所述网络端口的开放情况，确定所述端口符合的协议服务信息、产品组件信息和操作系统信息。

资产管理模块用于对暗网资产的存活情况进行跟踪，将跟踪发现的资产信息存入资产数据库，以对所述资产信息进行管理。资产管理模块具体还用于：通过IP扫描、SNMP扫描和流量发现中的至少一种方式，对暗网资产的存活情况进行跟踪。将发现的资产录入资产数据库，通过分组、标记等方式对资产更加细致的管理。包括资产名称、厂家、型号、IP地址、网络掩码、物理地址、端口号、所开服务类别、采用协议、服务版本以及操作系统类型等信息，路由设备的带宽使用率信息，同时包含安全信息如脆弱性、违规信息、发起攻击信息和被攻击信息等。

自定义特征探测模块用于根据系统中预设的自定义端口特征信息数据，对 IP地址逐个进行自定义特征探测，获得端口情况探测结果。根据响应数据及端口开放状态自定义特征识别，确定所述端口符合的协议服务信息、产品组件信息和操作系统信息。自定义特征探测服务的目的的为了补全其他探测服务，完善探测的资产信息。

网络协议栈识别模块用于通过识别网络设备TCP/IP协议栈信息，确定网络设备操作系统类型和版本信息。

IP地址定位模块用于对多个数据源获取的基础IP地址数据进行初步过滤，去除重复IP地址以及无法探测的IP地址。通过预先建立的黑白名单对完成初步过滤后的IP地址数据进行再次过滤，对IP地址数据进行标记；其中，对于有效的IP地址数据进入下一环节进行处理，对于无效的IP地址数据需要进行记录、存储一定时间并定期进行检测，待超出一定时间后进行删除。利用IP地址定位模块可以建立数据标准统一的IP库，从而进一步提高数据质量，保证IP库的有效性以及进一步的数据应用。

数据探测子系统具有以下优点：

1.暗网信息覆盖度高：数据采集包括几乎暗网所有资源，维度大，采集面广、采集内容丰富，为后续暗网资源的分析、统计、挖掘提供全面数据支持，以深入了解暗网情况和态势。

2.暗网目标敏感度低：通过利用暗网节点，以正常网络接入方式接入暗网，保证暗网探测和采集的有效潜伏，持续作用；使用分布式探测，避免探测节点访问频率过高后被发现和跟踪；最大程度地降低暗网目标对被扫描的感知。

3、数据关联分析维度多：不仅能够从Tor、I2P、ZeroNet多个暗网获取数据并进行分析，也能够依据舆情进行关联分析，综合关联多个维度，保障数据分析的科学性、准确性，为观察暗网行为提供可靠依据。

数据处理与分析子系统130用于对数据探测子系统探测到的暗网资源数据进行处理，形成标准化数据格式的数据。

本公开实施例的数据雷达监测系统，通过匿名网络节点利用子系统探测暗网节点，对暗网流量进行检测，并提供匿名网络代理，通过数据探测子系统探测暗网资源以及暗网上的网络服务和服务指纹，检测暗网节点中存在的潜在漏洞，收集暗网节点的脆弱性信息，通过数据处理与分析子系统对探测到的暗网资源数据进行处理，形成标准化数据格式的数据，从而实现了对暗网中隐匿服务信息的发现和获取，还能够对暗网中的相关网络服务进行发现和监控，进而形成对暗网的全面、长期监控。

示例性的，匿名网络节点利用子系统110具体用于：

利用已有的暗网资源数据和匿名网络自身的技术特征，建立相应的流量检测节点、匿名网络代理节点和数据通信传输节点，深入探测暗网流量情况；使用匿名网络代理和防溯源通信传输技术，实现各节点的防溯源隐匿通信，从而最大限度保障各节点通信的隐蔽性、安全性，并实现各节点自身的反溯源能力。

通过建立流量检测节点、匿名网络代理节点和数据通信传输节点，可以实现与暗网节点及暗网接入客户端的连接，以达到后续对暗网节点及暗网接入客户端访问行为的收集。

匿名网络节点利用子系统能够对建立的各个节点进行集中化部署和管理，并使用相应拓扑数据模型等方法，研究各个节点的覆盖及连接优化，从而实现各个节点的最优化覆盖。

示例性的，数据处理与分析子系统130具体用于：

数据处理与分析子系统130对暗网资源数据进行处理，形成标准化数据格式的数据，该子系统的具体功能可以包括数据导入与清洗、信息内容全文索引、威胁情报实体抽取、暗网探测统计分析、暗网流量探测分析等。

示例性的，数据处理与分析子系统130具体用于对暗网资源数据进行数据标注，包括：

数据处理与分析子系统130具体用于：

数据处理与分析子系统130针对通用的标注需求，设置了相应的标注功能，同时，数据处理与分析子系统130还为用户提供自定义业务标注功能，用户可以按树形结构自定义标注体系，以提供更细致的数据标注粒度。

数据标注按照标注目标可分为两种，一种是对数据表进行数据标注，一种使对数据列表进行数据标注。对数据表的数据标注主要包括对数据表的置信度、数据来源、数据内容所在区域等信息进行标注，同时，用户也可以对数据表添加自定义标注。对数据列表的数据标注主要是应用用户按树形结构自定义的标注体系，对数据列进行业务级标注。

示例性的，数据处理与分析子系统130具体用于对暗网资源数据进行数据识别，包括：

数据处理与分析子系统130具体用于：

数据处理与分析子系统130支持重要数据的识别功能，例如，对于地名、日期时间、IP地址、GPS位置信息等数据，数据处理与分析子系统130均能可以通过自动识别模型对其进行识别。自动识别模型针对接入成功的数据列表，自动识别数据列表中各数据列的数据类型，并将识别出的数据类型自动标注到对应的数据列上，因此，数据列表的自动识别结果以数据列表中各数据列的自动标注标签而体现。

示例性的，数据处理与分析子系统130具体用于对暗网资源数据进行数据清洗，包括：

数据处理与分析子系统130具体用于：

数据清洗是数据处理的核心步骤，主要是对异常数据、畸形数据的更正与删除，进而提升数据质量。

示例性的，如图2所示，数据雷达监测系统，还包括分布式存储子系统140。

分布式存储子系统140用于基于MySQL、Hbase、FastDFS中的至少一者，采用分布式存储方式，对数据雷达监测系统中各个子系统采集的暗网资源数据进行存储和管理。

分布式存储子系统通过采用MySQL、Hbase、FastDFS中的至少一者，可以为数据雷达监测系统提供安全稳定的数据存储服务。

示例性的，分布式存储子系统140包括代理端和系统端，其中：

分布式存储子系统还可以通过系统端对代理端进行监测，对灾备数据进行存储，并为存储的数据提供可靠性评价服务。

示例性的，如图2所示，数据雷达监测系统还包括可视化展示子系统150。

可视化展示子系统150用于对采集到的暗网资源数据进行统计学分析操作，根据关键词对暗网资源数据进行检索，对暗网资源数据中的威胁事件进行识别和预警，以图形化方式展示暗网资源数据，其中，统计学分析操作包括分类、聚类中的至少一者。

可视化展示子系统150可以通过Web界面实现暗网安全态势分析、暗网信息检索、暗网数据分析、暗网流量分析等，并对采集到的暗网资源数据进行实时展示。

示例性的，如图2所示，数据雷达监测系统还包括运维管理子系统160。

运维管理子系统160用于对数据雷达监测系统中的各个子系统进行运维管理，根据监测任务对各个子系统进行协调和调度。

运维管理子系统可以对包括匿名网络节点利用子系统、数据探测子系统、数据处理与分析子系统、分布式存储子系统、可视化展示子系统在内的各个子系统进行运维管理，从而实现根据监测任务对各个子系统进行协调和调度。

为使本领域技术人员能够更好地理解上述实施方式，下面以一具体示例为例进行说明。

本实施例提供的数据雷达监测系统，首先利用匿名网络节点利用子系统通过暗网代理节点接入暗网，之后通过数据探测子系统利用深度爬虫技术手段获取已知的暗网站点列表，同时根据暗网域名的命名规范对暗网站点进行枚举和存活性探测，构建并不断完善隐匿站点资源库，逐步发现所有的隐匿服务站点，并使用分布式探针对隐匿站点进行自动服务探测，并对隐匿站点的站点特征进行分析，对设备信息、网站信息、服务信息进行获取，然后利用匿名网络节点利用子系统通过防溯源隐匿传输方式将获取到的暗网资源数据回传至数据处理与分析子系统，通过数据处理与分析子系统利用大数据处理、分析和检索技术对暗网资源数据进行深度加工，并对暗网资源数据进行多维度综合分析，深入挖掘数据价值，获取有效情报，通过分布式存储子系统对数据进行存储，保障数据安全，并通过可视化展示子系统将处理分析后的暗网资源数据呈现至网页终端，使用图形用户界面直观地展现暗网资源情况和安全态势，并为用户提供全文检索功能，从而形成对暗网的全面、长期监控。

本领域的普通技术人员可以理解，上述各实施方式是实现本公开的具体实施方式，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本公开的精神和范围。

Claims

1.一种数据雷达监测系统，其特征在于，所述数据雷达监测系统包括：

数据探测子系统，用于对暗网上的网络服务和服务指纹进行探测，并以探测结果来构建暗网节点服务及指纹探测数据库；检测暗网节点中存在的潜在漏洞，对所述潜在漏洞进行验证，收集暗网节点的脆弱性信息，并利用所述潜在漏洞对暗网节点进行控制；探测并发现暗网资源，所述暗网资源包括暗网IP地址、暗网IP地址的位置信息、开放端口、banner信息、使用软件及版本中的至少一者；

数据处理与分析子系统，用于对所述数据探测子系统探测到的暗网资源数据进行处理，形成标准化数据格式的数据。

2.根据权利要求1所述的数据雷达监测系统，其特征在于，所述匿名网络节点利用子系统，具体用于：

3.根据权利要求1所述的数据雷达监测系统，其特征在于，所述数据处理与分析子系统，具体用于：

对所述暗网资源数据进行数据标注、数据识别和数据清洗，以得到所述标准化数据格式的数据，其中，所述标准化数据格式中的字段包括IP地址、设备名称、设备固件版本、服务类型、访问地址、端口信息、脆弱性信息中的至少一者。

4.根据权利要求3所述的数据雷达监测系统，其特征在于，所述数据处理与分析子系统，具体用于对所述暗网资源数据进行数据标注，包括：

所述数据处理与分析子系统，具体用于：

根据预设的通用标注需求、用户的自定义标注需求以及用户自定义的树形结构标注体系，对所述暗网资源数据形成的数据表和/或数据列表进行标注；其中，

对所述暗网资源数据形成的数据表进行标注，包括标注所述数据表的置信度、数据来源、数据内容所在区域、用户自定义信息；

对所述暗网资源数据形成的数据列表进行标注，包括：根据用户自定义的树形结构标注体系，对所述数据列表中的数据列进行业务级标注。

5.根据权利要求3所述的数据雷达监测系统，其特征在于，所述数据处理与分析子系统，具体用于对所述暗网资源数据进行数据识别，包括：

所述数据处理与分析子系统，具体用于：

利用自动识别模型，对所述暗网资源数据形成的数据列表中的各数据列的数据类型进行识别，并根据识别出的数据类型对各数据列进行标注；其中，所述数据类型包括地名、日期时间、IP地址、GPS位置信息中的至少一者。

6.根据权利要求3所述的数据雷达监测系统，其特征在于，所述数据处理与分析子系统，具体用于对所述暗网资源数据进行数据清洗，包括：

所述数据处理与分析子系统，具体用于：

对所述暗网资源数据形成的数据列表进行结构编辑和内容编辑；其中，

所述内容编辑包括：根据预设的数据清洗规则和自定义的数据清洗规则，对所述数据列表中的数据进行内容级别的清洗操作，所述清洗操作包括字段拼接、字段拆分、字段复制、字符串提取、字符串替换、增加前/后缀、清除指定字符、字段截断、时间变换、繁简体转换中的至少一者。

7.根据权利要求1所述的数据雷达监测系统，其特征在于，所述数据雷达监测系统，还包括：

分布式存储子系统，用于基于MySQL、Hbase、FastDFS中的至少一者，采用分布式存储方式，对所述数据雷达监测系统中各个子系统采集的暗网资源数据进行存储和管理。

8.根据权利要求7所述的数据雷达监测系统，其特征在于，所述分布式存储子系统包括代理端和系统端，其中：

所述代理端部署在所述数据雷达监测系统的各个子系统上，用于获取所述数据雷达监测系统中各个子系统采集的暗网资源数据，并将其发送给所述系统端；

所述系统端部署在服务器上，用于接收所述代理端发送的所述暗网资源数据，并基于MySQL、Hbase、FastDFS中的至少一者，采用分布式存储方式对所述暗网资源数据进行存储和管理。

9.根据权利要求1至8任一项所述的数据雷达监测系统，其特征在于，所述数据雷达监测系统，还包括：

可视化展示子系统，用于对采集到的暗网资源数据进行统计学分析操作，根据关键词对所述暗网资源数据进行检索，对所述暗网资源数据中的威胁事件进行识别和预警，以图形化方式展示所述暗网资源数据，其中，所述统计学分析操作包括分类、聚类中的至少一者。

10.根据权利要求1至8任一项所述的数据雷达监测系统，其特征在于，所述数据雷达监测系统，还包括：

运维管理子系统，用于对所述数据雷达监测系统中的各个子系统进行运维管理，根据监测任务对各个子系统进行协调和调度。