CN115567425A - 一种互联网分布式主动探测方法及系统 - Google Patents

Abstract

本发明公开了一种互联网分布式主动探测方法及系统，其中，该方法包括：获取互联网中总地址集，并将总地址集划分得到多个子地址集；将多个子地址集和端口集中的各端口进行组合得到多个探测任务；利用探测任务分配策略将多个探测任务分配给执行探测任务的各探测节点；利用探测任务执行策略使得各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据。本发明设计了一种基于优化理论的探测任务分配策略和一种基于流水线的探测任务执行策略，能大幅提高互联网分布式探测的性能，以解决分布式网络探测中的效率问题。

Description

一种互联网分布式主动探测方法及系统

技术领域

本发明涉及分布式系统和网络探测技术领域，尤其涉及一种互联网分布式主动探测方法及系统。

背景技术

在互联网探测领域，现有技术提出了系统化的互联网探测方案，并基于该方案实现了一个实际运行的系统Censys，Scheduler调度探测任务给各个Worker节点执行，Worker节点执行探测任务后，将探测所得数据传入数据库并进行后续处理。对于单个探任务，Scheduler调度的一个任务Shard将交由一个Worker节点具体执行，执行方法为：首先使用ZMap进行端口扫描，获得活跃IP地址集(Responsive Ips)，然后将这些活跃的IP地址输入ZGrab进行服务扫描，获得的数据在本地进行进一步处理后，再输入给数据库。因此，在该方案中，一个探测任务主要可以分为为端口扫描和服务探测两部分。

现有技术提出了一个分布式的端口探测系统SuperEye，控制系统(ControlSystem)解析用户下达的探测任务，将其拆分为一个一个的子任务后，将它们推送到通讯系统(Communication System)的任务队列(Task Queue)中，扫描系统中的各探测节点主动与通讯系统通信，并获得单个探测任务并执行。

现有技术中，探测任务的调度策略采用的是均匀调度，即将各探测任务均分给各个探测节点，探测任务的执行采用的是串行执行，即端口扫描与服务探测串行执行，这两种策略都是比较初级的策略，没有考虑各个探测节点的异构性并进行探测任务分配的优化，也没有进行探测任务执行的相关优化，系统总体的探测效率较低。

现有技术中，探测任务的调度采用的是被动调度的方式，即并非由控制系统进行统一下发，而是由探测节点主动与通讯系统联系，取得探测任务，失去了控制系统的统一管理，任务的分配不仅不再可控，而且在某些极端情况下探测效率会非常低下。考虑这样一种情况：节点1性能很强，完成一个探测任务只需要0.2h，而节点2性能很差，完成一个探测任务需要1h，假设剩余最后一个任务时，节点1还未完成上一个探测任务，而节点2正好空闲，接收了该任务，这样最终完成时间将延长至少0.6h。此外，并未考虑服务探测，系统的功能单一。

因此，在网络空间测绘中，为了解互联网资产的分布情况，需要对网络目标进行主动探测，并收集活跃目标的应用层协议数据。然而，互联网中的网络目标数量非常庞大，依靠单一机器进行探测不仅效率低下，还存在容易被目标网络发现导致扫描机IP被封禁等问题。因此，一些分布式探测方案被提出并被广泛应用，如Censys和SuperEye等探测系统。然而，正如上述所示，这些分布式的探测方案都还存在一定的局限性，如均匀调度和被动调度导致的探测效率较低等问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种互联网分布式主动探测方法及系统，以解决分布式网络探测中的效率问题。具体来说，本发明设计了一种基于优化理论的探测任务分配策略和一种基于流水线的探测任务执行策略，能大幅提高互联网分布式探测的性能。

为达上述目的，本发明一方面提出了一种互联网分布式主动探测方法，包括：

获取互联网中总地址集，并将所述总地址集划分得到多个子地址集；

将所述多个子地址集和端口集中的各端口进行组合得到多个探测任务；

利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各探测节点；

利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据。

根据本发明实施例的互联网分布式主动探测方法还可以具有以下附加技术特征：

进一步地，在本发明的一个实施例中，所述利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各个探测节点，包括：对所述探测任务进行建模；其中，所述探测任务包括探测总任务数、探测节点数量、单任务的平均流量消耗量、单任务的平均返回数据、各探测节点分配的任务数和各探测节点完成所有探测任务的耗时；对所述各探测节点的性能指标进行建模；其中，所述各探测节点的性能指标包括各探测节点带宽、CPU性能、存储性能和磁盘大小；根据建模后的探测任务和各探测节点的性能指标进行优化问题的求解，得到各个节点需要分配的探测任务数。

进一步地，在本发明的一个实施例中，所述利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据，包括：将获取的本轮次探测任务输入待执行列队任务中，并获取初始化数据，其中，所述初始化数据包括全局锁、服务探测队列和指示是否还有未执行任务；配置HTTP和特殊端口集合，并分别启动端口扫描线程和服务探测线程执行所述本轮次探测任务；基于执行后的所述端口扫描线程和服务探测线程退出操作，确认本轮次的所有探测任务执行结束，并利用分布式主动探测执行探测数据回传操作以得到互联网探测数据。

进一步地，在本发明的一个实施例中，所述启动端口扫描线程和服务探测线程执行所述本轮次探测任务，包括：在所述端口扫描线程中，判断所述待执行列队任务是否为空，若非空则获取所述全局锁；从所述待执行列队任务中取出一个探测任务并进行端口探测，然后返回存储存活地址的文件路径，再将所述文件路径与目标端口一起输入所述服务探测队列中，再释放所述全局锁；在所有端口扫描任务完成后，将所述指示是否还有未执行任务设置为true并退出所述端口扫描线程操作。

进一步地，在本发明的一个实施例中，所述启动端口扫描线程和服务探测线程执行所述本轮次探测任务，还包括：在所述服务探测线程中，根据所述指示是否还有未执行任和所述服务探测队列是否为空判断是否需要进行服务探测；从所述服务探测队列中取出一个服务探测任务，并检查服务探测任务的端口是否在所述特殊端口集合中，如果是，则获取所述全局锁后进行服务探测任务再释放所述全局锁。

为达到上述目的，本发明另一方面提出了一种互联网分布式主动探测系统，包括：

数据获取模块，用于获取互联网中总地址集，并将所述总地址集划分得到多个子地址集；

任务获取模块，用于将所述多个子地址集和端口集中的各端口进行组合得到多个探测任务；

任务分配模块，用于利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各探测节点；

任务探测模块，用于利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据。

本发明实施例的互联网分布式主动探测方法及系统，可以能大幅提高互联网分布式探测的性能。

本发明的有益效果为：

1)所提出的基于优化理论的探测任务分配策略和基于流水线的探测任务执行策略均能大幅度提升分布式网络探测的探测效率。

2)与现有技术相比，本发明开创性地将数学优化理论应用到探测任务分配上，充分考虑了各探测节点的异构性，相比于目前普遍只通过考虑探测节点带宽来分配探测探测任务的方案，本发明使分布式探测任务的分配更加合理，大幅提升了探测系统的探测效率。

3)此外，本发明将流水线执行技术应用到了探测任务执行上，并且充分考虑了实际应用时的诸多细节，提出了具体可行的调度算法。该策略同样能大幅提升探测系统的探测效率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为高速网络探测一般流程图；

图2为分布式探测一般流程图；

图3为分布式探测任务生成方法一般流程图；

图4为根据本发明实施例的互联网分布式主动探测方法流程图；

图5为根据本发明实施例的基于流水线的探测任务执行示意图；

图6为根据本发明实施例的任务调度算法示意图；

图7为根据本发明实施例的互联网分布式主动探测系统结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的互联网分布式主动探测方法及系统。

高速网络探测的一般步骤如图1所示。对于一个待探测地址集和目标端口，首先对待探测地址集和目标端口进行无状态端口扫描，获得该目标端口下的存活地址集，然后需要对这些存活地址集进行服务识别，获得{IP地址，端口}到服务类型的映射，最后对这些{IP地址，端口}根据所识别的服务类型进行服务扫描，并获得服务返回数据。一般来说，服务识别和服务探测都是有状态的，所以可以合并起来同时进行，即进行完一次服务识别后立刻执行服务扫描，我们将该过程统称为服务探测，因此，一个网络探测任务可以描述为端口扫描和服务探测两部分。

对于分布式网络探测，其一般步骤如图2所示。控制节点首先获取用户下发的探测目标，探测目标一般为需要探测的地址集和端口集。然后控制节点根据探测目标生成各个探测任务。探测任务生成方法一般如图3所示，即将地址集拆分成各个地址块后，与端口集中的端口两两组合，构成一个个的探测任务。然后，控制节点需要将这些任务分配到各个探测节点，并进行任务下发，探测节点接收到探测任务后，需要进行任务执行，并将获得的探测数据回传到存储系统。因此可知，探测任务分配方法和探测任务执行方法对于整个探测系统的探测效率有非常大的影响。

图4是本发明一个实施例的互联网分布式主动探测方法的流程图。

如图1所示，该方法包括但不限于以下步骤：

S1，获取互联网中总地址集，并将总地址集划分得到多个子地址集；

S2，将多个子地址集和端口集中的各端口进行组合得到多个探测任务；

S3，利用探测任务分配策略将多个探测任务分配给执行探测任务的各探测节点；

S4，利用探测任务执行策略使得各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据。

可以理解的是，本发明为了对给定的地址集和端口集进行高效且隐蔽的互联网分布式主动探测，首先需要将总地址集均匀划分为多个子地址集，并将各个子地址集和端口集中的各端口进行两两组合，一个子地址集和一个端口的组合称为一个探测任务。然后，利用对应的策略，将各个探测任务分配给执行探测的各个探测节点。最后，各探测节点利用对应的策略进行高效的互联网探测，并收集探测数据。

具体的，基于优化理论的探测任务分配策略。这里主要考虑利用数学的优化方法进行探测任务分配的优化。因此首先需要对该问题进行数学建模。我们首先对探测任务进行建模：假设探测总任务数为N，探测节点数量为c，单任务的平均流量消耗为q，单任务的平均返回数据大小为m，各节点分配的任务数为[n₁,n₂,…,n_c]，各节点完成所有探测任务的耗时为[T₁,T₂,…,T_c]。然后我们对各探测节点的性能指标进行建模：假设各节点带宽为[B₁,B₂,…,B_c]，CPU性能为[p₁,p₂,…,p_c]，存储性能为[s₁,s₂,…,s_c]，磁盘大小为[d₁,d₂,…,d_c]。其中CPU性能主要指探测节点CPU的单核时钟频率，存储性能为探测节点磁盘存储速度，所有性能指标均需要进行归一化处理。那么探测任务的分配问题转化为了解以下优化问题：

为了对该问题进行求解，可以引入一个中间变量Z，并将上述问题转化为以下优化问题：

该问题是一个简单的分段线性优化问题，可以通过已有方法(如：单纯形法等)进行求解，得到各个节点需要分配的探测任务数

至此，探测任务分配的问题得到解决。

进一步地，基于流水线的探测任务执行策略。一般来说，在进行端口扫描时，由于进行的是无状态的扫描，所以效率很高，带宽利用率可达95％以上。而在进行服务探测时，由于进行的是有状态的探测，同时可进行的探测连接数量受到系统的限制，同时考虑到许多应用层协议的返回数据量较少，所以进行服务探测时的平均带宽往往只有不到200Kbps，对于一个可用带宽为5Mbps的探测节点来说，带宽利用率不到4％。因此可以考虑将这两者并行执行，以提高带宽利用率和探测效率。整体方案如图5所示，主要的想法是将以往单线程调度的模式转化为多线程调度，通过前一个任务的服务探测与当前任务的端口扫描并行来达到提高带宽利用率的效果。需要注意的是，由于HTTP、TLS等服务的应用层数据传输量一般较大，所以通常运行此类服务的端口(如：80、443、8080、8888等)的服务探测不能与端口探测并行执行。

进一步地，具体的任务调度算法如图6所示。图6中，分别描述了端口扫描线程和服务探测线程的具体算法。探测节点接收了控制节点下发的探测任务后，将这些任务逐一输入taskQ中，并在全局空间初始化互斥锁mu、服务探测队列serviceQ以及用于指示端口扫描任务是否全部完成的原子变量finishFlag。此外，还需要配置通常运行HTTP，TLS服务的特殊端口集合portSet，然后分别启动端口扫描线程和服务探测线程，并等待两线程的完成。

在端口扫描线程中，线程循环判断任务队列是否为空(第2行)，若非空则尝试获取全局锁mu(第3行)，该步骤主要是为了防止端口探测与特殊端口下服务探测并行执行。获取全局锁后，从任务队列中取出一个探测任务(第4行)，并进行端口探测，然后返回存储存活地址的文件路径(第5行)，再将该文件路径与目标端口一起输入服务探测队列中(第6行)，再释放全局锁(第7行)。所有端口扫描任务完成后，端口扫描线程将finishFlag设置为true(第9行)并退出。

在服务探测线程中，首先根据finishFlag和serviceQ是否为空判断是否需要进行服务探测(第1-4行)，然后从serviceQ中取出一个服务探测任务(第5行)，并检查任务的端口是否在特殊端口集portSet中(第6行)，如果是，则尝试获取全局锁后再进行服务探测再释放全局锁(第7-9行)，否则直接进行服务探测(第11行)。

等端口扫描线程与服务探测线程都退出后，可以认为本轮次的所有探测任务执行完毕，可以进行后续的探测数据回传工作。

根据本发明实施例的互联网分布式主动探测方法，能大幅度提升分布式网络探测的探测效率。开创性地将数学优化理论应用到探测任务分配上，充分考虑了各探测节点的异构性，使分布式探测任务的分配更加合理，大幅提升了探测系统的探测效率。此外，本发明将流水线执行技术应用到了探测任务执行上，并且充分考虑了实际应用时的诸多。

为了实现上述实施例，如图7所示，本实施例中还提供了互联网分布式主动探测系统10，该装置10包括：数据获取模块100、任务获取模块200、任务分配模块300和任务探测模块400。

数据获取模块100，用于获取互联网中总地址集，并将总地址集划分得到多个子地址集；

任务获取模块200，用于将多个子地址集和端口集中的各端口进行组合得到多个探测任务；

任务分配模块300，用于利用探测任务分配策略将多个探测任务分配给执行探测任务的各探测节点；

任务探测模块400，用于利用探测任务执行策略使得各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据。

进一步地，上述任务分配模块300，还用于：

对探测任务进行建模；其中，探测任务包括探测总任务数、探测节点数量、单任务的平均流量消耗量、单任务的平均返回数据、各探测节点分配的任务数和各探测节点完成所有探测任务的耗时；

对各探测节点的性能指标进行建模；其中，各探测节点的性能指标包括各探测节点带宽、CPU性能、存储性能和磁盘大小；

根据建模后的探测任务和各探测节点的性能指标进行优化问题的求解，得到各个节点需要分配的探测任务数。

进一步地，上述任务探测模块400，包括：

初始化单元，用于将获取的本轮次探测任务输入待执行列队任务中，并获取初始化数据，其中，初始化数据包括全局锁、服务探测队列和指示是否还有未执行任务；

线程执行单元，用于配置HTTP和特殊端口集合，并分别启动端口扫描线程和服务探测线程执行本轮次探测任务；

确认回传单元，用于基于执行后的端口扫描线程和服务探测线程退出操作，确认本轮次的所有探测任务执行结束，并利用分布式主动探测执行探测数据回传操作以得到互联网探测数据。

进一步地，上述线程执行单元，用于：

在端口扫描线程中，判断待执行列队任务是否为空，若非空则获取全局锁；

从待执行列队任务中取出一个探测任务并进行端口探测，然后返回存储存活地址的文件路径，再将文件路径与目标端口一起输入服务探测队列中，再释放全局锁；

在所有端口扫描任务完成后，将指示是否还有未执行任务设置为true并退出端口扫描线程操作。

进一步地，上述线程执行单元，还用于：

在服务探测线程中，根据指示是否还有未执行任和服务探测队列是否为空判断是否需要进行服务探测；

从服务探测队列中取出一个服务探测任务，并检查服务探测任务的端口是否在特殊端口集合中，如果是，则获取全局锁后再进行服务探测任务再释放全局锁。

根据本发明实施例的互联网分布式主动探测系统，能大幅度提升分布式网络探测的探测效率。开创性地将数学优化理论应用到探测任务分配上，充分考虑了各探测节点的异构性，使分布式探测任务的分配更加合理，大幅提升了探测系统的探测效率。此外，本发明将流水线执行技术应用到了探测任务执行上，并且充分考虑了实际应用时的诸多。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种互联网分布式主动探测方法，其特征在于，包括以下步骤：

获取互联网中总地址集，并将所述总地址集划分得到多个子地址集；

将所述多个子地址集和端口集中的各端口进行组合得到多个探测任务；

利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各探测节点；

利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据。

2.根据权利要求1所述的方法，其特征在于，所述利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各个探测节点，包括：

对所述探测任务进行建模；其中，所述探测任务包括探测总任务数、探测节点数量、单任务的平均流量消耗量、单任务的平均返回数据、各探测节点分配的任务数和各探测节点完成所有探测任务的耗时；

对所述各探测节点的性能指标进行建模；其中，所述各探测节点的性能指标包括各探测节点带宽、CPU性能、存储性能和磁盘大小；

根据建模后的探测任务和各探测节点的性能指标进行优化问题的求解，得到各个节点需要分配的探测任务数。

3.根据权利要求1所述的方法，其特征在于，所述利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据，包括：

将获取的本轮次探测任务输入待执行列队任务中，并获取初始化数据，其中，所述初始化数据包括全局锁、服务探测队列和指示是否还有未执行任务；

配置HTTP和特殊端口集合，并分别启动端口扫描线程和服务探测线程执行所述本轮次探测任务；

基于执行后的所述端口扫描线程和服务探测线程退出操作，确认本轮次的所有探测任务执行结束，并利用分布式主动探测执行探测数据回传操作以得到互联网探测数据。

4.根据权利要求3所述的方法，其特征在于，所述启动端口扫描线程和服务探测线程执行所述本轮次探测任务，包括：

在所述端口扫描线程中，判断所述待执行列队任务是否为空，若非空则获取所述全局锁；

从所述待执行列队任务中取出一个探测任务并进行端口探测，然后返回存储存活地址的文件路径，再将所述文件路径与目标端口一起输入所述服务探测队列中，再释放所述全局锁；

在所有端口扫描任务完成后，将所述指示是否还有未执行任务设置为true并退出所述端口扫描线程操作。

5.根据权利要求4所述的方法，其特征在于，所述启动端口扫描线程和服务探测线程执行所述本轮次探测任务，还包括：

在所述服务探测线程中，根据所述指示是否还有未执行任和所述服务探测队列是否为空判断是否需要进行服务探测；

从所述服务探测队列中取出一个服务探测任务，并检查服务探测任务的端口是否在所述特殊端口集合中，如果是，则获取所述全局锁后进行服务探测任务再释放所述全局锁。

6.一种互联网分布式主动探测系统，其特征在于，包括：

数据获取模块，用于获取互联网中总地址集，并将所述总地址集划分得到多个子地址集；

任务获取模块，用于将所述多个子地址集和端口集中的各端口进行组合得到多个探测任务；

任务分配模块，用于利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各探测节点；

任务探测模块，用于利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测，基于探测结果得到互联网探测数据。

7.根据权利要求6所述的系统，其特征在于，所述任务分配模块，还用于：

对所述探测任务进行建模；其中，所述探测任务包括探测总任务数、探测节点数量、单任务的平均流量消耗量、单任务的平均返回数据、各探测节点分配的任务数和各探测节点完成所有探测任务的耗时；

对所述各探测节点的性能指标进行建模；其中，所述各探测节点的性能指标包括各探测节点带宽、CPU性能、存储性能和磁盘大小；

根据建模后的探测任务和各探测节点的性能指标进行优化问题的求解，得到各个节点需要分配的探测任务数。

8.根据权利要求6所述的系统，其特征在于，所述任务探测模块，包括：

初始化单元，用于将获取的本轮次探测任务输入待执行列队任务中，并获取初始化数据，其中，所述初始化数据包括全局锁、服务探测队列和指示是否还有未执行任务；

线程执行单元，用于配置HTTP和特殊端口集合，并分别启动端口扫描线程和服务探测线程执行所述本轮次探测任务；

确认回传单元，用于基于执行后的所述端口扫描线程和服务探测线程退出操作，确认本轮次的所有探测任务执行结束，并利用分布式主动探测执行探测数据回传操作以得到互联网探测数据。

9.根据权利要求8所述的系统，其特征在于，所述线程执行单元，用于：

在所述端口扫描线程中，判断所述待执行列队任务是否为空，若非空则获取所述全局锁；

从所述待执行列队任务中取出一个探测任务并进行端口探测，然后返回存储存活地址的文件路径，再将所述文件路径与目标端口一起输入所述服务探测队列中，再释放所述全局锁；

在所有端口扫描任务完成后，将所述指示是否还有未执行任务设置为true并退出所述端口扫描线程操作。

10.根据权利要求9所述的系统，其特征在于，所述线程执行单元，还用于：

在所述服务探测线程中，根据所述指示是否还有未执行任和所述服务探测队列是否为空判断是否需要进行服务探测；

从所述服务探测队列中取出一个服务探测任务，并检查服务探测任务的端口是否在所述特殊端口集合中，如果是，则获取所述全局锁后进行服务探测任务再释放所述全局锁。

Images