CN115567425A - 一种互联网分布式主动探测方法及系统 - Google Patents
一种互联网分布式主动探测方法及系统 Download PDFInfo
- Publication number
- CN115567425A CN115567425A CN202211008785.8A CN202211008785A CN115567425A CN 115567425 A CN115567425 A CN 115567425A CN 202211008785 A CN202211008785 A CN 202211008785A CN 115567425 A CN115567425 A CN 115567425A
- Authority
- CN
- China
- Prior art keywords
- detection
- task
- tasks
- service
- port
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 315
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 239000000523 sample Substances 0.000 claims description 40
- 238000003860 storage Methods 0.000 claims description 8
- 230000004083 survival effect Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims 2
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/78—Architectures of resource allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/83—Admission control; Resource allocation based on usage prediction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种互联网分布式主动探测方法及系统,其中,该方法包括:获取互联网中总地址集,并将总地址集划分得到多个子地址集;将多个子地址集和端口集中的各端口进行组合得到多个探测任务;利用探测任务分配策略将多个探测任务分配给执行探测任务的各探测节点;利用探测任务执行策略使得各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据。本发明设计了一种基于优化理论的探测任务分配策略和一种基于流水线的探测任务执行策略,能大幅提高互联网分布式探测的性能,以解决分布式网络探测中的效率问题。
Description
技术领域
本发明涉及分布式系统和网络探测技术领域,尤其涉及一种互联网分布式主动探测方法及系统。
背景技术
在互联网探测领域,现有技术提出了系统化的互联网探测方案,并基于该方案实现了一个实际运行的系统Censys,Scheduler调度探测任务给各个Worker节点执行,Worker节点执行探测任务后,将探测所得数据传入数据库并进行后续处理。对于单个探任务,Scheduler调度的一个任务Shard将交由一个Worker节点具体执行,执行方法为:首先使用ZMap进行端口扫描,获得活跃IP地址集(Responsive Ips),然后将这些活跃的IP地址输入ZGrab进行服务扫描,获得的数据在本地进行进一步处理后,再输入给数据库。因此,在该方案中,一个探测任务主要可以分为为端口扫描和服务探测两部分。
现有技术提出了一个分布式的端口探测系统SuperEye,控制系统(ControlSystem)解析用户下达的探测任务,将其拆分为一个一个的子任务后,将它们推送到通讯系统(Communication System)的任务队列(Task Queue)中,扫描系统中的各探测节点主动与通讯系统通信,并获得单个探测任务并执行。
现有技术中,探测任务的调度策略采用的是均匀调度,即将各探测任务均分给各个探测节点,探测任务的执行采用的是串行执行,即端口扫描与服务探测串行执行,这两种策略都是比较初级的策略,没有考虑各个探测节点的异构性并进行探测任务分配的优化,也没有进行探测任务执行的相关优化,系统总体的探测效率较低。
现有技术中,探测任务的调度采用的是被动调度的方式,即并非由控制系统进行统一下发,而是由探测节点主动与通讯系统联系,取得探测任务,失去了控制系统的统一管理,任务的分配不仅不再可控,而且在某些极端情况下探测效率会非常低下。考虑这样一种情况:节点1性能很强,完成一个探测任务只需要0.2h,而节点2性能很差,完成一个探测任务需要1h,假设剩余最后一个任务时,节点1还未完成上一个探测任务,而节点2正好空闲,接收了该任务,这样最终完成时间将延长至少0.6h。此外,并未考虑服务探测,系统的功能单一。
因此,在网络空间测绘中,为了解互联网资产的分布情况,需要对网络目标进行主动探测,并收集活跃目标的应用层协议数据。然而,互联网中的网络目标数量非常庞大,依靠单一机器进行探测不仅效率低下,还存在容易被目标网络发现导致扫描机IP被封禁等问题。因此,一些分布式探测方案被提出并被广泛应用,如Censys和SuperEye等探测系统。然而,正如上述所示,这些分布式的探测方案都还存在一定的局限性,如均匀调度和被动调度导致的探测效率较低等问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的目的在于提出一种互联网分布式主动探测方法及系统,以解决分布式网络探测中的效率问题。具体来说,本发明设计了一种基于优化理论的探测任务分配策略和一种基于流水线的探测任务执行策略,能大幅提高互联网分布式探测的性能。
为达上述目的,本发明一方面提出了一种互联网分布式主动探测方法,包括:
获取互联网中总地址集,并将所述总地址集划分得到多个子地址集;
将所述多个子地址集和端口集中的各端口进行组合得到多个探测任务;
利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各探测节点;
利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据。
根据本发明实施例的互联网分布式主动探测方法还可以具有以下附加技术特征:
进一步地,在本发明的一个实施例中,所述利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各个探测节点,包括:对所述探测任务进行建模;其中,所述探测任务包括探测总任务数、探测节点数量、单任务的平均流量消耗量、单任务的平均返回数据、各探测节点分配的任务数和各探测节点完成所有探测任务的耗时;对所述各探测节点的性能指标进行建模;其中,所述各探测节点的性能指标包括各探测节点带宽、CPU性能、存储性能和磁盘大小;根据建模后的探测任务和各探测节点的性能指标进行优化问题的求解,得到各个节点需要分配的探测任务数。
进一步地,在本发明的一个实施例中,所述利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据,包括:将获取的本轮次探测任务输入待执行列队任务中,并获取初始化数据,其中,所述初始化数据包括全局锁、服务探测队列和指示是否还有未执行任务;配置HTTP和特殊端口集合,并分别启动端口扫描线程和服务探测线程执行所述本轮次探测任务;基于执行后的所述端口扫描线程和服务探测线程退出操作,确认本轮次的所有探测任务执行结束,并利用分布式主动探测执行探测数据回传操作以得到互联网探测数据。
进一步地,在本发明的一个实施例中,所述启动端口扫描线程和服务探测线程执行所述本轮次探测任务,包括:在所述端口扫描线程中,判断所述待执行列队任务是否为空,若非空则获取所述全局锁;从所述待执行列队任务中取出一个探测任务并进行端口探测,然后返回存储存活地址的文件路径,再将所述文件路径与目标端口一起输入所述服务探测队列中,再释放所述全局锁;在所有端口扫描任务完成后,将所述指示是否还有未执行任务设置为true并退出所述端口扫描线程操作。
进一步地,在本发明的一个实施例中,所述启动端口扫描线程和服务探测线程执行所述本轮次探测任务,还包括:在所述服务探测线程中,根据所述指示是否还有未执行任和所述服务探测队列是否为空判断是否需要进行服务探测;从所述服务探测队列中取出一个服务探测任务,并检查服务探测任务的端口是否在所述特殊端口集合中,如果是,则获取所述全局锁后进行服务探测任务再释放所述全局锁。
为达到上述目的,本发明另一方面提出了一种互联网分布式主动探测系统,包括:
数据获取模块,用于获取互联网中总地址集,并将所述总地址集划分得到多个子地址集;
任务获取模块,用于将所述多个子地址集和端口集中的各端口进行组合得到多个探测任务;
任务分配模块,用于利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各探测节点;
任务探测模块,用于利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据。
本发明实施例的互联网分布式主动探测方法及系统,可以能大幅提高互联网分布式探测的性能。
本发明的有益效果为:
1)所提出的基于优化理论的探测任务分配策略和基于流水线的探测任务执行策略均能大幅度提升分布式网络探测的探测效率。
2)与现有技术相比,本发明开创性地将数学优化理论应用到探测任务分配上,充分考虑了各探测节点的异构性,相比于目前普遍只通过考虑探测节点带宽来分配探测探测任务的方案,本发明使分布式探测任务的分配更加合理,大幅提升了探测系统的探测效率。
3)此外,本发明将流水线执行技术应用到了探测任务执行上,并且充分考虑了实际应用时的诸多细节,提出了具体可行的调度算法。该策略同样能大幅提升探测系统的探测效率。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为高速网络探测一般流程图;
图2为分布式探测一般流程图;
图3为分布式探测任务生成方法一般流程图;
图4为根据本发明实施例的互联网分布式主动探测方法流程图;
图5为根据本发明实施例的基于流水线的探测任务执行示意图;
图6为根据本发明实施例的任务调度算法示意图;
图7为根据本发明实施例的互联网分布式主动探测系统结构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的互联网分布式主动探测方法及系统。
高速网络探测的一般步骤如图1所示。对于一个待探测地址集和目标端口,首先对待探测地址集和目标端口进行无状态端口扫描,获得该目标端口下的存活地址集,然后需要对这些存活地址集进行服务识别,获得{IP地址,端口}到服务类型的映射,最后对这些{IP地址,端口}根据所识别的服务类型进行服务扫描,并获得服务返回数据。一般来说,服务识别和服务探测都是有状态的,所以可以合并起来同时进行,即进行完一次服务识别后立刻执行服务扫描,我们将该过程统称为服务探测,因此,一个网络探测任务可以描述为端口扫描和服务探测两部分。
对于分布式网络探测,其一般步骤如图2所示。控制节点首先获取用户下发的探测目标,探测目标一般为需要探测的地址集和端口集。然后控制节点根据探测目标生成各个探测任务。探测任务生成方法一般如图3所示,即将地址集拆分成各个地址块后,与端口集中的端口两两组合,构成一个个的探测任务。然后,控制节点需要将这些任务分配到各个探测节点,并进行任务下发,探测节点接收到探测任务后,需要进行任务执行,并将获得的探测数据回传到存储系统。因此可知,探测任务分配方法和探测任务执行方法对于整个探测系统的探测效率有非常大的影响。
图4是本发明一个实施例的互联网分布式主动探测方法的流程图。
如图1所示,该方法包括但不限于以下步骤:
S1,获取互联网中总地址集,并将总地址集划分得到多个子地址集;
S2,将多个子地址集和端口集中的各端口进行组合得到多个探测任务;
S3,利用探测任务分配策略将多个探测任务分配给执行探测任务的各探测节点;
S4,利用探测任务执行策略使得各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据。
可以理解的是,本发明为了对给定的地址集和端口集进行高效且隐蔽的互联网分布式主动探测,首先需要将总地址集均匀划分为多个子地址集,并将各个子地址集和端口集中的各端口进行两两组合,一个子地址集和一个端口的组合称为一个探测任务。然后,利用对应的策略,将各个探测任务分配给执行探测的各个探测节点。最后,各探测节点利用对应的策略进行高效的互联网探测,并收集探测数据。
具体的,基于优化理论的探测任务分配策略。这里主要考虑利用数学的优化方法进行探测任务分配的优化。因此首先需要对该问题进行数学建模。我们首先对探测任务进行建模:假设探测总任务数为N,探测节点数量为c,单任务的平均流量消耗为q,单任务的平均返回数据大小为m,各节点分配的任务数为[n1,n2,…,nc],各节点完成所有探测任务的耗时为[T1,T2,…,Tc]。然后我们对各探测节点的性能指标进行建模:假设各节点带宽为[B1,B2,…,Bc],CPU性能为[p1,p2,…,pc],存储性能为[s1,s2,…,sc],磁盘大小为[d1,d2,…,dc]。其中CPU性能主要指探测节点CPU的单核时钟频率,存储性能为探测节点磁盘存储速度,所有性能指标均需要进行归一化处理。那么探测任务的分配问题转化为了解以下优化问题:
为了对该问题进行求解,可以引入一个中间变量Z,并将上述问题转化为以下优化问题:
进一步地,基于流水线的探测任务执行策略。一般来说,在进行端口扫描时,由于进行的是无状态的扫描,所以效率很高,带宽利用率可达95%以上。而在进行服务探测时,由于进行的是有状态的探测,同时可进行的探测连接数量受到系统的限制,同时考虑到许多应用层协议的返回数据量较少,所以进行服务探测时的平均带宽往往只有不到200Kbps,对于一个可用带宽为5Mbps的探测节点来说,带宽利用率不到4%。因此可以考虑将这两者并行执行,以提高带宽利用率和探测效率。整体方案如图5所示,主要的想法是将以往单线程调度的模式转化为多线程调度,通过前一个任务的服务探测与当前任务的端口扫描并行来达到提高带宽利用率的效果。需要注意的是,由于HTTP、TLS等服务的应用层数据传输量一般较大,所以通常运行此类服务的端口(如:80、443、8080、8888等)的服务探测不能与端口探测并行执行。
进一步地,具体的任务调度算法如图6所示。图6中,分别描述了端口扫描线程和服务探测线程的具体算法。探测节点接收了控制节点下发的探测任务后,将这些任务逐一输入taskQ中,并在全局空间初始化互斥锁mu、服务探测队列serviceQ以及用于指示端口扫描任务是否全部完成的原子变量finishFlag。此外,还需要配置通常运行HTTP,TLS服务的特殊端口集合portSet,然后分别启动端口扫描线程和服务探测线程,并等待两线程的完成。
在端口扫描线程中,线程循环判断任务队列是否为空(第2行),若非空则尝试获取全局锁mu(第3行),该步骤主要是为了防止端口探测与特殊端口下服务探测并行执行。获取全局锁后,从任务队列中取出一个探测任务(第4行),并进行端口探测,然后返回存储存活地址的文件路径(第5行),再将该文件路径与目标端口一起输入服务探测队列中(第6行),再释放全局锁(第7行)。所有端口扫描任务完成后,端口扫描线程将finishFlag设置为true(第9行)并退出。
在服务探测线程中,首先根据finishFlag和serviceQ是否为空判断是否需要进行服务探测(第1-4行),然后从serviceQ中取出一个服务探测任务(第5行),并检查任务的端口是否在特殊端口集portSet中(第6行),如果是,则尝试获取全局锁后再进行服务探测再释放全局锁(第7-9行),否则直接进行服务探测(第11行)。
等端口扫描线程与服务探测线程都退出后,可以认为本轮次的所有探测任务执行完毕,可以进行后续的探测数据回传工作。
根据本发明实施例的互联网分布式主动探测方法,能大幅度提升分布式网络探测的探测效率。开创性地将数学优化理论应用到探测任务分配上,充分考虑了各探测节点的异构性,使分布式探测任务的分配更加合理,大幅提升了探测系统的探测效率。此外,本发明将流水线执行技术应用到了探测任务执行上,并且充分考虑了实际应用时的诸多。
为了实现上述实施例,如图7所示,本实施例中还提供了互联网分布式主动探测系统10,该装置10包括:数据获取模块100、任务获取模块200、任务分配模块300和任务探测模块400。
数据获取模块100,用于获取互联网中总地址集,并将总地址集划分得到多个子地址集;
任务获取模块200,用于将多个子地址集和端口集中的各端口进行组合得到多个探测任务;
任务分配模块300,用于利用探测任务分配策略将多个探测任务分配给执行探测任务的各探测节点;
任务探测模块400,用于利用探测任务执行策略使得各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据。
进一步地,上述任务分配模块300,还用于:
对探测任务进行建模;其中,探测任务包括探测总任务数、探测节点数量、单任务的平均流量消耗量、单任务的平均返回数据、各探测节点分配的任务数和各探测节点完成所有探测任务的耗时;
对各探测节点的性能指标进行建模;其中,各探测节点的性能指标包括各探测节点带宽、CPU性能、存储性能和磁盘大小;
根据建模后的探测任务和各探测节点的性能指标进行优化问题的求解,得到各个节点需要分配的探测任务数。
进一步地,上述任务探测模块400,包括:
初始化单元,用于将获取的本轮次探测任务输入待执行列队任务中,并获取初始化数据,其中,初始化数据包括全局锁、服务探测队列和指示是否还有未执行任务;
线程执行单元,用于配置HTTP和特殊端口集合,并分别启动端口扫描线程和服务探测线程执行本轮次探测任务;
确认回传单元,用于基于执行后的端口扫描线程和服务探测线程退出操作,确认本轮次的所有探测任务执行结束,并利用分布式主动探测执行探测数据回传操作以得到互联网探测数据。
进一步地,上述线程执行单元,用于:
在端口扫描线程中,判断待执行列队任务是否为空,若非空则获取全局锁;
从待执行列队任务中取出一个探测任务并进行端口探测,然后返回存储存活地址的文件路径,再将文件路径与目标端口一起输入服务探测队列中,再释放全局锁;
在所有端口扫描任务完成后,将指示是否还有未执行任务设置为true并退出端口扫描线程操作。
进一步地,上述线程执行单元,还用于:
在服务探测线程中,根据指示是否还有未执行任和服务探测队列是否为空判断是否需要进行服务探测;
从服务探测队列中取出一个服务探测任务,并检查服务探测任务的端口是否在特殊端口集合中,如果是,则获取全局锁后再进行服务探测任务再释放全局锁。
根据本发明实施例的互联网分布式主动探测系统,能大幅度提升分布式网络探测的探测效率。开创性地将数学优化理论应用到探测任务分配上,充分考虑了各探测节点的异构性,使分布式探测任务的分配更加合理,大幅提升了探测系统的探测效率。此外,本发明将流水线执行技术应用到了探测任务执行上,并且充分考虑了实际应用时的诸多。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种互联网分布式主动探测方法,其特征在于,包括以下步骤:
获取互联网中总地址集,并将所述总地址集划分得到多个子地址集;
将所述多个子地址集和端口集中的各端口进行组合得到多个探测任务;
利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各探测节点;
利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据。
2.根据权利要求1所述的方法,其特征在于,所述利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各个探测节点,包括:
对所述探测任务进行建模;其中,所述探测任务包括探测总任务数、探测节点数量、单任务的平均流量消耗量、单任务的平均返回数据、各探测节点分配的任务数和各探测节点完成所有探测任务的耗时;
对所述各探测节点的性能指标进行建模;其中,所述各探测节点的性能指标包括各探测节点带宽、CPU性能、存储性能和磁盘大小;
根据建模后的探测任务和各探测节点的性能指标进行优化问题的求解,得到各个节点需要分配的探测任务数。
3.根据权利要求1所述的方法,其特征在于,所述利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据,包括:
将获取的本轮次探测任务输入待执行列队任务中,并获取初始化数据,其中,所述初始化数据包括全局锁、服务探测队列和指示是否还有未执行任务;
配置HTTP和特殊端口集合,并分别启动端口扫描线程和服务探测线程执行所述本轮次探测任务;
基于执行后的所述端口扫描线程和服务探测线程退出操作,确认本轮次的所有探测任务执行结束,并利用分布式主动探测执行探测数据回传操作以得到互联网探测数据。
4.根据权利要求3所述的方法,其特征在于,所述启动端口扫描线程和服务探测线程执行所述本轮次探测任务,包括:
在所述端口扫描线程中,判断所述待执行列队任务是否为空,若非空则获取所述全局锁;
从所述待执行列队任务中取出一个探测任务并进行端口探测,然后返回存储存活地址的文件路径,再将所述文件路径与目标端口一起输入所述服务探测队列中,再释放所述全局锁;
在所有端口扫描任务完成后,将所述指示是否还有未执行任务设置为true并退出所述端口扫描线程操作。
5.根据权利要求4所述的方法,其特征在于,所述启动端口扫描线程和服务探测线程执行所述本轮次探测任务,还包括:
在所述服务探测线程中,根据所述指示是否还有未执行任和所述服务探测队列是否为空判断是否需要进行服务探测;
从所述服务探测队列中取出一个服务探测任务,并检查服务探测任务的端口是否在所述特殊端口集合中,如果是,则获取所述全局锁后进行服务探测任务再释放所述全局锁。
6.一种互联网分布式主动探测系统,其特征在于,包括:
数据获取模块,用于获取互联网中总地址集,并将所述总地址集划分得到多个子地址集;
任务获取模块,用于将所述多个子地址集和端口集中的各端口进行组合得到多个探测任务;
任务分配模块,用于利用探测任务分配策略将所述多个探测任务分配给执行探测任务的各探测节点;
任务探测模块,用于利用探测任务执行策略使得所述各探测节点对互联网进行分布式主动探测,基于探测结果得到互联网探测数据。
7.根据权利要求6所述的系统,其特征在于,所述任务分配模块,还用于:
对所述探测任务进行建模;其中,所述探测任务包括探测总任务数、探测节点数量、单任务的平均流量消耗量、单任务的平均返回数据、各探测节点分配的任务数和各探测节点完成所有探测任务的耗时;
对所述各探测节点的性能指标进行建模;其中,所述各探测节点的性能指标包括各探测节点带宽、CPU性能、存储性能和磁盘大小;
根据建模后的探测任务和各探测节点的性能指标进行优化问题的求解,得到各个节点需要分配的探测任务数。
8.根据权利要求6所述的系统,其特征在于,所述任务探测模块,包括:
初始化单元,用于将获取的本轮次探测任务输入待执行列队任务中,并获取初始化数据,其中,所述初始化数据包括全局锁、服务探测队列和指示是否还有未执行任务;
线程执行单元,用于配置HTTP和特殊端口集合,并分别启动端口扫描线程和服务探测线程执行所述本轮次探测任务;
确认回传单元,用于基于执行后的所述端口扫描线程和服务探测线程退出操作,确认本轮次的所有探测任务执行结束,并利用分布式主动探测执行探测数据回传操作以得到互联网探测数据。
9.根据权利要求8所述的系统,其特征在于,所述线程执行单元,用于:
在所述端口扫描线程中,判断所述待执行列队任务是否为空,若非空则获取所述全局锁;
从所述待执行列队任务中取出一个探测任务并进行端口探测,然后返回存储存活地址的文件路径,再将所述文件路径与目标端口一起输入所述服务探测队列中,再释放所述全局锁;
在所有端口扫描任务完成后,将所述指示是否还有未执行任务设置为true并退出所述端口扫描线程操作。
10.根据权利要求9所述的系统,其特征在于,所述线程执行单元,还用于:
在所述服务探测线程中,根据所述指示是否还有未执行任和所述服务探测队列是否为空判断是否需要进行服务探测;
从所述服务探测队列中取出一个服务探测任务,并检查服务探测任务的端口是否在所述特殊端口集合中,如果是,则获取所述全局锁后进行服务探测任务再释放所述全局锁。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211008785.8A CN115567425B (zh) | 2022-08-22 | 2022-08-22 | 一种互联网分布式主动探测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211008785.8A CN115567425B (zh) | 2022-08-22 | 2022-08-22 | 一种互联网分布式主动探测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115567425A true CN115567425A (zh) | 2023-01-03 |
CN115567425B CN115567425B (zh) | 2024-07-23 |
Family
ID=84738424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211008785.8A Active CN115567425B (zh) | 2022-08-22 | 2022-08-22 | 一种互联网分布式主动探测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115567425B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118200148A (zh) * | 2024-03-04 | 2024-06-14 | 金祺创(北京)技术有限公司 | 一种基于自动任务编排的网络空间资产探测方法及系统 |
CN118200148B (zh) * | 2024-03-04 | 2024-09-27 | 金祺创(北京)技术有限公司 | 一种基于自动任务编排的网络空间资产探测方法及系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090003225A1 (en) * | 2007-06-04 | 2009-01-01 | Apparent Networks, Inc. | Method and apparatus for probing of a communication network |
US20120198062A1 (en) * | 2009-10-09 | 2012-08-02 | Nec Europe Ltd. | Method for monitoring traffic in a network and a network |
CN108156181A (zh) * | 2018-02-01 | 2018-06-12 | 杭州安恒信息技术股份有限公司 | 一种基于协程异步io的漏洞探测方法及其漏洞扫描系统 |
CN109525427A (zh) * | 2018-11-12 | 2019-03-26 | 广东省信息安全测评中心 | 分布式资产信息探测方法与系统 |
CN109586947A (zh) * | 2018-10-11 | 2019-04-05 | 上海交通大学 | 分布式设备信息采集系统和方法 |
CN109617728A (zh) * | 2018-12-14 | 2019-04-12 | 中国电子科技网络信息安全有限公司 | 一种基于多协议的分布式ip级网络拓扑探测方法 |
CN109660401A (zh) * | 2018-12-20 | 2019-04-19 | 中国电子科技集团公司第三十研究所 | 一种分布式网络资产探测方法 |
CN109766176A (zh) * | 2018-12-29 | 2019-05-17 | 北京威努特技术有限公司 | 一种基于大规模网络空间探测的扫描进度计算方法及装置 |
CN111045808A (zh) * | 2019-12-17 | 2020-04-21 | 广东工业大学 | 一种分布式网络任务调度方法及装置 |
CN111600771A (zh) * | 2020-04-14 | 2020-08-28 | 新浪网技术(中国)有限公司 | 网络资源探测系统、方法 |
CN111786857A (zh) * | 2020-07-03 | 2020-10-16 | 国网湖北省电力有限公司 | 基于分布式的网络资产主动探测方法及系统 |
CN113259197A (zh) * | 2021-05-13 | 2021-08-13 | 北京天融信网络安全技术有限公司 | 一种资产探测方法、装置及电子设备 |
CN113938404A (zh) * | 2021-10-12 | 2022-01-14 | 北京恒安嘉新安全技术有限公司 | 一种资产探测方法、装置、设备、系统及存储介质 |
CN114584486A (zh) * | 2022-02-23 | 2022-06-03 | 滨州东方地毯有限公司 | 一种基于分布式的网络资产扫描探测平台及扫描探测方法 |
-
2022
- 2022-08-22 CN CN202211008785.8A patent/CN115567425B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090003225A1 (en) * | 2007-06-04 | 2009-01-01 | Apparent Networks, Inc. | Method and apparatus for probing of a communication network |
US20120198062A1 (en) * | 2009-10-09 | 2012-08-02 | Nec Europe Ltd. | Method for monitoring traffic in a network and a network |
CN108156181A (zh) * | 2018-02-01 | 2018-06-12 | 杭州安恒信息技术股份有限公司 | 一种基于协程异步io的漏洞探测方法及其漏洞扫描系统 |
CN109586947A (zh) * | 2018-10-11 | 2019-04-05 | 上海交通大学 | 分布式设备信息采集系统和方法 |
CN109525427A (zh) * | 2018-11-12 | 2019-03-26 | 广东省信息安全测评中心 | 分布式资产信息探测方法与系统 |
CN109617728A (zh) * | 2018-12-14 | 2019-04-12 | 中国电子科技网络信息安全有限公司 | 一种基于多协议的分布式ip级网络拓扑探测方法 |
CN109660401A (zh) * | 2018-12-20 | 2019-04-19 | 中国电子科技集团公司第三十研究所 | 一种分布式网络资产探测方法 |
CN109766176A (zh) * | 2018-12-29 | 2019-05-17 | 北京威努特技术有限公司 | 一种基于大规模网络空间探测的扫描进度计算方法及装置 |
CN111045808A (zh) * | 2019-12-17 | 2020-04-21 | 广东工业大学 | 一种分布式网络任务调度方法及装置 |
CN111600771A (zh) * | 2020-04-14 | 2020-08-28 | 新浪网技术(中国)有限公司 | 网络资源探测系统、方法 |
CN111786857A (zh) * | 2020-07-03 | 2020-10-16 | 国网湖北省电力有限公司 | 基于分布式的网络资产主动探测方法及系统 |
CN113259197A (zh) * | 2021-05-13 | 2021-08-13 | 北京天融信网络安全技术有限公司 | 一种资产探测方法、装置及电子设备 |
CN113938404A (zh) * | 2021-10-12 | 2022-01-14 | 北京恒安嘉新安全技术有限公司 | 一种资产探测方法、装置、设备、系统及存储介质 |
CN114584486A (zh) * | 2022-02-23 | 2022-06-03 | 滨州东方地毯有限公司 | 一种基于分布式的网络资产扫描探测平台及扫描探测方法 |
Non-Patent Citations (3)
Title |
---|
朱虹宇;李挺;闫健恩;张兆心;: "基于动态负载均衡的分布式任务调度算法研究", 高技术通讯, no. 12, 15 December 2014 (2014-12-15), pages 1261 - 1267 * |
李果: "基于多层级分类和空间建模的IPv6活跃地址发现算法", 《清华大学学报(自然科学版)》, vol. 61, no. 10, 13 May 2021 (2021-05-13), pages 1177 - 1185 * |
李果: "基于种子地址的IPv6地址探测技术综述", 《电信科学》, no. 12, 8 January 2020 (2020-01-08), pages 24 - 37 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118200148A (zh) * | 2024-03-04 | 2024-06-14 | 金祺创(北京)技术有限公司 | 一种基于自动任务编排的网络空间资产探测方法及系统 |
CN118200148B (zh) * | 2024-03-04 | 2024-09-27 | 金祺创(北京)技术有限公司 | 一种基于自动任务编排的网络空间资产探测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115567425B (zh) | 2024-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104580396B (zh) | 一种任务调度方法、节点及系统 | |
Kliazovich et al. | CA-DAG: Modeling communication-aware applications for scheduling in cloud computing | |
CN106293950B (zh) | 一种面向集群系统的资源优化管理方法 | |
US8392572B2 (en) | Method for scheduling cloud-computing resource and system applying the same | |
US8903981B2 (en) | Method and system for achieving better efficiency in a client grid using node resource usage and tracking | |
CN109564528B (zh) | 分布式计算中计算资源分配的系统和方法 | |
CN102387173B (zh) | 一种MapReduce系统及其调度任务的方法和装置 | |
CN110162388A (zh) | 一种任务调度方法、系统及终端设备 | |
CN108268318A (zh) | 一种分布式系统任务分配的方法和装置 | |
CN105373426B (zh) | 一种基于Hadoop的车联网内存感知实时作业调度方法 | |
CN101957780A (zh) | 一种基于资源状态信息的网格任务调度处理器及方法 | |
CN106330987A (zh) | 动态负荷均衡方法 | |
Kliazovich et al. | CA-DAG: Communication-aware directed acyclic graphs for modeling cloud computing applications | |
CN110221920A (zh) | 部署方法、装置、存储介质及系统 | |
CN114610474A (zh) | 一种异构超算环境下多策略的作业调度方法及系统 | |
CN116708451B (zh) | 一种边云协同调度方法及系统 | |
CN109871273A (zh) | 一种自适应任务迁移方法及装置 | |
Jonathan et al. | Awan: Locality-aware resource manager for geo-distributed data-intensive applications | |
CN115562846A (zh) | 一种资源调度的方法、装置及计算节点 | |
CN115567425B (zh) | 一种互联网分布式主动探测方法及系统 | |
CN109614242A (zh) | 一种计算能力共享方法、装置、设备及介质 | |
Fan et al. | Associated task scheduling based on dynamic finish time prediction for cloud computing | |
Wei et al. | A novel scheduling mechanism for hybrid cloud systems | |
Haddad | Optimal load sharing in dynamically heterogeneous systems | |
CN116795546B (zh) | 面向信息物理生产系统的确定性网算容器设计与实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |