CN109766176A - 一种基于大规模网络空间探测的扫描进度计算方法及装置 - Google Patents

Abstract

本发明公开了一种基于大规模网络空间探测的扫描进度计算方法及装置，该方法包括：获取待扫描的IP地址信息，使用N位掩码拆分待扫描的IP地址信息，生成N位掩码地址信息，N为正整数；根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息；通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息；根据多个子扫描进度信息计算生成总体扫描进度。通过实施本发明，对于某一区域地址，或者某一批IP目标可以做到对扫描进度的精确的计算；可以实现分布式控制，在大规模探测场景中可以无限制的横向扩展；不仅在大规模探测场景下可以做到对进度精准控制，同样也兼容小规模探测场景。

Description

一种基于大规模网络空间探测的扫描进度计算方法及装置

技术领域

本发明涉及网络空间扫描探测技术领域，具体涉及一种基于大规模网络空间探测的扫描进度计算方法及装置。

背景技术

在网络资产探测时，常常以进度条的方式来实时地显示扫描的速度、完成度和剩余未完成目标数量等信息，从而让用户能够清楚地了解当前网络扫描进度情况。

现有技术中一般是预先估计待扫描IP的个数，并基于已经完成扫描个数显示扫描进度。在小规模网络扫描场景下，此种方法可以简单的预估出待扫描IP数量以及扫描完成的IP数量，进度也可以根据这两个量简单计算出来。

当对整个中国或者更大区域的网络空间进行探测，目标IP不确定、IP地址比较多样化，很可能会有32位掩码或者24位掩码或者更复杂的网络IP表现形式。此时无论是计算需探测IP总数还是计算已经完成的探测IP数量都会有很大工作量，可能导致需探测IP总数和已完成探测IP数量计算不准确，进而导致进度计算不准确，且在此大规模探测中也需要很多扫描节点共同完成任务，扫描节点的横向扩展不方便。

发明内容

有鉴于此，本发明实施例提供了一种基于大规模网络空间探测的扫描进度计算方法及装置，以解决现有大规模分布式网络空间探测中进度计算不精确的问题。

根据第一方面，本发明实施例提供了一种基于大规模网络空间探测的扫描进度计算方法，包括：获取待扫描的IP地址信息，使用N位掩码拆分待扫描的IP地址信息，生成N位掩码地址信息，N为正整数；根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息；通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息；根据多个子扫描进度信息计算生成总体扫描进度。

可选地，根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息，包括：根据所述地区信息将所述N位掩码地址信息进行排序；按照第一预设数目根据地区排序顺序将所述N位掩码地址信息进行分组，生成所述多个调度信息。

可选地，通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息，包括：通过各分布式扫描节点使用分布式锁获取第二预设数目的未被扫描的调度信息，更新获取的调度信息的开始标记；根据探测线程对获取的调度信息进行探测；更新探测完的调度信息的结束标记；根据各分布式扫描节点扫描的调度信息的开始标记和结束标记得到各分布式扫描节点已经探测完成的调度信息的数量；根据地区信息计算需要探测的调度信息的数量；根据各分布式扫描节点已经探测完成的调度信息的数量和需要探测的调度信息的数量生成多个子扫描进度信息。

可选地，通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息，还包括：获取扫描调度信息的开始时间和结束时间。

可选地，根据多个子扫描进度信息计算生成总体扫描进度之后，扫描进度计算方法还包括：根据当前扫描的开始时间和当前时间，估算扫描需要运行时间和剩余时间。

可选地，根据多个子扫描进度信息计算生成总体扫描进度，包括：根据地区信息计算需要探测的调度信息的数量；根据各分布式扫描节点已经探测完成的调度信息的数量和需要探测的调度信息的数量生成所述总体扫描进度。

根据第二方面，本发明实施例提供了一种基于大规模网络空间探测的扫描进度计算装置，包括：获取模块，用于获取待扫描的IP地址信息，使用N位掩码拆分待扫描的IP地址信息，生成N位掩码地址信息，N为正整数；整合模块，用于根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息；生成模块，用于通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息；计算模块，用于根据多个子扫描进度信息计算生成总体扫描进度。

根据第三方面，本发明实施例提供了一种控制器，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述任一实施例的基于大规模网络空间探测的扫描进度计算方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述任一实施例的基于大规模网络空间探测的扫描进度计算方法。

本发明实施例提供的一种基于大规模网络空间探测的扫描进度计算方法及装置，通过使用N位掩码拆分待扫描的IP地址信息，生成N位掩码地址信息，N为正整数，根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息，有助于均匀调度，对于某一区域地址，或者某一批IP目标可以做到对扫描进度的精确的计算，可以实现分布式控制，在大规模探测场景中可以无限制的横向扩展，不仅在大规模探测场景下可以做到对进度精准控制，同样也兼容小规模探测场景。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例的基于大规模网络空间探测的扫描进度计算方法的流程图；

图2示出了本发明实施例生成调度信息的流程图；

图3示出了本发明实施例每个扫描节点的详细工作流程图；

图4示出了本发明实施例整体架构图；

图5是根据本发明实施例得到的扫描进度信息截图；

图6示出了本发明实施例基于大规模网络空间探测的扫描进度计算装置示意图；

图7示出了本发明实施例中控制器示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于大规模网络空间探测的扫描进度计算方法，如图1所示，包括：

S10.获取待扫描的IP地址信息，使用N位掩码拆分待扫描的IP地址信息，生成N位掩码地址信息，N为正整数。

实际应用中，待扫描的IP地址可以例如是全球公网IPv4地址，全球公网IPv4地址约有42亿个，在这种大规模探测下IP数量过多统计不方便，发明人发现这种大规模探测场景下批量探测性能会远远大于单个IP探测。在具体的实施例中，本发明实施例中，采用先整理IP地址库，预制24位掩码的方式来记录需要探测的目标地址，这样大概全球IPV4地址数量总数大概约有1600万个，减少了255倍，方便批量扫描以及探测完成目标数量的计算。同时这样拆分还有助于均匀调度。

S20.根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息。

在本实施例中，根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息，包括：根据地区信息将N位掩码地址信息进行排序；按照第一预设数目根据地区排序顺序将N位掩码地址信息进行分组，生成多个调度信息。

现有的大规模网络空间扫描，一般都是和地域信息有关联，一般用户都会对某一地区网络空间信息感兴趣，然后对此地区进行集中探测。比如：用户可能会对某个国家、某个省份、某个城市或者是全球的网络空间的资产感兴趣并进行探测。

在具体的实施例中，如图2所示，本发明人发现在大规模探测场景下测试1万IP一组批量探测性能和准确性最佳。所以把上一步拆分的IP地址段根据地区排序，然后将每个地区40个24位地址段为一组，进一步整合成一条调度信息。这样全球公网IP地址整合成45万左右的调度信息，方便的计算探测任务的探测目标IP总数和每台扫描节点探测完成IP总数。

S30.通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息。

在本实施例中，通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息，包括：通过各分布式扫描节点使用分布式锁获取第二预设数目的未被扫描的调度信息，更新获取的调度信息的开始标记；根据探测线程对获取的调度信息进行探测；更新探测完的调度信息的结束标记；根据各分布式扫描节点扫描的调度信息的开始标记和结束标记得到各分布式扫描节点已经探测完成的调度信息的数量；根据地区信息计算需要探测的调度信息的数量；根据各分布式扫描节点已经探测完成的调度信息的数量和需要探测的调度信息的数量生成多个子扫描进度信息。

在可选地实施例中，通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息，还包括：获取扫描调度信息的开始时间和结束时间。

在具体的实施例中，本发明人发现一台扫描节点一天可以完成200万个IP探测，截止2018年中国大概有3亿多外网IP，这样一个扫描节点想探测中国网络节点需要至少150天。因为网络上的很多动态IP，如果探测不及时网络目标会发生变动，所以大规模探测对及时性有一定要求，需要通过扫描节点横向扩展的方式来增大算力提高探测的及时性。

在本实施例中，如图3所示，每台扫描节点拉取调度信息的时候需要先获得分布式锁，这样避免多台机器同时获取到相同的调度发生重复扫描现象。每一个扫描节点会每隔一分钟查看是否有空闲算力，如果有空闲算力则会获取一个分布式锁准备获取调度信息。如果得到分布式锁资源，扫描节点数据库(DB)则获取前10条未被扫描的调度信息，获取24位网段信息，更新此条调度信息的开始标记，表示此条调度信息已经开始被调度扫描，同时记录此条调度信息的开始时间。获得上一步的未扫描的调度后获取扫描节点的调度已经结束。然后释放分布式锁资源，让其他分布式扫描节点可以获取到锁资源来扫描未完成调度。根据获取的调度信息，查询此调度信息对应的24位掩码的IP地址段信息，放入探测队列1，等待探测线程1对目标进行探测。待探测线程1对目标探测完成之后，更新此条调度信息的结束标记，表示此条调度信息已经被探测完毕，同时记录此条调度信息的结束时间。开启进度统计线程1，每1分钟计算汇总一次任务进度。子扫描进度计算方法如下：根据每个调度的开始标记和结束标记，可以算出每个子扫描已经探测完成的数量。同时，还可以记录获取到的当前任务的开始时间(Ts)和当前时间(Tn)。

S40.根据多个子扫描进度信息计算生成总体扫描进度。

在本实施例中，总体进度计算方法如下：根据任务表的每个任务的探测地域信息可以简单计算到每个任务需要探测的调度数量即探测总数，算出需要探测的调度的数量(A)，然后根据每个子扫描已经探测完成的数量的和，得到已经探测完成的数量(W)，则当前此任务的准确进度(S)，计算方式如下：

在可选地实施例中，根据多个子扫描进度信息计算生成总体扫描进度之后，还包括：根据当前扫描的开始时间和当前时间，估算扫描结束时间和剩余时间。具体的计算方法如下：

Ta＝T-Tn (3)

T表示扫描结束时间，Ta表示剩余时间。

在本实施例中，该基于大规模网络空间探测的扫描进度计算方法可应用于如图4所示的系统架构中，该系统架构中主要分为接口层，数据缓存层，扫描引擎层，任务调度层4个层次。本发明主要应用在扫描集群模块，从该系统架构中可以看出本发明支持多个扫描节点，多个扫描节点又可以组成多个集群。多个扫描节点可以从任务中心中获取需要扫描的数据，同时把扫描状态回传给任务中心。扫描引擎获取完毕后将需要扫描的数据传递给探测线程进行探测，探测内容包括：端口扫描，探测IP的端口存活性；服务扫描，探测IP在存活端口上运行哪些服务；指纹识别，与IP进行网络交互识别出此IP属于什么设备厂商和版本等；漏洞扫描，根据IP所属设备和服务发现此IP上的漏洞。探测结束后扫描引擎会把探测的结果写入到知识数据库中和元数据搜索引擎中。存储完毕后WebUI组件可以从数据缓存层中检索相关扫描结果。

在具体地实施例中，可以将通过本发明实施例的基于大规模网络空间探测的扫描进度计算方法进行扫描得到的扫描进度信息形成如图5所示的界面进行展示，从图5中可以看到中国的扫描探测任务现在的扫描进度、开始时间、耗时、剩余时间等信息，其具体的参数和计算方法参考表1所示：

表1

本发明实施例提供的一种基于大规模网络空间探测的扫描进度计算方法，通过使用N位掩码拆分待扫描的IP地址信息，生成N位掩码地址信息，N为正整数，根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息，有助于均匀调度，对于某一区域地址，或者某一批IP目标可以做到对扫描进度的精确的计算，可以实现分布式控制，在大规模探测场景中可以无限制的横向扩展，不仅在大规模探测场景下可以做到对进度精准控制，同样也兼容小规模探测场景。

本发明实施例提供了一种基于大规模网络空间探测的扫描进度计算装置，如图6所示，包括：获取模块61，用于获取待扫描的IP地址信息，使用N位掩码拆分待扫描的IP地址信息，生成N位掩码地址信息，N为正整数；整合模块62，用于根据待扫描的IP地址信息的地区信息整合N位掩码地址信息，生成多个调度信息；生成模块63，用于通过分布式扫描节点扫描多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息；计算模块64，用于根据多个子扫描进度信息计算生成总体扫描进度。具体的实施方式详见上述实施例一种基于大规模网络空间探测的扫描进度计算方法的描述。

本发明实施例提供了一种控制器，如图7所示，该控制器包括一个或多个处理器71以及存储器72，图7中以一个处理器71为例。

控制器还可以包括：输入装置73和输出装置74。

处理器71、存储器72、输入装置73和输出装置74可以通过总线或者其他方式连接，图7中以通过总线连接为例。

处理器71可以为中央处理器(Central Processing Unit，CPU)。处理器71还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器72作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的基于大规模网络空间探测的扫描进度计算方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于大规模网络空间探测的扫描进度计算方法。

存储器72可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用户终端操作的处理装置的使用所创建的数据等。此外，存储器72可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器72可选包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至图像检测、处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置73可接收输入的数字或字符信息，以及产生与用户终端的处理装置的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。

一个或者多个模块存储在存储器72中，当被一个或者多个处理器71执行时，执行如图1所示的方法。

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行如上述实施例中任意一项描述的基于大规模网络空间探测的扫描进度计算方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种基于大规模网络空间探测的扫描进度计算方法，其特征在于，包括：

获取待扫描的IP地址信息，使用N位掩码拆分所述待扫描的IP地址信息，生成N位掩码地址信息，N为正整数；

根据所述待扫描的IP地址信息的地区信息整合所述N位掩码地址信息，生成多个调度信息；

通过分布式扫描节点扫描所述多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息；

根据所述多个子扫描进度信息计算生成总体扫描进度。

2.根据权利要求1所述的扫描进度计算方法，其特征在于，所述根据所述待扫描的IP地址信息的地区信息整合所述N位掩码地址信息，生成多个调度信息，包括：

根据所述地区信息将所述N位掩码地址信息进行排序；

按照第一预设数目根据地区排序顺序将所述N位掩码地址信息进行分组，生成所述多个调度信息。

3.根据权利要求1所述的扫描进度计算方法，其特征在于，所述通过分布式扫描节点扫描所述多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息，包括：

通过各分布式扫描节点使用分布式锁获取第二预设数目的未被扫描的所述调度信息，更新获取的所述调度信息的开始标记；

根据探测线程对获取的所述调度信息进行探测；

更新探测完的所述调度信息的结束标记；

根据所述各分布式扫描节点扫描的所述调度信息的开始标记和结束标记得到各分布式扫描节点已经探测完成的所述调度信息的数量。

4.根据权利要求3所述的扫描进度计算方法，其特征在于，所述根据所述多个子扫描进度信息计算生成总体扫描进度，包括：

根据所述地区信息计算需要探测的调度信息的数量；

根据所述各分布式扫描节点已经探测完成的所述调度信息的数量和所述需要探测的调度信息的数量生成所述总体扫描进度。

5.根据权利要求1所述的扫描进度计算方法，其特征在于，所述通过分布式扫描节点扫描所述多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息，还包括：

获取扫描所述调度信息的开始时间和结束时间。

6.根据权利要求4所述的扫描进度计算方法，其特征在于，所述根据所述多个子扫描进度信息计算生成总体扫描进度之后，所述扫描进度计算方法还包括：

根据当前扫描的开始时间和当前时间，估算扫描结束时间和剩余时间。

7.一种基于大规模网络空间探测的扫描进度计算装置，其特征在于，包括：

获取模块，用于获取待扫描的IP地址信息，使用N位掩码拆分所述待扫描的IP地址信息，生成N位掩码地址信息，N为正整数；

整合模块，用于根据所述待扫描的IP地址信息的地区信息整合所述N位掩码地址信息，生成多个调度信息；

生成模块，用于通过分布式扫描节点扫描所述多个调度信息中的未扫描的调度信息，生成多个子扫描进度信息；

计算模块，用于根据所述多个子扫描进度信息计算生成总体扫描进度。

8.一种控制器，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1－6任意一项所述的基于大规模网络空间探测的扫描进度计算方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1－6任意一项所述的基于大规模网络空间探测的扫描进度计算方法。