CN109951359A

CN109951359A - 分布式网络资产异步扫描方法及设备

Info

Publication number: CN109951359A
Application number: CN201910218209.8A
Authority: CN
Inventors: 李者龙; 姜强; 李敬勋
Original assignee: Beijing State Shun Polytron Technologies Inc
Current assignee: Beijing State Shun Polytron Technologies Inc
Priority date: 2019-03-21
Filing date: 2019-03-21
Publication date: 2019-06-28
Anticipated expiration: 2039-03-21
Also published as: CN109951359B

Abstract

本发明实施例提供一种分布式网络资产异步扫描方法及设备，所述方法包括：获取资产扫描任务，所述资产扫描任务中包含扫描目标和扫描参数；将资产扫描任务存入Redis队列；实时监控Redis队列，执行Redis队列中的资产扫描任务。本发明实施例在进行IP地址段扫描时，采用分布式的异步扫描方式，改变了现有技术中进行资产扫描时，效率和准确率低下，实现了资产异步扫描速度快且扫描准确率高的要求。

Description

分布式网络资产异步扫描方法及设备

技术领域

本发明实施例涉及资产信息化管理技术领域，尤其涉及一种分布式网络资产异步扫描方法及设备。

背景技术

当前存在多种现有的网络扫描技术，例如Masscan、Nmap、Zmap等。这些技术各有所长，其中Nmap以其强大而丰富的功能被绝大部分人所使用，号称“45分钟扫描全网”的Zmap以及“6分钟扫描全网”的Masscan也有着较高的使用率。接下来对如上技术做简要介绍。

Nmap作为一个开源的互联网端口扫描及安全审计工具，许多系统及网络管理员利用它进行网络探测、端口扫描、端口服务管理等。Nmap对网络进行扫描时，会向一台主机发出请求，随后等待接到请求的主机作出回应。这些请求可以并行操作，但为每一个未得到回复的请求保留相关记录仍旧会带来大量的工作，从而拖缓扫描互联网的进程。因此，在遇到大网段全端口范围的场景时，Nmap的扫描能力就受到了限制，扫描周期长就成为了其弊端。

那么如何解决大网段全端口扫描的场景，此时就需要用到Masscan，一个最快的互联网端口扫描器。Masscan端口扫描速度之所以能够如此之快，一是其基于无状态的急速扫描技术，无状态连接是指无关心TCP状态，不占用系统TCP/IP资源；二是其发包速度非常快，并可以灵活配置，在windows中，它的发包速度可以达到每秒30万包；在Linux中，速度可以达到每秒160万；默认情况下Masscan的发包速度每秒100包，为了提高速度，可以通过参数–rate设置发包速度。尤其是在应对大网段全端口扫描的时候，这个参数就发挥了其快速的特点。但是在端口Banner获取及服务识别这方面，面对Nmap极度丰富的服务识别指纹库，Masscan是存在劣势的。例如：无法识别端口服务类型及版本、操作系统类型与版本等信息。

因此，现有技术中亟待提出一种高效且准确率高的资产异步扫描方案。

发明内容

本发明实施例提供一种分布式网络资产异步扫描方法及设备，用以解决现有技术中扫描准确率和效率低下的缺陷，实现高效且准确率高的资产异步扫描。

本发明实施例提供一种资产异步扫描方法，包括：

获取资产扫描任务，所述资产扫描任务中包含扫描目标和扫描参数；

将资产扫描任务存入Redis队列；

实时监控Redis队列，执行Redis队列中的资产扫描任务。

本发明实施例提供一种资产异步扫描设备，包括：

获取模块，用于获取资产扫描任务，所述资产扫描任务中包含扫描目标和扫描参数；

保存模块，用于将资产扫描任务存入Redis队列；

执行模块，用于实时监控Redis队列，执行Redis队列中的资产扫描任务。

本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述资产异步扫描方法的步骤。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一项所述资产异步扫描方法的步骤。

本发明实施例提供的分布式网络资产异步扫描方法及设备，在进行IP地址段扫描时，采用分布式的异步扫描方式，改变了现有技术中进行资产扫描时，效率和准确率低下，实现了资产异步扫描速度快且扫描准确率高的要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明分布式网络资产异步扫描方法实施例流程图；

图2为本发明分布式网络资产异步扫描设备实施例结构示意图；

图3为本发明电子设备实施例结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Nmap(“Network Mapper(网络映射器)”)由Fyodor在1997年开始创建，是一款开源的网络发现(Network Discovery)和安全审计工具(Security Auditing)。

Nmap使用主机探测方式，发送ICMP ECHO/TIMESTAMP/NETMASK报文/TCPSYN/ACK包等来发现网络上有哪些主机，随后确定端口状态，然后确定端口上运行具体应用程序和版本信息，之后可以进行操作系统的侦测。以及使用什么类型的防火墙/IDS(IntrusionDetection System，入侵检测系统)

Nmap支持的类型种类较多，包括网络设备、数据库、操作系统等。可以展示设备的端口、协议、状态、服务、版本等。一般情况下，Nmap用于列举网络主机清单、管理服务升级调度、监控主机或服务运行状况。

ZMap是一款扫描软件，由Durumeric领导密歇根大学研究团队开发。在2015年3月27日召开的Usenix国际安全研讨会上宣布推出，这种工具能令一台普通的服务器在短短44分钟时间里扫描互联网上的每一个地址。Durumeric及其同事在2013年末开发了ZMap。在此之前，用软件扫描互联网需要耗时数周或数月，比ZMap慢1000倍。

ZMap是一种“无状态”的工具；也就是说，这种工具会向服务器发出请求，然后就“忘记”这些请求。ZMap不会保留未获回复请求的清单，而是在传出的数据包中对识别信息进行编码，这样一来该工具就能对回复进行鉴别。

这种方法拥有巨大的优势，意味着ZMap输出数据包的速度比Nmap高出1000倍以上。因此，用Nmap对整个互联网进行扫描需要花费几个星期时间，而使用ZMap这种工具则只需要44分钟。

Masscan号称是最快的互联网端口扫描器，最快可以在六分钟内扫遍互联网。Masscan扫描时不建立完整的TCP连接，收到SYN/ACK之后，发送RST结束连接。Masscan的扫描结果类似于nmap，在内部它更像Zmap，采用了异步传输的方式。它和这些扫描器最主要的区别是，它比这些扫描器更快。而且masscan更加灵活，它允许自定义任意的地址范和端口范围。

那么如何解决大网段全端口扫描的场景呢，此时就需要用到Masscan，一个最快的互联网端口扫描器。Masscan端口扫描速度之所以能够如此之快，一是其基于无状态的急速扫描技术，无状态连接是指无关心TCP状态，不占用系统TCP/IP资源；二是其发包速度非常快，并可以灵活配置，在windows中，它的发包速度可以达到每秒30万包；在Linux中，速度可以达到每秒160万；默认情况下masscan的发包速度每秒100包，为了提高速度，可以通过参数–rate设置发包速度。尤其是在应对大网段全端口扫描的时候，这个参数就发挥了其快速的特点。但是在端口Banner获取及服务识别这方面，面对Nmap极度丰富的服务识别指纹库，Masscan是存在劣势的。例如：无法识别端口服务类型及版本、操作系统类型与版本等信息。

本发明的目的是提供了一种分布式网络资产异步扫描的方法，根据Nmap与Masscan的特点，采用分布式的异步扫描方式，对扫描的IP地址段进行拆分，由Masscan进行网络资产的端口扫描，由Nmap进行网络资产的服务识别、操作系统识别与版本识别。克服现有扫描工具扫描速度慢、扫描准确率低的缺陷。

如图1，示出本发明实施例一种资产异步扫描方法整体流程示意图，包括：

S1，获取资产扫描任务，所述资产扫描任务中包含扫描目标和扫描参数。

其中，若所述资产扫描任务中包含扫描目标的地址为单个IP地址或多个规范的IP地址，执行将资产扫描任务存入Redis队列的步骤。

若所述资产扫描任务中包含扫描目标的地址为IP地址段，将IP地址段解析为规范的IP地址后，执行将资产扫描任务存入Redis队列的步骤S2，将资产扫描任务存入Redis队列。

基于分布式队列的管理工具Celery进行资产扫描任务调度，将接收到的资产扫描任务存入Redis队列。

Celery是一个专注于实时处理和任务调度的分布式任务队列,同时提供操作和维护分布式系统所需的工具，所谓任务就是消息,消息中的有效载荷中包含要执行任务需要的全部数据。Celery是一个分布式队列的管理工具,可以用Celery提供的接口快速实现并管理一个分布式的任务队列。Celery本身不是任务队列,是管理分布式任务队列的工具.它封装了操作常见任务队列的各种操作,使用它可以快速进行任务队列的使用与管理。

S3，实时监控Redis队列，执行Redis队列中的资产扫描任务。

Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set有序集合)和hash(哈希类型)。这些数据类型都支持push/pop/add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

利用端口扫描器Masscan基于无状态的急速扫描技术，对Redis队列中的资产扫描任务所对应扫描目标进行1-65535全端口扫描，对扫描结果进行存储。

针对探测到的存活端口调用端口扫描工具Nmap的全面指纹扫描功能，进行异步端口服务识别、版本识别和操作系统识别。

本发明实施例提供的分布式网络资产异步扫描方法，在进行IP地址段扫描时，采用分布式的异步扫描方式，改变了现有技术中进行资产扫描时，效率和准确率低下，实现了资产异步扫描速度快且扫描准确率高的要求。

在上述任一实施例的基础上，提供一种资产异步扫描方法，所述获取资产扫描任务，包括：若所述资产扫描任务中包含扫描目标的地址为单个IP地址或多个规范的IP地址，执行将资产扫描任务存入Redis队列的步骤。

在上述任一实施例的基础上，提供一种资产异步扫描方法，所述获取资产扫描任务，包括：

若所述资产扫描任务中包含扫描目标的地址为IP地址段，将IP地址段解析为规范的IP地址后，执行将资产扫描任务存入Redis队列的步骤。

在上述任一实施例的基础上，提供一种资产异步扫描方法，所述将资产扫描任务存入Redis队列，包括：

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具。它是一个专注于实时处理的任务队列，同时也支持任务调度。

在上述任一实施例的基础上，提供一种资产异步扫描方法，执行Redis队列中的资产扫描任务，包括：

Masscan号称是世界上最快的扫描软件，可以在3分钟内扫描整个互联网端口，但是这个是由条件的4核电脑，双端口10G网卡。

Masscan相比nmap之所以快很多，Masscan采用了异步传输方式，无状态的扫描方式。nmap需要记录tcp/ip的状态，os能够处理的TCP/IP连接最多为1500左右。

Masscan不建立完整的TCP连接，收到SYN/ACK之后，发送RST结束连接。选项--banners除外。

Nmap是一个网络连接端扫描软件，用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端，并且推断计算机运行哪个操作系统(这是亦称fingerprinting)。它是网络管理员必用的软件之一，以及用以评估网络系统安全。

正如大多数被用于网络安全的工具，Nmap也是不少黑客及骇客(又称脚本小子)爱用的工具。系统管理员可以利用Nmap来探测工作环境中未经批准使用的服务器，但是黑客会利用Nmap来搜集目标电脑的网络设定，从而计划攻击的方法。

Nmap常被跟评估系统漏洞软件Nessus混为一谈。Nmap以隐秘的手法，避开闯入检测系统的监视，并尽可能不影响目标系统的日常操作。

如图2，示出本发明实施例一种资产异步扫描设备整体结构示意图，包括：

获取模块A01，用于获取资产扫描任务，所述资产扫描任务中包含扫描目标和扫描参数。

若所述资产扫描任务中包含扫描目标的地址为IP地址段，将IP地址段解析为规范的IP地址后，执行将资产扫描任务存入Redis队列的步骤

保存模块A02，用于将资产扫描任务存入Redis队列。

执行模块A03，用于实时监控Redis队列，执行Redis队列中的资产扫描任务。

本发明实施例提供的分布式网络资产异步扫描设备，在进行IP地址段扫描时，采用分布式的异步扫描方式，改变了现有技术中进行资产扫描时，效率和准确率低下，实现了资产异步扫描速度快且扫描准确率高的要求。

在上述任一实施例的基础上，提供一种资产异步扫描设备，获取模块A01，进一步用于若所述资产扫描任务中包含扫描目标的地址为单个IP地址或多个规范的IP地址，执行将资产扫描任务存入Redis队列的步骤。

在上述任一实施例的基础上，提供一种资产异步扫描设备，获取模块A01，进一步用于：

在上述任一实施例的基础上，提供一种资产异步扫描设备，保存模块A02，进一步用于：

在上述任一实施例的基础上，提供一种资产异步扫描设备，执行模块A03，用于：

Masscan不建立完整的TCP连接，收到SYN/ACK之后，发送RST结束连接，选项--banners除外。

正如大多数被用于网络安全的工具，Nmap也是不少黑客及骇客(又称脚本小子)爱用的工具。系统管理员可以利用Nmap来探测工作环境中未经批准使用的服务器，但是黑客会利用Nmap来搜集目标电脑的网络设定，从而计划攻击的设备。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

举个例子如下：

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：获取资产扫描任务，所述资产扫描任务中包含扫描目标和扫描参数；将资产扫描任务存入Redis队列；实时监控Redis队列，执行Redis队列中的资产扫描任务。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种资产异步扫描方法，其特征在于，包括：

将资产扫描任务存入Redis队列；

实时监控Redis队列，执行Redis队列中的资产扫描任务。

2.根据权利要求1所述的方法，其特征在于，所述获取资产扫描任务，包括：

若所述资产扫描任务中包含扫描目标的地址为单个IP地址或多个规范的IP地址，执行将资产扫描任务存入Redis队列的步骤。

3.根据权利要求1所述的方法，其特征在于，所述获取资产扫描任务，包括：

4.根据权利要求1所述的方法，其特征在于，所述将资产扫描任务存入Redis队列，包括：

5.根据权利要求1所述的方法，其特征在于，执行Redis队列中的资产扫描任务，包括：

6.根据权利要求5所述的方法，其特征在于，执行Redis队列中的资产扫描任务，包括：

7.一种资产异步扫描设备，其特征在于，包括：

保存模块，用于将资产扫描任务存入Redis队列；

8.根据权利要求7所述的设备，其特征在于，所述将资产扫描任务存入Redis队列，用于：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述资产异步扫描方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述资产异步扫描方法的步骤。