CN111526196B - 一种基于开源扫描器管理端口台账的方法及其系统 - Google Patents

Abstract

本发明公开一种基于开源扫描器管理端口台账的方法及其系统，服务端程序职责为任务的下发，任务结果的分析及处理；扫描端为任务的扫描。两端同时支持任务的断点续传、断点续处理，保证了任务处理的可靠性。任务划分为策略、旗标、复扫三种任务类型，策略任务扫描的结果信息为常规的端口信息，如端口名称、端口服务、主机类型等；旗标任务为banner信息，也属于端口信息，此类信息扫描耗时较长，通过异步的任务下发，保证任务的实时性；复扫任务为tcp探测，用于快速探测处置过的端口是否立即生效，带来操作的便利性。本发明提供了任务回溯排查的能力，便于验证本方法的准确性。

Description

一种基于开源扫描器管理端口台账的方法及其系统

技术领域

本发明涉及网络安全技术领域，尤其涉及一种基于开源扫描器管理端口台账的方法及其系统。

背景技术

公网暴露面端口台账是一项网络安全核查指标，为收集端口台账信息，管理员往往需要登录到各台设备启动扫描器去探测域内域外的端口信息，取得信息后，再根据扫描结果观察是否存在非法端口，以及是否进行纳入端口台账。现有针对暴露在公网的资产端口，不支持自动化扫描，所采用的逐个登录扫描方案，复杂且低效。没有有效的方式从中断处继续执行，需要重新发起扫描，结果文件的处理依赖人工管理（纳入台账、处置端口、审核端口等），难以防止误操作，导致生产力落后。Nmap是一款主流的开源扫描器，它通过给目标主机发特定的包收集响应包取得相关信息。

发明内容

本发明的目的在于提供了一种基于开源扫描器管理端口台账的方法及其系统。

本发明采用的技术方案是：

一种基于开源扫描器管理端口台账的方法，其包括以下步骤：

步骤1，服务端对任务的检测并依据任务类型的不同分配对应的下发任务时机；

步骤2，服务端下发任务生成包含任务信息的任务文件并下方至对应的扫描端；

步骤3，扫描端接收任务文件并根据需要对任务进进行任务拆分，再将待扫任务移动至备份目录；

步骤4，扫描端根据配置中指定的并发数从备份目录获取任务进行扫描并产生结果文件，

步骤5、扫描端基于任务文件判断结果回传方式是否为扫描端主动上报；是则，扫描端将结果文件传送到服务端的指定目录；否则，打包结果文件放置在扫描端自己的结果目录等待服务端过来取结果并在服务端取走后移除已取任务结果文件；

步骤6、服务端获取任务结果文件并模拟扫描端主动上报的格式，模拟扫描端主动上报的格式包括构造任务起始标识文件、获取结果文件，构造任务结束标识文件；

步骤7、服务端对结果文件目录进行监控，并在监测存在完整的任务起始标识、各任务类型结果文件标识、任务结束标识后，在结果文件处理过程中添加更新端口台账的端口实际探测状态同时启动该任务的分析；

步骤8，服务端扫描获取的端口台账信息进行分析管理；将其中未纳入端口台账的新端口纳入端口台账，同时端口实际探测状态与已纳入端口台账的端口基准值进行比对，并基于比对结果更新端口状态；

步骤9，根据任务结果的处置情况按业务系统为维度进行派发。

进一步地，步骤1中服务端对任务的检测具体包括以下内容：

对于策略任务的检测：从周期任务与实时任务捞取待处理的策略任务类型，检测是否存在扫描任务，当存在对应的扫描任务则缓存任务id和对应扫描器字典；

对于旗标任务的检测：策略任务与旗标任务是一个整体，由于耗时较长，将旗标信息的扫描拆分为旗标任务以异步获取旗标，当服务端收到扫描端的策略任务结果时下发对应的旗标任务，

对于复扫任务的检测：当策略任务完成扫描后且用户选择任务复扫状态激活时，服务端将下发复扫任务到扫描端。

进一步地，步骤2中任务信息包括需要扫描的ip、端口、部门、业务系统、任务结果回传方式参数，任务信息以json形式记录在文本中。

进一步地，步骤2中下发任务的具体方法为：

步骤2.1，服务端通过检测任务信息取得任务目的地信息，通过aes解密出扫描器sftp账号密码，

步骤2.2，将任务文件发往服务端指定的目标目录（所有扫描端获取任务文件目录配置以服务端为基准），

步骤2.3，任务文件成功发送则删除本地任务文件，否则将任务文件移到本地failed目录以备查看。

进一步地，步骤2.3中针对同一任务需要发往扫描器的，当存在一个扫描器成功接收到任务文件，则视为成功发送，任务状态更新为执行中，同时记录各扫描器传输失败原因，以备查看。当所有扫描器都发送失败，则任务更新为等待下次执行。

进一步地，步骤3的具体步骤为：

步骤3.1，扫描端通过检测结果文件目录以接收来自服务端发送过来的任务文件，进而获取任务信息；

步骤3.2，接收到任务文件后，对任务的ip数量进行检查，当任务的ip数量IPNUM大于扫描端配置的单个任务数目N时，则进行任务拆分M个子任务，

步骤3.3，将拆分处理后的待扫任务移动至备份目录，用于后续断点处理。

进一步地，步骤4中扫描端扫描完成则从备份目录移除任务文件并产生结果文件，并根据任务类型将结果文件放到不通的结果目录；当服务器异常导致程序没有处理完扫描任务而退出的，备份目录内的任务文件将在下次启动继续处理。

进一步地，步骤8中新纳入端口台账涉及字段包括端口台账表id、资产id、端口号、端口使用协议类型、端口状态未完善、ip地址、端口探测状态、扫描器来源和扫描id；且自动纳入端口台账的端口基准值默认为空，审核默认为未审核。

进一步地，步骤8中基于比对结果更新端口状态的具体方法为：

当基准值为开放且端口实际探测状态跟基准值不一致时，更新端口状态为未处置，更新端口实际探测状态,不变更审核状态；

当基准值为开放且端口实际探测状态跟基准值一致时（同为open或者同为close），端口状态更新为已处置，更新端口实际探测状态,不变更审核状态

当基准值为关闭且端口实际状态不是关闭时，更新端口状态为未处置，更新端口实际探测状态,变更审核状态为"未审核"；

其余情况更新端口为未完善。

进一步地，步骤9的派发信息包括新纳入端口台账、端口访问控制策略无效的结果。

进一步地，本发明还公开了一种基于开源扫描器管理端口台账系统，采用了所述的一种基于开源扫描器管理端口台账的方法，系统包括用户管理服务器、服务端、扫描端和业务系统服务器，扫描端分别与接入对应的业务系统服务器，业务系统服务器的端口台账探测由扫描端主机完成，扫描端集成了nmap以支持各类端口扫描类型的拓展，扫描端与服务端通信连接，

服务端向扫描端主机发送任务文件，任务文件的任务信息中涵盖了业务系统涉及扫描的主机ip、端口、以及任务结果文件回传方式，服务端被配置为支持服务端主动到扫描端主机下载和扫描端主机扫描完成的主动上报两种方式；服务端用于获取任务结果文件后结合端口台账进行分析、根据最新端口变化新增或更新端口台账表；

用户管理服务器连接服务端，用户管理服务器用于用户配置任务类型、规划不同环节的不同端口的任务扫描；服务端的分析结果输出至用户管理服务器上展示给用户，用户管理服务器提供快速复扫功能。

本发明采用以上技术方案，服务端程序职责为任务的下发，任务结果的分析及处理；扫描端为任务的扫描。两端同时支持任务的断点续传、断点续处理，保证了任务处理的可靠性。本发明可方便的拓展更多的任务类型，下发任务类型灵活。无论服务端或者扫描端哪一方产生异常，在恢复运行后任务也将恢复，任务断点处理可靠的。本发明具有灵活的任务结果回传方式，通过指定的任务下发参数，可以告知扫描结果是否由扫描端主动上传，或者服务端主动下载。本发明速将资产端口变化收敛到soc平台上的数据表中，并能够随时提供聚合查询能力的问题。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为现有技术中管理端口台账的系统原理示意图；

图2为本发明一种基于开源扫描器管理端口台账系统原理示意图；

图3为本发明一种基于开源扫描器管理端口台账系统架构示意图；

图4为本发明一种基于开源扫描器管理端口台账的方法的流程示意图。

具体实施方式

如图2或3所示，本发明公开了一种基于开源扫描器管理端口台账系统，其包括用户管理服务器、服务端、扫描端和业务系统服务器。扫描端分别与接入对应的业务系统服务器，业务系统服务器的端口台账探测主要由扫描端主机完成，扫描端集成了nmap，支持各类端口扫描类型的拓展，用户可在管理端进行任务类型的配置，在不同环节进行不同端口任务的扫描，进一步提高任务的扫描效率。

扫描端与服务端通信连接，服务端向扫描端主机发送任务文件，任务文件的任务信息中涵盖了业务系统涉及扫描的主机ip、端口、以及任务结果文件回传方式，服务端支持服务端主机主动到扫描端主机下载和扫描端主机扫描完成的主动上报两种方式。服务端主机在获取到任务结果文件后，结合端口台账进行分析，根据最新端口变化新增或更新端口台账表，服务端的分析结果输出至用户管理服务器上展示给用户，用户管理服务器提供快速复扫功能，便于用户在处置端口后的快速验证。

进一步地，如图4所示，本发明还公开了一种基于开源扫描器管理端口台账的方法，其包括以下步骤：

步骤1，服务端对任务的检测并依据任务类型的不同分配对应的下发任务时机；

步骤2，服务端下发任务生成包含任务信息的任务文件并下方至对应的扫描端；

步骤3，扫描端接收任务文件并根据需要对任务进进行任务拆分，再将待扫任务移动至备份目录；

步骤4，扫描端根据配置中指定的并发数从备份目录获取任务进行扫描并产生结果文件，

步骤5、扫描端基于任务文件判断结果回传方式是否为扫描端主动上报；是则，扫描端将结果文件传送到服务端的指定目录；否则，打包结果文件放置在扫描端自己的结果目录等待服务端过来取结果并在服务端取走后移除已取任务结果文件；

步骤6、服务端获取任务结果文件并模拟扫描端主动上报的格式，模拟扫描端主动上报的格式包括构造任务起始标识文件、获取结果文件，构造任务结束标识文件；

步骤7、服务端对结果文件目录进行监控，并在监测存在完整的任务起始标识、各任务类型结果文件标识、任务结束标识后，在结果文件处理过程中添加更新端口台账的端口实际探测状态同时启动该任务的分析；

步骤8，服务端扫描获取的端口台账信息进行分析管理；将其中未纳入端口台账的新端口纳入端口台账，同时端口实际探测状态与已纳入端口台账的端口基准值进行比对，并基于比对结果更新端口状态；

步骤9，根据任务结果的处置情况按业务系统为维度进行派发。

进一步地，步骤1中服务端对任务的检测具体包括以下内容：

对于策略任务的检测：从周期任务与实时任务捞取待处理的策略任务类型，检测是否存在扫描任务，当存在对应的扫描任务则缓存任务id和对应扫描器字典；

对于旗标任务的检测：策略任务与旗标任务是一个整体，由于耗时较长，将旗标信息的扫描拆分为旗标任务以异步获取旗标，当服务端收到扫描端的策略任务结果时下发对应的旗标任务，

对于复扫任务的检测：当策略任务完成扫描后且用户选择任务复扫状态激活时，服务端将下发复扫任务到扫描端。

进一步地，步骤2中任务信息包括需要扫描的ip、端口、部门、业务系统、任务结果回传方式参数，任务信息以json形式记录在文本中。

进一步地，步骤2中下发任务的具体方法为：

步骤2.1，服务端通过检测任务信息取得任务目的地信息，通过aes解密出扫描器sftp账号密码，

步骤2.2，将任务文件发往服务端指定的目标目录（所有扫描端获取任务文件目录配置以服务端为基准），

步骤2.3，任务文件成功发送则删除本地任务文件，否则将任务文件移到本地failed目录以备查看。

进一步地，步骤2.3中针对同一任务需要发往扫描器的，当存在一个扫描器成功接收到任务文件，则视为成功发送，任务状态更新为执行中，同时记录各扫描器传输失败原因，以备查看。当所有扫描器都发送失败，则任务更新为等待下次执行。

进一步地，步骤3的具体步骤为：

步骤3.1，扫描端通过检测结果文件目录以接收来自服务端发送过来的任务文件，进而获取任务信息；

步骤3.2，接收到任务文件后，对任务的ip数量进行检查，当任务的ip数量IPNUM大于扫描端配置的单个任务数目N时，则进行任务拆分M个子任务，

步骤3.3，将拆分处理后的待扫任务移动至备份目录，用于后续断点处理。

进一步地，步骤4中扫描端扫描完成则从备份目录移除任务文件并产生结果文件，并根据任务类型将结果文件放到不通的结果目录；当服务器异常导致程序没有处理完扫描任务而退出的，备份目录内的任务文件将在下次启动继续处理。

进一步地，步骤8中新纳入端口台账涉及字段包括端口台账表id、资产id、端口号、端口使用协议类型、端口状态未完善、ip地址、端口探测状态、扫描器来源和扫描id；且自动纳入端口台账的端口基准值默认为空，审核默认为未审核。

进一步地，步骤8中基于比对结果更新端口状态的具体方法为：

当基准值为开放且端口实际探测状态跟基准值不一致时，更新端口状态为未处置，更新端口实际探测状态,不变更审核状态；

当基准值为开放且端口实际探测状态跟基准值一致时（同为open或者同为close），端口状态更新为已处置，更新端口实际探测状态,不变更审核状态

当基准值为关闭且端口实际状态不是关闭时，更新端口状态为未处置，更新端口实际探测状态,变更审核状态为"未审核"；

其余情况更新端口为未完善。

进一步地，步骤9的派发信息包括新纳入端口台账、端口访问控制策略无效的结果。

本发明将任务划分为策略、旗标、复扫三种任务类型，策略任务扫描的结果信息为常规的端口信息，如端口名称、端口服务、主机类型等；旗标任务为banner信息，也属于端口信息，此类信息扫描耗时较长，通过异步的任务下发，保证任务的实时性；复扫任务为tcp探测，用于快速探测处置过的端口是否立即生效，带来操作的便利性。本发明具有任务回溯排查的能力，便于验证本方法的准确性。本发明基于Nmap快速扫描、更新、处置端口台账数据的方法，能保证端口台账数据处理的可靠性、实时性、便利性、安全性.结合sftp进行任务传输，保证了较高的安全性。

Claims (9)

1.一种基于开源扫描器管理端口台账的方法，其特征在于：其包括以下步骤：

步骤1，服务端对任务的检测依据任务类型的不同分配对应的下发任务时机；服务端对任务的检测具体包括以下内容：

对于策略任务的检测：从周期任务与实时任务捞取待处理的策略任务类型，检测是否存在扫描任务，当存在对应的扫描任务则缓存任务id和对应扫描器字典；策略任务扫描的结果信息为常规的端口信息；

对于旗标任务的检测：策略任务与旗标任务是一个整体，将旗标信息的扫描拆分为旗标任务以异步获取旗标，当服务端收到扫描端的策略任务结果时下发对应的旗标任务，旗标任务扫描的结果信息为banner信息；

对于复扫任务的检测：当策略任务完成扫描后且用户选择任务复扫状态激活时，服务端将下发复扫任务到扫描端；复扫任务为tcp探测；

步骤2，服务端下发任务：生成包含任务信息的任务文件并下发至对应的扫描端；

步骤3，扫描端接收任务文件并根据需要对任务进行任务拆分，再将待扫任务移动至备份目录；

步骤4，扫描端根据配置中指定的并发数从备份目录获取任务进行扫描并产生结果文件，

步骤5、扫描端基于任务文件判断结果回传方式是否为扫描端主动上报；是则，扫描端将结果文件传送到服务端的指定目录；否则，打包结果文件放置在扫描端自己的结果目录等待服务端过来取结果并在服务端取走后移除已取任务结果文件；

步骤6、服务端获取任务结果文件并模拟扫描端主动上报的格式，模拟扫描端主动上报的格式包括构造任务起始标识文件、获取结果文件，构造任务结束标识文件；

步骤7、服务端对结果文件目录进行监控，并在监测存在完整的任务起始标识、各任务类型结果文件标识、任务结束标识后，在结果文件处理过程中添加或更新端口台账的端口以便在实际探测状态同时启动该任务的分析；

步骤8，服务端对扫描端扫描获取的端口台账信息进行分析管理；将其中未纳入端口台账的新端口纳入端口台账，同时端口实际探测状态与已纳入端口台账的端口基准值进行比对，并基于比对结果更新端口状态；

步骤9，根据任务结果的处置情况按业务系统为维度进行派发，派发信息包括新纳入端口台账、端口访问控制策略无效的结果。

2.根据权利要求1所述的一种基于开源扫描器管理端口台账的方法，其特征在于：步骤2中任务信息包括需要扫描的ip、端口、部门、业务系统、任务结果回传方式参数，任务信息以json形式记录在文本中。

3.根据权利要求1所述的一种基于开源扫描器管理端口台账的方法，其特征在于：步骤2中下发任务的具体方法为：

步骤2.1，服务端通过检测任务信息取得任务目的地信息，通过aes解密出扫描器sftp账号密码，

步骤2.2，将任务文件发往服务端指定的目标目录，

步骤2.3，任务文件成功发送则删除本地任务文件，否则将任务文件移到本地failed目录以备查看。

4.根据权利要求3所述的一种基于开源扫描器管理端口台账的方法，其特征在于：步骤2.3中针对同一任务需要发往扫描器的，当存在一个扫描器成功接收到任务文件，则视为成功发送，任务状态更新为执行中，同时记录各扫描器传输失败原因，以备查看，当所有扫描器都发送失败，则任务更新为等待下次执行。

5.根据权利要求1所述的一种基于开源扫描器管理端口台账的方法，其特征在于：步骤3的具体步骤为：

步骤3.1，扫描端通过检测结果文件目录以接收来自服务端发送过来的任务文件，进而获取任务信息；

步骤3.2，接收到任务文件后，对任务的ip数量进行检查，当任务的ip数量IPNUM大于扫描端配置的单个任务数目N时，则将任务拆分为M个子任务，

步骤3.3，将拆分处理后的待扫任务移动至备份目录，用于后续断点处理。

6.根据权利要求1所述的一种基于开源扫描器管理端口台账的方法，其特征在于：步骤4中扫描端扫描完成则从备份目录移除任务文件并产生结果文件，并根据任务类型的不同将结果文件放到不同的结果目录；当服务器异常导致程序没有处理完扫描任务而退出的，备份目录内的任务文件将在下次启动继续处理。

7.根据权利要求1所述的一种基于开源扫描器管理端口台账的方法，其特征在于：步骤8中新纳入端口台账涉及字段包括端口台账表id、资产id、端口号、端口使用协议类型、端口状态未完善、ip地址、端口探测状态、扫描器来源和扫描id；且自动纳入端口台账的端口基准值默认为空，审核默认为未审核。

8.根据权利要求1所述的一种基于开源扫描器管理端口台账的方法，其特征在于：步骤8中基于比对结果更新端口状态的具体方法为：

当基准值为开放且端口实际探测状态跟基准值不一致时，更新端口状态为未处置，更新端口实际探测状态,不变更审核状态；

当基准值为开放且端口实际探测状态跟基准值一致时，端口状态更新为已处置，更新端口实际探测状态,不变更审核状态；

当基准值为关闭且端口实际状态不是关闭时，更新端口状态为未处置，更新端口实际探测状态,变更审核状态为"未审核"；

其余情况更新端口为未完善。

9.一种基于开源扫描器管理端口台账系统，采用了权利要求1至8任一所述的一种基于开源扫描器管理端口台账的方法，其特征在于：系统包括用户管理服务器、服务端、扫描端和业务系统服务器，扫描端分别接入对应的业务系统服务器，业务系统服务器的端口台账探测由扫描端主机完成，扫描端集成了nmap以支持各类端口扫描类型的拓展，扫描端与服务端通信连接，

服务端向扫描端主机发送任务文件，任务文件的任务信息中涵盖了业务系统涉及扫描的主机ip、端口、以及任务结果文件回传方式，服务端被配置为支持服务端主动到扫描端主机下载和扫描端主机扫描完成的主动上报两种方式；服务端用于获取任务结果文件后结合端口台账进行分析、根据最新端口变化新增或更新端口台账表；

用户管理服务器连接服务端，用户管理服务器用于用户配置任务类型、规划不同环节的不同端口的任务扫描；服务端的分析结果输出至用户管理服务器上展示给用户，用户管理服务器提供快速复扫功能。

Images