CN103699845B - 显示扫描进度的方法及装置 - Google Patents

Abstract

本发明公开了一种显示扫描进度的方法及装置，该方法包括：根据爬取扫描产出比及爬虫模块将要爬取的页面链接的数目，确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，确定需要扫描模块进行扫描的所有页面链接的数目；根据扫描模块当前已扫描完成的页面链接的数目及需要扫描模块进行扫描的所有页面链接的数目，确定当前扫描进度，并显示当前扫描进度。本发明技术方案解决了现有技术中在爬虫模块爬取完所有页面链接之前，无法向用户显示当前扫描进度的问题。

Description

显示扫描进度的方法及装置

技术领域

本发明涉及信息安全技术领域，尤其涉及一种显示扫描进度的方法及装置。

背景技术

随着网络安全问题的日益突出，各企业根据各自的业务需求，需要对各自的站点定期的使用网页（web）漏洞扫描器进行漏洞扫描。web漏洞扫描器能够自定义扫描策略，并通过扫描策略对web站点进行系统漏洞和应用漏洞的发现与检测，并为客户提供详细的解决方案。其中，web漏洞扫描器能够检测到的漏洞包括：结构化查询语言（Structured QueryLanguage，SQL）注入、跨站脚本攻击（Cross Site Script，XSS）、可扩展标记语言路径语言（XML PathLanguage，XPath，XML：Ensible Markup Language）、弱口令、敏感文件等。

Web漏洞扫描器主要以扫描任务为处理单元，一个扫描任务就是一个站点，在对站点进行扫描时，web漏洞扫描器内的爬虫模块首先对该站点进行统一资源定位符（UniformResource Locator，URL）的爬取，爬虫模块爬取到的URL经过预设的过滤规则进行过滤后由扫描模块进行扫描。

Web漏洞扫描器在扫描过程中，需要实时的将扫描进度显示给用户，以便用户能够及时的获知任务进度。现有技术一般通过下述方式向用户显示扫描进度：

将扫描模块当前已经扫描完成的页面链接的数目作为当前完成工作量，将需要扫描模块进行扫描的所有页面链接的数目作为此次扫描任务的总工作量，然后将当前完成工作量与总工作量的比值作为当前扫描进度，将计算出的当前扫描进度实时显示给用户。每当扫描模块扫描完成一个页面链接，就按照上述方式更新扫描进度。

其中，爬虫模块爬取到的所有页面链接经过预设的过滤规则进行过滤，过滤后的页面链接即为扫描模块需要扫描的页面链接，因此，现有技术在计算扫描任务的总工作量时非常依赖于爬虫模块最终爬取到的所有页面链接的数目。但是，由于站点规模的大小不同、网络环境不同，爬虫模块爬取站点中的所有页面链接所需的时间也不同，因此，在爬虫模块爬取完所有页面链接之前，web漏洞扫描器无法准确地计算出最终需要扫描模块进行扫描的所有页面链接的数目，即，扫描任务的总工作量在爬虫模块爬取完站点中的所有页面链接之前是不确定的，因此，按照现有技术的上述方案，在爬虫模块爬取完站点中的所有页面链接之前，web漏洞扫描器无法实时、准确地向用户显示当前扫描进度，用户也就无法根据进度详情预估整个任务的扫描结束时间，从而严重影响了用户体验。

发明内容

本发明实施例提供一种显示扫描进度的方法及装置，用以解决现有技术中在爬虫模块爬取完所有页面链接之前，无法向用户显示当前扫描进度的问题。

本发明实施例提供如下技术方案：

本发明实施例提出一种显示扫描进度的方法，包括：

根据爬虫模块当前已爬取完成的页面链接的数目以及在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目，确定爬取扫描产出比；

根据所述爬取扫描产出比以及爬虫模块将要爬取的页面链接的数目，确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，确定需要扫描模块进行扫描的所有页面链接的数目；

确定扫描模块当前已扫描完成的页面链接的数目；

根据扫描模块当前已扫描完成的页面链接的数目以及需要扫描模块进行扫描的所有页面链接的数目，确定当前扫描进度，并显示确定出的当前扫描进度。

由上可见，本发明实施例技术方案中，在爬虫模块爬取完站点中的所有页面链接之前，扫描模块每扫描完成一个页面链接，就根据爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，估算扫描任务的总工作量，然后根据扫描模块当前已扫描完成的页面链接的数目（即当前完成工作量）与扫描任务的总工作量，确定并显示当前扫描进度，因此即使爬虫模块未爬取完站点中的所有页面链接，也能够实时、准确地向用户显示当前扫描进度，使用户能够根据进度详情预估整个任务的扫描结束时间，保障了用户的使用体验。

优选的，通过下述方式确定爬取扫描产出比：

其中，cor为爬取扫描产出比；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

finished为爬虫模块当前已爬取完成的页面链接的数目。

优选的，通过下述方式确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目：

to_scanned＝to_crawl*cor

其中，to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_crawl为爬虫模块将要爬取的页面链接的数目；

cor为爬取扫描产出比。

优选的，通过下述方式确定需要扫描模块进行扫描的所有页面链接的数目：

total＝accept+to_scanned

其中，total为需要扫描模块进行扫描的所有页面链接的数目；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目。

优选的，确定扫描模块当前已扫描完成的页面链接的数目，具体包括：

根据扫描模块已扫描完成的各页面链接对应的扫描时长以及扫描模块已扫描完成的页面链接的数目，确定扫描模块扫描每个页面链接时的平均扫描时长；

根据扫描模块正在扫描的每个页面链接对应的开始扫描时间、扫描模块正在扫描的页面链接的数目以及扫描模块扫描每个页面链接时的平均扫描时长，确定扫描模块预估扫描完成的页面链接的数目；

根据扫描模块已扫描完成的页面链接的数目以及扫描模块预估扫描完成的页面链接的数目，确定扫描模块当前已扫描完成的页面链接的数目。

通过本实施例方案，确定扫描模块当前已扫描完成的页面链接的数目时，考虑了扫描模块正在扫描的页面链接的数目，从而能够避免扫描进度在很长时间内都卡在某一个值而得不到更新的情况，也能够避免扫描进度突然出现跳跃的现象，因此向用户显示的当前扫描进度能够实时的反应扫描任务的实际执行情况。

优选的，还包括：

根据扫描模块扫描每个页面链接时的平均扫描时长以及扫描模块正在扫描的页面链接的数目，确定间隔时长；并

在经过确定出的所述间隔时长后，更新扫描模块预估扫描完成的页面链接的数目。

通过本实施例方案，由于扫描模块是并发进行扫描的，随着时间的推移，正在扫描的页面链接会转换为已扫描完成的页面链接，因此需要每隔一定的时间就根据扫描模块正在扫描的页面链接的数目更新扫描模块预估扫描完成的页面链接的数目，以确保根据预估扫描完成的页面链接的数目计算出的当前已扫描完成的页面链接的数目的准确性，从而能够保证向用户显示的扫描进度的准确性。

优选的，通过下述方式确定间隔时长：

其中，interval_time为间隔时长；

average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanning为扫描模块正在扫描的页面链接的数目。

优选的，通过下述方式确定扫描模块扫描每个页面链接时的平均扫描时长：

其中，average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanned_time为扫描模块已扫描完成的各页面链接对应的扫描时长；

scanned为扫描模块已扫描完成的页面链接的数目。

优选的，通过下述方式确定扫描模块预估扫描完成的页面链接的数目：

其中，per_scanned为扫描模块预估扫描完成的页面链接的数目；

scanning为扫描模块正在扫描的页面链接的数目；

start_time为扫描模块正在扫描的每个页面链接对应的开始扫描时间；

now为当前时间；

average_time为扫描模块扫描每个页面链接时的平均扫描时长。

优选的，通过下述方式确定扫描模块当前已扫描完成的页面链接的数目：

all_scanned＝scanned+pre_scanned

其中，all_scanned为扫描模块当前已扫描完成的页面链接的数目；

scanned为扫描模块已扫描完成的页面链接的数目；

pre_scanned为扫描模块预估扫描完成的页面链接的数目。

优选的，在显示确定出的当前扫描进度之前，还包括：

判断此次确定出的当前扫描进度是否大于上一次确定出的扫描进度；

若判断结果为是，则执行所述显示确定出的当前扫描进度的操作。

通过本实施例方案，在显示确定出的当前扫描进度之前，先对确定出的当前扫描进度进行容错处理，从而能够保证向用户显示的当前扫描进度的准确性。

本发明实施例还提出一种显示扫描进度的装置，包括：

扫描产出比确定单元，用于根据爬虫模块当前已爬取完成的页面链接的数目以及在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目，确定爬取扫描产出比；

第一链接数目确定单元，用于根据所述爬取扫描产出比以及爬虫模块将要爬取的页面链接的数目，确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

第二链接数目确定单元，用于根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，确定需要扫描模块进行扫描的所有页面链接的数目；

第三链接数目确定单元，用于确定扫描模块当前已扫描完成的页面链接的数目；

扫描进度确定单元，用于根据扫描模块当前已扫描完成的页面链接的数目以及需要扫描模块进行扫描的所有页面链接的数目，确定当前扫描进度；

扫描进度显示单元，用于显示扫描进度确定单元确定出的当前扫描进度。

由上可见，本发明实施例技术方案中，在爬虫模块爬取完站点中的所有页面链接之前，扫描模块每扫描完成一个页面链接，就根据爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，估算扫描任务的总工作量，然后根据扫描模块当前已扫描完成的页面链接的数目（即当前完成工作量）与扫描任务的总工作量，确定并显示当前扫描进度，因此即使爬虫模块未爬取完站点中的所有页面链接，也能够实时、准确地向用户显示当前扫描进度，使用户能够根据进度详情预估整个任务的扫描结束时间，保障了用户的使用体验。

优选的，所述扫描产出比确定单元通过下述方式确定爬取扫描产出比：

其中，cor为爬取扫描产出比；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

finished为爬虫模块当前已爬取完成的页面链接的数目。

优选的，所述第一链接数目确定单元通过下述方式确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目：

to_scanned＝to_crawl*cor

其中，to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_crawl为爬虫模块将要爬取的页面链接的数目；

cor为爬取扫描产出比。

优选的，所述第二链接数目确定单元通过下述方式确定需要扫描模块进行扫描的所有页面链接的数目：

total＝accept+to_scanned

其中，total为需要扫描模块进行扫描的所有页面链接的数目；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目。

优选的，所述第三链接数目确定单元确定扫描模块当前已扫描完成的页面链接的数目，具体包括：

扫描时长确定子单元，用于根据扫描模块已扫描完成的各页面链接对应的扫描时长以及扫描模块已扫描完成的页面链接的数目，确定扫描模块扫描每个页面链接时的平均扫描时长；

第一链接数目确定子单元，用于根据扫描模块正在扫描的每个页面链接对应的开始扫描时间、扫描模块正在扫描的页面链接的数目以及扫描模块扫描每个页面链接时的平均扫描时长，确定扫描模块预估扫描完成的页面链接的数目；

第二链接数目确定子单元，用于根据扫描模块已扫描完成的页面链接的数目以及扫描模块预估扫描完成的页面链接的数目，确定扫描模块当前已扫描完成的页面链接的数目。

通过本实施例方案，确定扫描模块当前已扫描完成的页面链接的数目时，考虑了扫描模块正在扫描的页面链接的数目，从而能够避免扫描进度在很长时间内都卡在某一个值而得不到更新的情况，也能够避免扫描进度突然出现跳跃的现象，因此向用户显示的当前扫描进度能够实时的反应扫描任务的实际执行情况。

优选的，还包括：

间隔时长确定单元，用于根据扫描模块扫描每个页面链接时的平均扫描时长以及扫描模块正在扫描的页面链接的数目，确定间隔时长；

链接数目更新单元，用于在经过间隔时长确定单元确定出的所述间隔时长后，更新扫描模块预估扫描完成的页面链接的数目。

通过本实施例方案，由于扫描模块是并发进行扫描的，随着时间的推移，正在扫描的页面链接会转换为已扫描完成的页面链接，因此需要每隔一定的时间就根据扫描模块正在扫描的页面链接的数目更新扫描模块预估扫描完成的页面链接的数目，以确保根据预估扫描完成的页面链接的数目计算出的当前已扫描完成的页面链接的数目的准确性，从而能够保证向用户显示的扫描进度的准确性。

优选的，所述间隔时长确定单元通过下述方式确定间隔时长：

其中，interval_time为间隔时长；

average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanning为扫描模块正在扫描的页面链接的数目。

优选的，所述扫描时长确定子单元通过下述方式确定扫描模块扫描每个页面链接时的平均扫描时长：

其中，average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanned_time为扫描模块已扫描完成的各页面链接对应的扫描时长；

scanned为扫描模块已扫描完成的页面链接的数目。

优选的，所述第一链接数目确定子单元通过下述方式确定扫描模块预估扫描完成的页面链接的数目：

其中，per_scanned为扫描模块预估扫描完成的页面链接的数目；

scanning为扫描模块正在扫描的页面链接的数目；

start_time为扫描模块正在扫描的每个页面链接对应的开始扫描时间；

now为当前时间；

average_time为扫描模块扫描每个页面链接时的平均扫描时长。

优选的，所述第二链接数目确定子单元通过下述方式确定扫描模块当前已扫描完成的页面链接的数目：

all_scanned＝scanned+pre_scanned

其中，all_scanned为扫描模块当前已扫描完成的页面链接的数目；

scanned为扫描模块已扫描完成的页面链接的数目；

pre_scanned为扫描模块预估扫描完成的页面链接的数目。

优选的，还包括：

扫描进度判断单元，用于在扫描进度显示单元显示扫描进度确定单元确定出的当前扫描进度之前，判断扫描进度确定单元此次确定出的当前扫描进度是否大于上一次确定出的扫描进度；

所述扫描进度显示单元，具体用于在所述扫描进度判断单元的判断结果为是时，显示扫描进度确定单元确定出的当前扫描进度。通过本实施例方案，在显示确定出的当前扫描进度之前，先对确定出的当前扫描进度进行容错处理，从而能够保证向用户显示的当前扫描进度的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一中，显示扫描进度的方法流程示意图；

图2为本发明实施例三中，显示扫描进度的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

现有技术中，在计算扫描任务的总工作量时非常依赖于爬虫模块最终爬取到的所有页面链接的数目。但是，由于站点规模的大小不同、网络环境不同，爬虫模块爬取站点中的所有页面链接所需的时间也不同，因此，在爬虫模块爬取完所有页面链接之前，web漏洞扫描器无法准确地计算出最终需要扫描模块进行扫描的所有页面链接的数目，即，扫描任务的总工作量在爬虫模块爬取完站点中的所有页面链接之前是不确定的，因此，按照现有技术的上述方案，在爬虫模块爬取完站点中的所有页面链接之前，web漏洞扫描器无法实时、准确地向用户显示当前扫描进度，用户也就无法根据进度详情预估整个任务的扫描结束时间，从而严重影响了用户体验。

有鉴于此，本发明实施例提出，在爬虫模块爬取完站点中的所有页面链接之前，扫描模块每扫描完成一个页面链接，就根据爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，估算扫描任务的总工作量，然后根据扫描模块当前已扫描完成的页面链接的数目（即当前完成工作量）与扫描任务的总工作量，确定并显示当前扫描进度，因此即使爬虫模块未爬取完站点中的所有页面链接，也能够实时、准确地向用户显示当前扫描进度，使用户能够根据进度详情预估整个任务的扫描结束时间，保障了用户的使用体验。

下面结合说明书附图对本发明实施例的方案进行详细描述。

实施例一

如图1所示，为本发明实施例一提出的显示扫描进度的方法流程示意图，其具体处理流程如下：

步骤11，根据爬虫模块当前已爬取完成的页面链接的数目以及在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目，确定爬取扫描产出比。

在爬虫模块爬取完站点中的所有页面链接之前，扫描模块每扫描完成一个页面链接，就估算扫描任务的总工作量，以向用户显示实时的扫描进度。

本发明实施例一提出，由于爬虫模块爬取到的页面链接需要经过预设的过滤规则进行过滤处理（例如过滤掉外部链接等）后，再由扫描模块进行扫描处理，因此需要扫描模块进行扫描的页面链接的数目可能要小于爬虫模块爬取的页面链接的数目，可以定义爬取扫描产出比cor来表征爬虫模块爬取的页面链接转换为扫描模块需要进行扫描的页面链接的能力。其中，在确定爬取扫描产出比cor时，可以从爬虫模块中获取当前已爬取完成的页面链接的数目finished，从扫描模块中获取爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目accept，然后根据上述finished和accept来确定爬取扫描产出比cor。

具体的，可以但不限于通过下述方式确定爬取扫描产出比cor：

步骤12，根据所述爬取扫描产出比以及爬虫模块将要爬取的页面链接的数目，确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目。

由于爬取扫描产出比cor能够表征爬虫模块爬取的页面链接转换为扫描模块需要进行扫描的页面链接的能力，因此web漏洞扫描器根据从爬虫模块中获取的爬虫模块将要爬取的页面链接的数目to_crawl以及步骤11确定出的爬取扫描产出比cor，就能够确定出在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目to_scanned。

具体的，可以但不限于通过下述方式确定to_scanned：

to_scanned＝to_crawl*cor

步骤13，根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，确定需要扫描模块进行扫描的所有页面链接的数目。

需要扫描模块进行扫描的所有页面链接的数目即为扫描任务的总工作量，本发明实施例一提出，可以根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目accept以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目to_scanned来估算此次扫描任务的总工作量total。

具体的，可以但不限于通过下述方式确定此次扫描任务的总工作量total：

total＝accept+to_scanned

步骤14，确定扫描模块当前已扫描完成的页面链接的数目。

其中，扫描模块当前已扫描完成的页面链接的数目all_scanned即为当前完成工作量。web漏洞扫描器可以按照现有技术的方式，将扫描模块已扫描完成的页面链接的数目scanned作为当前完成工作量all_scanned。

此外，web漏洞扫描器也可以在确定当前完成工作量all_scanned时，将扫描模块正在扫描的页面链接的数目scanning考虑进去，具体的确定流程将在本发明实施例二中进行详细介绍。

步骤15，根据扫描模块当前已扫描完成的页面链接的数目以及需要扫描模块进行扫描的所有页面链接的数目，确定当前扫描进度，并显示确定出的当前扫描进度。

确定出当前完成工作量all_scanned和扫描任务的总工作量total之后，可以通过下述方式确定当前扫描进度：

本发明实施例一提出，由于扫描进度的取值范围为0～100，并且在爬取速度和扫描速度不变的情况下是单调递增的，但是由于某些人为因素（例如突然加大带宽或者突然加大扫描并发数等等），会使按照上述方法确定出的当前扫描进度有轻微的偏差，因此在显示确定出的当前扫描进度之前，需要对确定出的当前扫描进度进行容错处理，以保证扫描进度的准确性。具体的，在显示确定出的当前扫描进度之前，先判断此次确定出的当前扫描进度是否大于上一次确定出的扫描进度，若判断结果为是，即此次确定出的当前扫描进度大于上一次确定出的扫描进度，则表明确定出的当前扫描进度是准确的，因此可以显示确定出的当前扫描进度，即更新当前扫描进度，若判断结果为否，即此次确定出的当前扫描进度不大于上一次确定出的扫描进度，则表明确定出的当前扫描进度是错误的，因此可以不更新当前扫描进度。

实施例二

现有技术中，在计算当前完成工作量all_scanned时仅仅考虑到了扫描模块已扫描完成的页面链接的数目scanned，并没有考虑到扫描模块正在扫描的页面链接的数目scanning，如果扫描模块正在扫描的页面链接在需要扫描的所有页面链接中占的比例很大，那么就会使扫描进度在很长时间内都卡在某一个值而得不到更新，当扫描模块对正在扫描的页面链接完成扫描时，会出现扫描进度跳跃的现象，也就是说，扫描进度并不是随时间线性变化的，因此按照现有技术的方法计算出的当前扫描进度并不能实时的反应扫描任务的实际执行情况。

有鉴于此，本发明实施例二提出，结合web扫描任务本身的特点，一个扫描任务大概可以分为三个部分，分别为：扫描模块需要扫描的所有页面链接、扫描模块正在扫描的页面链接、扫描模块已扫描完成的页面链接。现有技术在确定扫描进度时，只考虑了扫描模块已扫描完成的页面链接的数目scanned，忽略了扫描模块正在扫描的页面链接的数目scanning，而当一个扫描任务对应的站点规模很小的时候，或者扫描并发数很高（即正在扫描的页面链接的数目很多）的时候，扫描模块正在扫描的页面链接的数目对扫描进度的计算有着非常大的影响。

因此，本发明实施例二提出，扫描模块开始扫描页面链接时，记录该页面链接对应的开始扫描时间start_time，扫描模块每扫描完成一个页面链接，均记录该页面链接对应的扫描时长scanned_time，web漏洞扫描器在确定当前完成工作量all_scanned时，从扫描模块中获取已扫描完成的各页面链接对应的扫描时长scanned_time以及已扫描完成的页面链接的数目scanned，根据上述scanned_time和scanned确定扫描模块扫描每个页面链接时的平均扫描时长average_time，具体的，可以但不限于通过下述方式确定average_time：

然后，web漏洞扫描器从扫描模块中获取正在扫描的每个页面链接对应的开始扫描时间start_time、正在扫描的页面链接的数目scanning，根据上述start_time、scanning以及average_time，确定扫描模块预估扫描完成的页面链接的数目per_scanned，具体的，可以但不限于通过下述方式确定per_scanned：

其中，now为当前时间。

根据扫描模块已扫描完成的页面链接的数目scanned以及扫描模块预估扫描完成的页面链接的数目per_scanned，即可确定出扫描模块当前已扫描完成的页面链接的数目，即当前完成工作量。具体的，可以但不限于通过下述方式确定当前完成工作量all_scanned：

all_scanned＝scanned+pre_scanned

其中，扫描模块每扫描完成一个页面链接，就需要更新扫描模块扫描每个页面链接时的平均扫描时长average_time，从而根据更新后的average_time更新当前扫描进度。

此外，本发明实施例二还提出，由于扫描模块是并发进行扫描的，随着时间的推移，正在扫描的页面链接会转换为已扫描完成的页面链接，因此需要每隔一定的时间就根据扫描模块正在扫描的页面链接的数目scanning更新扫描模块预估扫描完成的页面链接的数目per_scanned，以确保根据per_scanned计算出的当前完成工作量的准确性，从而能够保证向用户显示的扫描进度的准确性。

具体的，先根据扫描模块扫描每个页面链接时的平均扫描时长average_time以及扫描模块正在扫描的页面链接的数目scanning，确定间隔时长interval_time，并在经过确定出的所述间隔时长interval_time后，更新扫描模块预估扫描完成的页面链接的数目per_scanned，可以但不限于通过下述方式确定间隔时长：

由上可见，采用本发明实施例二提出的方法确定当前完成工作量时，考虑了扫描模块正在扫描的页面链接的数目scanning，从而能够避免扫描进度在很长时间内都卡在某一个值而得不到更新的情况，也能够避免扫描进度突然出现跳跃的现象，因此向用户显示的当前扫描进度能够实时的反应扫描任务的实际执行情况。

实施例三

与本发明实施例一提出的显示扫描进度的方法对应，本发明实施例三提出一种显示扫描进度的装置，其结构如图2所示，包括：

扫描产出比确定单元21，用于根据爬虫模块当前已爬取完成的页面链接的数目以及在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目，确定爬取扫描产出比；

第一链接数目确定单元22，用于根据所述爬取扫描产出比以及爬虫模块将要爬取的页面链接的数目，确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

第二链接数目确定单元23，用于根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，确定需要扫描模块进行扫描的所有页面链接的数目；

第三链接数目确定单元24，用于确定扫描模块当前已扫描完成的页面链接的数目；

扫描进度确定单元25，用于根据扫描模块当前已扫描完成的页面链接的数目以及需要扫描模块进行扫描的所有页面链接的数目，确定当前扫描进度；

扫描进度显示单元26，用于显示扫描进度确定单元25确定出的当前扫描进度。

优选的，所述扫描产出比确定单元21通过下述方式确定爬取扫描产出比：

其中，cor为爬取扫描产出比；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

finished为爬虫模块当前已爬取完成的页面链接的数目。

优选的，所述第一链接数目确定单元22通过下述方式确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目：

to_scanned＝to_crawl*cor

其中，to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_crawl为爬虫模块将要爬取的页面链接的数目；

cor为爬取扫描产出比。

优选的，所述第二链接数目确定单元23通过下述方式确定需要扫描模块进行扫描的所有页面链接的数目：

total＝accept+to_scanned

其中，total为需要扫描模块进行扫描的所有页面链接的数目；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目。

优选的，所述第三链接数目确定单元24具体包括：

扫描时长确定子单元，用于根据扫描模块已扫描完成的各页面链接对应的扫描时长以及扫描模块已扫描完成的页面链接的数目，确定扫描模块扫描每个页面链接时的平均扫描时长；

第一链接数目确定子单元，用于根据扫描模块正在扫描的每个页面链接对应的开始扫描时间、扫描模块正在扫描的页面链接的数目以及扫描模块扫描每个页面链接时的平均扫描时长，确定扫描模块预估扫描完成的页面链接的数目；

第二链接数目确定子单元，用于根据扫描模块已扫描完成的页面链接的数目以及扫描模块预估扫描完成的页面链接的数目，确定扫描模块当前已扫描完成的页面链接的数目。

优选的，所述装置还包括：

间隔时长确定单元，用于根据扫描模块扫描每个页面链接时的平均扫描时长以及扫描模块正在扫描的页面链接的数目，确定间隔时长；

链接数目更新单元，用于在经过间隔时长确定单元确定出的所述间隔时长后，更新扫描模块预估扫描完成的页面链接的数目。

优选的，所述间隔时长确定单元通过下述方式确定间隔时长：

其中，interval_time为间隔时长；

average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanning为扫描模块正在扫描的页面链接的数目。

优选的，所述扫描时长确定子单元通过下述方式确定扫描模块扫描每个页面链接时的平均扫描时长：

其中，average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanned_time为扫描模块已扫描完成的各页面链接对应的扫描时长；

scanned为扫描模块已扫描完成的页面链接的数目。

优选的，所述第一链接数目确定子单元通过下述方式确定扫描模块预估扫描完成的页面链接的数目：

其中，per_scanned为扫描模块预估扫描完成的页面链接的数目；

scanning为扫描模块正在扫描的页面链接的数目；

start_time为扫描模块正在扫描的每个页面链接对应的开始扫描时间；

now为当前时间；

average_time为扫描模块扫描每个页面链接时的平均扫描时长。

优选的，所述第二链接数目确定子单元通过下述方式确定扫描模块当前已扫描完成的页面链接的数目：

all_scanned＝scanned+pre_scanned

其中，all_scanned为扫描模块当前已扫描完成的页面链接的数目；

scanned为扫描模块已扫描完成的页面链接的数目；

pre_scanned为扫描模块预估扫描完成的页面链接的数目。

优选的，所述装置还包括：

扫描进度判断单元，用于在扫描进度显示单元26显示扫描进度确定单元25确定出的当前扫描进度之前，判断扫描进度确定单元25此次确定出的当前扫描进度是否大于上一次确定出的扫描进度；

所述扫描进度显示单元26，具体用于在所述扫描进度判断单元的判断结果为是时，显示扫描进度确定单元25确定出的当前扫描进度。

本发明实施例三还提出一种web漏洞扫描器，至少包括上述显示扫描进度的装置。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种显示扫描进度的方法，其特征在于，包括：

根据爬虫模块当前已爬取完成的页面链接的数目以及在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目，确定爬取扫描产出比；

根据所述爬取扫描产出比以及爬虫模块将要爬取的页面链接的数目，确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，确定需要扫描模块进行扫描的所有页面链接的数目；

确定扫描模块当前已扫描完成的页面链接的数目；

根据扫描模块当前已扫描完成的页面链接的数目以及需要扫描模块进行扫描的所有页面链接的数目，确定当前扫描进度，并显示确定出的当前扫描进度；

其中，确定扫描模块当前已扫描完成的页面链接的数目，具体包括：

根据扫描模块已扫描完成的各页面链接对应的扫描时长以及扫描模块已扫描完成的页面链接的数目，确定扫描模块扫描每个页面链接时的平均扫描时长；

根据扫描模块正在扫描的每个页面链接对应的开始扫描时间、扫描模块正在扫描的页面链接的数目以及扫描模块扫描每个页面链接时的平均扫描时长，确定扫描模块预估扫描完成的页面链接的数目；

根据扫描模块已扫描完成的页面链接的数目以及扫描模块预估扫描完成的页面链接的数目，确定扫描模块当前已扫描完成的页面链接的数目。

2.如权利要求1所述的方法，其特征在于，通过下述方式确定爬取扫描产出比：

$cor=\frac{accept}{finished}$

其中，cor为爬取扫描产出比；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

finished为爬虫模块当前已爬取完成的页面链接的数目。

3.如权利要求1所述的方法，其特征在于，通过下述方式确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目：

to_scanned＝to_crawl*cor

其中，to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_crawl为爬虫模块将要爬取的页面链接的数目；

cor为爬取扫描产出比。

4.如权利要求1所述的方法，其特征在于，通过下述方式确定需要扫描模块进行扫描的所有页面链接的数目：

total＝accept+to_scanned

其中，total为需要扫描模块进行扫描的所有页面链接的数目；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目。

5.如权利要求1所述的方法，其特征在于，还包括：

根据扫描模块扫描每个页面链接时的平均扫描时长以及扫描模块正在扫描的页面链接的数目，确定间隔时长；并

在经过确定出的所述间隔时长后，更新扫描模块预估扫描完成的页面链接的数目。

6.如权利要求5所述的方法，其特征在于，通过下述方式确定间隔时长：

$\mathrm{int}erval\_time=\frac{average\_time}{scanning}$

其中，interval_time为间隔时长；

average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanning为扫描模块正在扫描的页面链接的数目。

7.如权利要求1所述的方法，其特征在于，通过下述方式确定扫描模块扫描每个页面链接时的平均扫描时长：

$average\_time=\frac{\underset{1}{\overset{scanned}{\Σ}}scanned\_time}{scanned}$

其中，average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanned_time为扫描模块已扫描完成的各页面链接对应的扫描时长；

scanned为扫描模块已扫描完成的页面链接的数目。

8.如权利要求1所述的方法，其特征在于，通过下述方式确定扫描模块预估扫描完成的页面链接的数目：

$per\_scanned=\frac{\underset{1}{\overset{scanning}{\Σ}}(start\_time-now)}{average\_time}$

其中，per_scanned为扫描模块预估扫描完成的页面链接的数目；

scanning为扫描模块正在扫描的页面链接的数目；

start_time为扫描模块正在扫描的每个页面链接对应的开始扫描时间；

now为当前时间；

average_time为扫描模块扫描每个页面链接时的平均扫描时长。

9.如权利要求1所述的方法，其特征在于，通过下述方式确定扫描模块当前已扫描完成的页面链接的数目：

all_scanned＝scanned+pre_scanned

其中，all_scanned为扫描模块当前已扫描完成的页面链接的数目；

scanned为扫描模块已扫描完成的页面链接的数目；

pre_scanned为扫描模块预估扫描完成的页面链接的数目。

10.如权利要求1所述的方法，其特征在于，在显示确定出的当前扫描进度之前，还包括：

判断此次确定出的当前扫描进度是否大于上一次确定出的扫描进度；

若判断结果为是，则执行所述显示确定出的当前扫描进度的操作。

11.一种显示扫描进度的装置，其特征在于，包括：

扫描产出比确定单元，用于根据爬虫模块当前已爬取完成的页面链接的数目以及在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目，确定爬取扫描产出比；

第一链接数目确定单元，用于根据所述爬取扫描产出比以及爬虫模块将要爬取的页面链接的数目，确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

第二链接数目确定单元，用于根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，确定需要扫描模块进行扫描的所有页面链接的数目；

第三链接数目确定单元，用于确定扫描模块当前已扫描完成的页面链接的数目；

扫描进度确定单元，用于根据扫描模块当前已扫描完成的页面链接的数目以及需要扫描模块进行扫描的所有页面链接的数目，确定当前扫描进度；

扫描进度显示单元，用于显示扫描进度确定单元确定出的当前扫描进度；

其中，所述第三链接数目确定单元确定扫描模块当前已扫描完成的页面链接的数目，具体包括：

扫描时长确定子单元，用于根据扫描模块已扫描完成的各页面链接对应的扫描时长以及扫描模块已扫描完成的页面链接的数目，确定扫描模块扫描每个页面链接时的平均扫描时长；

第一链接数目确定子单元，用于根据扫描模块正在扫描的每个页面链接对应的开始扫描时间、扫描模块正在扫描的页面链接的数目以及扫描模块扫描每个页面链接时的平均扫描时长，确定扫描模块预估扫描完成的页面链接的数目；

第二链接数目确定子单元，用于根据扫描模块已扫描完成的页面链接的数目以及扫描模块预估扫描完成的页面链接的数目，确定扫描模块当前已扫描完成的页面链接的数目。

12.如权利要求11所述的装置，其特征在于，所述扫描产出比确定单元通过下述方式确定爬取扫描产出比：

$cor=\frac{accept}{finished}$

其中，cor为爬取扫描产出比；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

finished为爬虫模块当前已爬取完成的页面链接的数目。

13.如权利要求11所述的装置，其特征在于，所述第一链接数目确定单元通过下述方式确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目：

to_scanned＝to_crawl*cor

其中，to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_crawl为爬虫模块将要爬取的页面链接的数目；

cor为爬取扫描产出比。

14.如权利要求11所述的装置，其特征在于，所述第二链接数目确定单元通过下述方式确定需要扫描模块进行扫描的所有页面链接的数目：

total＝accept+to_scanned

其中，total为需要扫描模块进行扫描的所有页面链接的数目；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目。

15.如权利要求11所述的装置，其特征在于，还包括：

间隔时长确定单元，用于根据扫描模块扫描每个页面链接时的平均扫描时长以及扫描模块正在扫描的页面链接的数目，确定间隔时长；

链接数目更新单元，用于在经过间隔时长确定单元确定出的所述间隔时长后，更新扫描模块预估扫描完成的页面链接的数目。

16.如权利要求15所述的装置，其特征在于，所述间隔时长确定单元通过下述方式确定间隔时长：

$\mathrm{int}erval\_time=\frac{average\_time}{scanning}$

其中，interval_time为间隔时长；

average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanning为扫描模块正在扫描的页面链接的数目。

17.如权利要求11所述的装置，其特征在于，所述扫描时长确定子单元通过下述方式确定扫描模块扫描每个页面链接时的平均扫描时长：

$average\_time=\frac{\underset{1}{\overset{scanned}{\Σ}}scanned\_time}{scanned}$

其中，average_time为扫描模块扫描每个页面链接时的平均扫描时长；

scanned_time为扫描模块已扫描完成的各页面链接对应的扫描时长；

scanned为扫描模块已扫描完成的页面链接的数目。

18.如权利要求11所述的装置，其特征在于，所述第一链接数目确定子单元通过下述方式确定扫描模块预估扫描完成的页面链接的数目：

$per\_scanned=\frac{\underset{1}{\overset{scanning}{\Σ}}(start\_time-now)}{average\_time}$

其中，per_scanned为扫描模块预估扫描完成的页面链接的数目；

scanning为扫描模块正在扫描的页面链接的数目；

start_time为扫描模块正在扫描的每个页面链接对应的开始扫描时间；

now为当前时间；

average_time为扫描模块扫描每个页面链接时的平均扫描时长。

19.如权利要求11所述的装置，其特征在于，所述第二链接数目确定子单元通过下述方式确定扫描模块当前已扫描完成的页面链接的数目：

all_scanned＝scanned+pre_scanned

其中，all_scanned为扫描模块当前已扫描完成的页面链接的数目；

scanned为扫描模块已扫描完成的页面链接的数目；

pre_scanned为扫描模块预估扫描完成的页面链接的数目。

20.如权利要求11所述的装置，其特征在于，还包括：

扫描进度判断单元，用于在扫描进度显示单元显示扫描进度确定单元确定出的当前扫描进度之前，判断扫描进度确定单元此次确定出的当前扫描进度是否大于上一次确定出的扫描进度；

所述扫描进度显示单元，具体用于在所述扫描进度判断单元的判断结果为是时，显示扫描进度确定单元确定出的当前扫描进度。