CN104468485B - 一种网页扫描方法、装置和系统 - Google Patents

Abstract

本发明实施方式公开了一种网页扫描方法，该方法包括：接收目标域名；通过代理服务器访问所述目标域名，在所述目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问所述目标域名所使用的会话标识；利用该会话标识来供网页扫描器访问所述目标域名并执行网页扫描。相应的，本发明实施方式还公开了一种网页扫描的装置和系统。通过本发明实施方式提供的网页扫描方法、装置和系统，可以解决扫描器集成平台中由采用CAPTCHA等技术的身份认证方式而导致的登录困难问题。

Description

一种网页扫描方法、装置和系统

技术领域

本发明涉及计算机网络安全技术领域，特别是涉及一种网页扫描的方法、装置和系统。

背景技术

网页扫描器（Web Scanner）有助于识别网络应用的安全弱点。当前，可以由多个网页扫描器执行网络安全扫描，通过比较和集成这些不同网页扫描工具的扫描结果，可以得到更加准确的扫描结果。因此，通常向企业提供可以集成不同类型网页扫描器产品的集成平台。对于用户而言，集成平台看起来就像是一个单独的扫描器。实际上，集成平台与多个扫描器相交互，驱动它们扫描目标网页，收集和分析结果，并且提供最终报告。

许多网站针对重要页面予以保护以防止未授权访问。对于扫描器而言，能够支持经过鉴权的扫描非常重要。举例来说，如果没有经过鉴权，网页扫描器只能够访问大部分网站的登录页面，而无法登陆网站对全部网页执行安全扫描。支持经过鉴权的扫描的主要困难在于如何登录进入受到图灵测试（CAPTCHA）技术保护的网站以进行扫描。网站可以通过多种方式实施CAPTCHA技术，比如显示失真数字的动态图像、短语发音或由数个文本和数字组成的小提问。比如，在用户访问网站时，向用户呈现动态图像，用户需要正确地输入图像中的数字才可以登录进入网站。

对于传统的单机网页扫描器，可向用户弹出呈现动态图像的窗口提示用户输入正确信息。然而，对于集成有多个网页扫描器的集成平台，这需要用户与每个网页扫描器进行交互，而且通常这种交互过程仅针对该网页扫描器才有效。不仅于此，许多网页扫描器界面甚至还不支持这种弹出窗口并交互的功能。因此，目前在集成有多个网页扫描器的集成平台中尚未很好地解决由采用CAPTCHA等技术的身份认证方式而导致的登录问题。

发明内容

本发明实施方式提出一种网页扫描的方法、装置和系统，以解决扫描器集成平台中由采用CAPTCHA等技术的身份认证方式而导致的登录困难问题。

根据本发明实施方式的网页扫描方法，该方法包括：

接收目标域名；

通过代理服务器访问所述目标域名，在所述目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问所述目标域名所使用的会话标识；

利用该会话标识来供网页扫描器访问所述目标域名并执行网页扫描。

根据本发明的一个方面，所述利用该会话标识来供网页扫描器访问所述目标域名并执行网页扫描包括：

向所述网页扫描器提供所述代理服务器记录的会话标识，以供所述网页扫描器应用所述会话标识直接访问所述目标域名并执行网页扫描。

根据本发明的另一个方面，所述利用该会话标识来供网页扫描器访问所述目标域名并执行网页扫描包括：

通过所述代理服务器向所述目标域名发送所述网页扫描器的访问请求，以供所述网页扫描器通过所述代理服务器访问所述目标域名并执行网页扫描，其中，所述网页扫描器的访问请求中的会话标识被替换为所述代理服务器记录的会话标识。

根据本发明的一个方面，该方法进一步包括：生成与所述目标域名相对应的扫描任务标识；

记录与所述目标域名相对应的扫描任务标识以及与该扫描任务标识相对应的网页扫描器IP地址列表；

所述利用该会话标识来供网页扫描器访问所述目标域名并执行网页扫描进一步包括：利用与该扫描任务标识相对应的会话标识来供与该扫描任务标识相对应的网页扫描器访问所述目标域名并执行网页扫描。

根据本发明的另一个方面，该方法进一步包括：在网页扫描停止或结束之后，删除所述所记录的会话标识。

根据本发明的另一个方面，所述身份认证信息包括用户名、密码和图灵测试CAPTCHA验证信息。

根据本发明实施方式的网页扫描装置，该装置包括目标域名接收单元、会话标识记录单元和目标域名访问支持单元，其中：

目标域名接收单元，用于接收目标域名；

会话标识记录单元，用于通过代理服务器访问所述目标域名，在所述目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问所述目标域名所使用的会话标识；

目标域名访问支持单元，用于利用所述会话标识来供网页扫描器访问所述目标域名并执行网页扫描。

根据本发明的一个方面，所述目标域名访问支持单元，具体用于向网页扫描器提供所述会话标识，以供所述网页扫描器应用所述会话标识直接访问所述目标域名并执行网页扫描。

根据本发明的另一个方面，所述目标域名访问支持单元，具体用于接收网页扫描器的目标域名访问请求，将该访问请求中的会话标识替换为所述会话标识记录单元记录的会话标识，以供所述网页扫描器通过所述代理服务器访问所述目标域名并执行网页扫描。

根据本发明的一个方面，所述装置进一步包括：

扫描任务标识生成单元，用于生成与所述目标域名接收单元接收的目标域名相对应的扫描任务标识，并为该扫描任务标识关联对应的网页扫描器；

会话标识记录单元，进一步用于记录与所述目标域名相对应的扫描任务标识以及与该扫描任务标识相对应的网络扫描器IP地址列表；

目标域名访问支持单元，进一步用于利用与该扫描任务标识相对应的会话标识来供与该扫描任务标识相对应的网页扫描器访问目标域名并执行网页扫描。

根据本发明的一个方面，所述会话标识记录单元，进一步用于在网页扫描停止或结束之后，删除所记录的会话标识。

根据本发明实施方式的网页扫描系统，包括至少两个网页扫描器、统一接口和代理服务器；其中：

所述统一接口，用于接收目标域名，并向用户提供所述代理服务器的网络地址；

所述代理服务器，用于以代理方式访问所述目标域名，在所述目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问所述目标域名所使用的会话标识；

所述每个网页扫描器，用于通过所述代理服务器访问所述目标域名并执行网页扫描；

所述代理服务器，进一步用于将所述网页扫描器的目标域名访问请求中的会话标识替换为其所记录的会话标识。

根据本发明实施方式的网页扫描系统，包括至少两个网页扫描器、统一接口和代理服务器；其中：

所述统一接口，用于接收目标域名，并向用户提供所述代理服务器的网络地址；

所述代理服务器，用于以代理方式访问所述目标域名，在所述目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问所述目标域名所使用的会话标识；

所述每个网页扫描器，用于利用所述代理服务器记录的会话标识直接访问所述目标域名并执行网页扫描。

从上述技术方案可以看出，在发明实施方式中，通过代理服务器访问目标域名，在该目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问该目标域名所使用的会话标识，从而可利用该会话标识来供网页扫描器对目标域名执行网页扫描。本发明实施方式通过巧妙地运用代理服务机制，提供了一种网页扫描中的集中鉴权方法，能够解决扫描器集成平台进行网页扫描时由目标域名服务器的身份认证过程而导致的登录问题。

而且，本发明实施方式可基于广泛采用的HTTP协议以及HTTP代理机制，实施后可以集成多种类型的网页扫描器，因此具有极大的实用性，并可以节约成本。

此外，本发明实施方式还可以根据扫描任务标识来区分相应扫描任务，因此本发明实施方式还适用于多用户多任务的应用环境中。

附图说明

图1为根据本发明实施方式的网页扫描的方法示意图；

图2为根据本发明实施方式的提取会话标识（Session identifier）的流程示意图；

图3为根据本发明实施方式的网页扫描的流程示意图；

图4为根据本发明实施方式的数据删除流程示意图；

图5为根据本发明实施方式的网页扫描的装置结构示意图；

图6为根据本发明实施方式的网页扫描的系统结构示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图及实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以阐述性说明本发明，并不用于限定本发明的保护范围。

在本发明实施方式中提出一种网页扫描方案，以解决扫描器集成平台在执行网页扫描时由采用CAPTCHA等技术的身份认证方式而导致的登录问题，而无需对扫描器集成平台中各个扫描器的接口进行改变。

图1为根据本发明实施方式的网页扫描的方法流程图。

如图1所示，该方法包括：

步骤101：接收目标域名。

当用户期望通过扫描器集成平台扫描某个网页时，用户可以通过扫描器集成平台的用户界面输入该网页的域名地址（比如URL），该网页的域名地址即为目标域名。扫描器集成平台可由用户界面接收目标域名。

收到目标域名后，扫描器集成平台可向该用户返回代理服务器的网络地址，以供用户通过代理服务器访问目标域名。在这里，可以通过扫描器集成平台的用户界面向用户提供代理服务器的网络地址。

或者可选的，扫描器集成平台可通过一客户端在用户处自动启动网页浏览器等应用程序，使用户通过代理服务器访问目标域名。

步骤102：通过代理服务器访问目标域名，其中在该目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问该目标域名所使用的会话标识。

优选地，身份认证信息包括CAPTCHA验证信息。

在这里，用户可以根据扫描器集成平台用户界面所提供的代理服务器网络地址通过代理服务器访问目标域名。在用户通过代理服务器访问目标域名的过程中，目标域名服务器提示用户进行身份认证。以采用CAPTCHA技术的身份认证方式为例，比如目标域名服务器会提示用户提供CAPTCHA答案、用户名和密码等信息。代理服务器可以利用用户提供的CAPTCHA答案、用户名和密码等信息完成针对目标域名的身份认证。在身份认证通过后，代理服务器可以提取由目标域名服务器提供的、用于后续访问目标域名的会话标识，而且可以在代理服务器中保存该会话标识。

虽然上述以采用CAPTCHA技术的身份认证方式为例对本发明的实施方式进行了说明。本领域技术人员可以意识到，这种说明是示范性的，本发明实施方式所提供的网页扫描方法还可以用于采用其它方式对用户的身份进行认证的网页扫描中。

步骤103：利用该会话标识来供网页扫描器对目标域名执行网页扫描。

在代理服务器获取了访问目标域名所使用的会话标识后，各网页扫描器便可利用该会话标识访问目标域名，并对目标域名执行网页扫描。

在一个实施方式中，扫描器集成平台中的各网页扫描器可以从代理服务器获取该会话标识，并应用该会话标识直接访问目标域名。

在另一个实施方式中，各网页扫描器可以向代理服务器发送目标域名访问请求，代理服务器将网页扫描器的目标域名访问请求中的会话标识替换为其所记录的会话标识。从而，各网页扫描应用可以通过代理服务器访问目标域名。

优选地，扫描器集成平台驱动各扫描器开始扫描，同时扫描器集成平台向各扫描器提供代理服务器参数和/或会话标识。扫描器集成平台可判断各扫描器是否支持设置会话标识，如果支持设置会话标识，则扫描器集成平台驱动该扫描器利用该会话标识直接访问目标域名；如果不支持设置会话标识，则扫描器集成平台驱动该扫描器通过代理服务器访问目标域名，并由代理服务器来替换扫描器目标域名访问请求中的会话标识。在实际应用中，大部分扫描器都支持设置代理服务器的功能，但是仅少数扫描器支持设置会话标识的功能。

进一步地，可以基于上述流程实现多用户多扫描任务的协调分工。优选地，可以由扫描器集成平台进一步生成与目标域名相对应的扫描任务标识。扫描任务标识用于标识扫描任务，优选是唯一的。每个扫描任务标识对应于一个扫描任务，一个用户或多个用户可以发起多个扫描任务，而且每个扫描任务可以具体由多个网页扫描器来执行。

由扫描器集成平台生成与目标域名相对应的扫描任务标识之后，可以向代理服务器发送并保存该扫描任务标识以及与该扫描任务标识相对应的网页扫描器IP地址列表。

此时，网页扫描器IP地址列表中的网页扫描器可以从代理服务器获取访问目标域名所需的会话标识，并应用该会话标识直接访问目标域名。或者，网页扫描器IP地址列表中的网页扫描器向代理服务器发送目标域名访问请求，代理服务器将该目标域名访问请求中的会话标识替换为其所记录的会话标识。从而，网页扫描器IP地址列表中的网页扫描器可以通过代理服务器访问目标域名。

由此可见，本发明实施方式通过巧妙地运用代理服务机制，提供了一种网页扫描中的集中鉴权方法，能够解决扫描器集成平台进行网页扫描时由目标域名服务器的身份认证过程而导致的登录问题。进一步地，通过为针对各目标域名的不同扫描任务生成扫描任务标识，还可实现多用户多扫描任务的协调分工。

基于上述流程，下面详细描述本发明实施方式的示范性具体实施。

图2为根据本发明实施方式的提取会话标识（Session identifier）的流程示意图。

如图2所示，在该流程中，

步骤0：当用户期望通过扫描器集成平台扫描某个网页时，用户可以向扫描器集成平台的用户界面输入该网页的URL（比如为http://www.example.com）。

步骤1a：扫描器集成平台生成唯一的扫描任务标识（TOKEN），并可将该扫描任务标识与目标URL相附加以形成变换后的URL，然后提示用户通过代理服务器访问变换后的URL。扫描器集成平台可以将代理服务器的IP地址以及变换后的URL发送给用户。

比如，目标网页URL为http://www.example.com；变换后的URL为http://www.example.com/?id=TOKEN；在具体应用场景中，TOKEN可以是一个固定长度的随机串。

步骤1b：扫描器集成平台将该TOKEN以及目标网页URL发送到代理服务器。

步骤2a：用户向代理服务器发送针对变换后URL的访问请求。其中代理服务器收到用户发起的该访问请求后，将向目标URL发送访问请求。在访问过程中，目标URL需要用户提供CAPTCHA答案、用户名和密码等信息以进行身份认证。用户可以通过代理服务器提供CAPTCHA答案、用户名和密码等信息，以完成身份认证。当用户成功完成身份认证之后，用户可以关闭网页浏览器并且命令扫描器集成平台开始扫描。

步骤2b：在用户身份认证通过后，代理服务器可保存访问目标域名所使用的会话标识。

具体地，代理服务器可首先解析针对目标URL且包含有TOKEN的HTTP请求。如果在HTTP请求中检索出TOKEN，意味着用户准备登录目标URL，此时可以记录用户的IP地址，并且可以分析该用户IP地址与目的URL之间的所有HTTP数据包以解析出会话标识。

比如，当用户通过代理服务器访问http://www.example.com/?id=TOKEN时，代理服务器可以识别出该TOKEN，而且记录下用户IP地址以及目标URL（www.example.com）。之后，在该用户IP地址和目标URL之间交互的所有HTTP数据包都可以被解析，以解析出会话标识。

更具体地，用户起始通过代理服务器向目标域名发送的HTTP请求具有下列格式：

GET http://www.example.com HTTP/1.1

Host:www.example.com

Accept:*/*

目标URL的网页服务器接收到该请求后，发现该请求中没有会话标识。则目标URL的网页服务器生成会话标识，并且通过响应消息返回会话标识。

下面为响应消息的示范性格式：

HTTP/1..1200OK

Set-Cookie:SESSIONID=4B981E4194F43367642F8FC377599DC8

Content-Length:233

来自网页服务器的真实内容…

在该响应消息中，Set-Cookie信息通知请求发送方已指派了会话标识（SESSIONID）4B981E4194F43367642F8FC377599DC8。当请求发送方接收到该响应消息后，将可以附加会话标识到针对目标URL的所有后续请求中，而无需用户在该次访问过程中再次进行身份认证。

下面为附加会话标识的后续请求的示范性格式：

GET http://www.example.com HTTP/1.1

Host:www.example.com

Accept:*/*

Cookie:SESSIONID=4B981E4194F43367642F8FC377599DC8

由此，代理服务器可以从与目标域名网页服务器交互的HTTP数据包中提取并保存该会话标识。

代理服务器除了保存会话标识之外，还可以保存相关联的扫描任务标识、用户IP地址、目标域名以及扫描器IP地址列表。

表1为在代理服务器中所保存的数据对应表。

在表1中，针对TOKEN1的扫描任务标识，其目标域名为www.example.com；会话标识为4B981E4194F43367642F8FC377599DC8；该扫描任务的用户IP为：x.x.x.x；而且该扫描任务具体由3个扫描器来执行，其中扫描器1地址为x.x.x.x1；扫描器2地址为x.x.x.x2；扫描器3地址为x.x.x.x3。

类似地，针对TOKEN2的扫描任务标识，其目标域名为www.example2.com；会话标识为111111111111111111111111111111111；该扫描任务的用户IP为：x.x.x.x；而且该扫描任务具体由1个扫描器来执行，其中扫描器1地址为x.x.x.x1。

图3为另一根据本发明实施方式的网页扫描的流程示意图。

如图3所示，该流程包括：

步骤3a：当用户完成身份认证之后，用户可以通知扫描器集成平台开始扫描。

步骤3b：扫描器集成平台向代理服务器发送扫描任务标识（Token）和扫描器IP地址列表。

步骤3C：扫描器集成平台根据扫描器IP地址列表中各扫描器的接口向相应扫描器发送扫描命令。

步骤3d：扫描器IP地址列表中的每个扫描器根据扫描器集成平台的扫描命令开始执行扫描。

其中，一些扫描器可以从扫描器集成平台处主动获取由代理服务器保存的会话标识，这种扫描器可应用其所获取的会话标识构成访问请求，并直接访问目标域名以执行具体扫描。

另一些扫描器无法自行应用该会话标识构成访问请求，这些扫描器可以通过代理服务器访问目标域名以执行网页扫描。具体地，扫描器可向代理服务器发送目标域名访问请求，代理服务器将目标域名访问请求中的会话标识替换为其所保存的会话标识，然后再向目标域名发送会话标识被替换后的目标域名访问请求以访问目标域名。

例如，如果代理服务器发现扫描器针对目标URL发出的访问请求具有如下数据：

Cookie:SESSIONID=111111111111111111111111111111111

代理服务器将用其所保存的会话标识替换访问请求中的会话标识，结果如下：

Cookie:SESSIONID=4B981E4194F43367642F8FC377599DC8

访问请求中的会话标识被替换后，扫描器将可以访问目标域名以进行网页扫描。

除根据不同网页扫描器的特性确定由扫描器直接访问目标域名或通过代理服务器访问目标域名外，某些特定的目标域名网页服务器所提供的会话标识只可用于网页服务器与单个的IP地址间的数据包交互。对于这种情形，所有的扫描器都将通过代理服务器访问目标域名，从而从目标域名网页服务器的角度观察，来自于扫描器的所有访问请求都是来自于相同的IP地址。

图4还提供了一种根据本发明实施方式的数据删除流程示意图。如图4所示：

步骤4：当扫描结束之后，或者当用户手动停止扫描时，扫描器集成平台用户界面可以将扫描任务标识发送到代理服务器，代理服务器将删除与该扫描任务标识相关联的所有数据，比如包括目标域名、用户IP地址、扫描器IP地址列表和会话标识。

通过上述数据删除流程，可以及时更新目标域名的身份认证状态，保护用户的身份认证信息不被非法使用，提升扫描器集成平台的安全性。

基于上述详细分析，本发明实施方式还提出了一种网页扫描的装置。

图5为根据本发明实施方式的网页扫描的装置结构示意图。如图5所示，该装置可包括目标域名接收单元501、会话标识记录单元502和目标域名访问支持单元503。其中：

目标域名接收单元501，用于接收目标域名；

会话标识记录单元502，用于通过代理服务器访问该目标域名，在该目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问目标域名所使用的会话标识；

目标域名访问支持单元503，用于利用该会话标识来供网页扫描器对目标域名执行网页扫描。

在一个实施方式中，目标域名访问支持单元503，可用于向网页扫描器提供会话标识记录单元502所记录的会话标识，以供网页扫描器利用该会话标识直接访问目标域名。

在另一个实施方式中，目标域名访问支持单元503，可用于接收网页扫描器的目标域名访问请求，将该访问请求中的会话标识替换为会话标识记录单元502所记录的会话标识，以供网页扫描器通过代理服务器访问目标域名。

由此可见，通过会话标识记录单元502记录访问目标域名所使用的会话标识，并由目标域名访问支持单元503利用该会话标识来供网页扫描器对目标域名执行网页扫描，能够解决扫描器集成平台中的扫描器进行网页扫描时由目标域名的身份认证过程而导致的登录问题，而无需对扫描器集成平台中各个扫描器的接口进行改变。

进一步地，根据本发明实施方式的网页扫描装置还可包括扫描任务标识生成单元504，用于生成与目标域名接收单元501接收的目标域名相对应的扫描任务标识，并为该扫描任务标识关联对应的网页扫描器。扫描任务标识用于标识扫描任务，优选是唯一的。每个扫描任务标识对应于一个扫描任务，一个或多个用户可以发起多个扫描任务，而且每个扫描任务可以具体由多个网页扫描器来执行。

会话标识记录单元502，进一步还可用于记录与目标域名相对应的扫描任务标识以及与该扫描任务标识相对应的网页扫描器IP地址列表；

目标域名访问支持单元503，进一步用于利用与该扫描任务标识相对应的会话标识来供与该扫描任务标识相对应的网页扫描器对目标域名执行网页扫描。

通过为针对各目标域名的不同扫描任务生成扫描任务标识，可实现多用户多扫描任务的协调分工。

基于上述详细分析，本发明实施方式还提出了一种网页扫描的系统。

图6为根据本发明实施方式的网页扫描系统示意结构图。如图6所示，该系统可包括统一接口601、代理服务器602、至少两个网页扫描器603和目标域名网站604，其中：

统一接口601，用于接收目标域名并向用户提供代理服务器的网络地址；

代理服务器602，用于以代理方式访问目标域名网站604，在该目标域名网站604的身份认证过程中接收用户提供的身份认证信息，并在身份认证通过后记录访问该目标域名网站604所使用的会话标识；

每个网页扫描器603，用于通过代理服务器602访问目标域名网站604，并对目标域名网站604执行网页扫描处理；

代理服务器602，进一步用于将网页扫描器603的目标域名访问请求中的会话标识替换为其所记录的会话标识。

或者，每个网页扫描器603，可用于利用代理服务器602记录的会话标识直接访问目标域名网站604，并对目标域名网站604执行网页扫描处理。

在一个实施方式中，每个网页扫描器603，用于从代理服务器602获取访问目标域名网站604所需的会话标识，并应用该会话标识直接访问目标域名。

在另一个实施方式中，代理服务器602，可用于将访问目标域名网站604所需的会话标识发送到统一接口601；

每个网页扫描器603，用于从统一接口601获取该访问目标域名网站604所需的会话标识，并应用该会话标识直接访问目标域名网站604。

在一个实施方式中，进一步地，统一接口601，还可用于生成与目标域名相对应的扫描任务标识，并向代理服务器602发送该扫描任务标识以及与该扫描任务标识相对应的网页扫描器IP地址列表；

代理服务器602，进一步可用于保存扫描任务标识、目标域名、由该目标域名所提供的会话标识以及与该扫描任务标识相对应的网页扫描应用IP地址列表的对应关系。

本文描述的各个方面可以用硬件、软件、固件、中间件、微代码或者其任意组合来实现。利用软件、固件、中间件、微代码、程序代码或者代码段来实现这些装置和/或方法时，可以将其存储在机器可读介质内，例如存储在存储部件内。对于软件实现，本文描述的技术方案可以用实现本文所述功能的模块（例如程序、函数等）来实现。可以将软件代码存储在存储器单元中，由处理器来执行。存储器单元可以在处理器中实现，或者可以位于处理器外部。在后一种情况下，存储器可以通过各种手段与处理器连接。

综上所述，在发明实施方式中，通过代理服务器访问目标域名，在该目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问该目标域名所使用的会话标识，从而可利用该会话标识来供网页扫描器对目标域名执行网页扫描。本发明实施方式通过巧妙地运用代理服务机制，提供了一种网页扫描中的集中鉴权方法，能够解决扫描器集成平台进行网页扫描时由目标域名服务器的身份认证过程而导致的登录问题。

而且，本发明实施方式基于广泛采用的HTTP协议以及HTTP代理机制，实施后可以集成多种类型的网页扫描器，因此具有极大的实用性，并可以节约成本。

此外，本发明实施方式还可以根据扫描任务标识来区分相应扫描任务，因此本发明实施方式还适用于多用户多任务的应用环境中。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种网页扫描方法，该方法包括：

扫描器集成平台接收用户期望扫描的目标域名；所述扫描器集成平台在所述用户通过代理服务器访问所述目标域名并进行身份认证过程中，通过所述代理服务器接收身份认证信息以及在所述用户身份认证通过后记录访问所述目标域名所使用的会话标识；

所述扫描器集成平台利用该会话标识来供所述扫描器集成平台所集成的至少两个网页扫描器访问所述目标域名并执行网页扫描。

2.根据权利要求1所述的网页扫描方法，其特征在于，所述利用该会话标识来供网页扫描器访问所述目标域名并执行网页扫描包括：

向所述网页扫描器提供所述代理服务器记录的会话标识，以供所述网页扫描器应用所述会话标识直接访问所述目标域名并执行网页扫描。

3.根据权利要求1所述的网页扫描方法，其特征在于，所述利用该会话标识来供网页扫描器访问所述目标域名并执行网页扫描包括：

通过所述代理服务器向所述目标域名发送所述网页扫描器的访问请求，以供所述网页扫描器通过所述代理服务器访问所述目标域名并执行网页扫描，其中，所述网页扫描器的访问请求中的会话标识被替换为所述代理服务器记录的会话标识。

4.根据权利要求1所述的网页扫描方法，其特征在于，该方法进一步包括：生成与所述目标域名相对应的扫描任务标识；

记录与所述目标域名相对应的扫描任务标识以及与该扫描任务标识相对应的网页扫描器IP地址列表；

所述利用该会话标识来供网页扫描器访问所述目标域名并执行网页扫描进一步包括：利用与该扫描任务标识相对应的会话标识来供与该扫描任务标识相对应的网页扫描器访问所述目标域名并执行网页扫描。

5.根据权利要求1-4中任一项所述的网页扫描方法，其特征在于，该方法进一步包括：在网页扫描停止或结束之后，删除所述所记录的会话标识。

6.根据权利要求1-4中任一项所述的网页扫描方法，其特征在于，所述身份认证信息包括用户名、密码和图灵测试CAPTCHA验证信息。

7.一种网页扫描装置，该装置包括目标域名接收单元、会话标识记录单元和目标域名访问支持单元，其中：

目标域名接收单元，用于接收用户期望扫描的目标域名；

会话标识记录单元，用于在所述用户通过代理服务器访问所述目标域名并进行身份认证过程中，通过所述代理服务器接收身份认证信息以及在所述用户身份认证通过后记录访问所述目标域名所使用的会话标识；

目标域名访问支持单元，用于利用所述会话标识来供所述网页扫描装置所集成的至少两个网页扫描器访问所述目标域名并执行网页扫描。

8.根据权利要求7所述的网页扫描装置，其特征在于，

所述目标域名访问支持单元，具体用于向网页扫描器提供所述会话标识，以供所述网页扫描器应用所述会话标识直接访问所述目标域名并执行网页扫描。

9.根据权利要求7所述的网页扫描装置，其特征在于，

所述目标域名访问支持单元，具体用于接收网页扫描器的目标域名访问请求，将该访问请求中的会话标识替换为所述会话标识记录单元记录的会话标识，以供所述网页扫描器通过所述代理服务器访问所述目标域名并执行网页扫描。

10.根据权利要求7所述的网页扫描装置，其特征在于，所述装置进一步包括：

扫描任务标识生成单元，用于生成与所述目标域名接收单元接收的目标域名相对应的扫描任务标识，并为该扫描任务标识关联对应的网页扫描器；

会话标识记录单元，进一步用于记录与所述目标域名相对应的扫描任务标识以及与该扫描任务标识相对应的网络扫描器IP地址列表；

目标域名访问支持单元，进一步用于利用与该扫描任务标识相对应的会话标识来供与该扫描任务标识相对应的网页扫描器访问目标域名并执行网页扫描。

11.根据权利要求7所述的网页扫描装置，其特征在于，

所述会话标识记录单元，进一步用于在网页扫描停止或结束之后，删除所记录的会话标识。

12.一种网页扫描系统，包括至少两个网页扫描器、统一接口和代理服务器；其中：

所述统一接口，用于接收目标域名，并向用户提供所述代理服务器的网络地址；

所述代理服务器，用于以代理方式访问所述目标域名，在所述目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问所述目标域名所使用的会话标识；

每个所述网页扫描器，用于通过所述代理服务器访问所述目标域名并执行网页扫描；

所述代理服务器，进一步用于将所述网页扫描器的目标域名访问请求中的会话标识替换为其所记录的会话标识。

13.一种网页扫描系统，包括至少两个网页扫描器、统一接口和代理服务器；其中：

所述统一接口，用于接收目标域名，并向用户提供所述代理服务器的网络地址；

所述代理服务器，用于以代理方式访问所述目标域名，在所述目标域名的身份认证过程中接收身份认证信息，并在身份认证通过后记录访问所述目标域名所使用的会话标识；

每个所述网页扫描器，用于利用所述代理服务器记录的会话标识直接访问所述目标域名并执行网页扫描。