CN101261644A - 访问统一资源定位符数据库的方法及装置 - Google Patents

Abstract

本发明公开了一种访问URL数据库的方法及装置，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个，其中方法包括：URL数据库服务器接收过滤网关向发送的包含URL地址的请求报文；所述URL数据库服务器按照预置的各URL数据库的访问优先级顺序，依次访问各URL数据库，当从任一URL数据库查找到所述URL地址对应的网页信息时，即向所述过滤网关反馈包含所述网页信息的响应报文。本发明将各类URL数据库进行了融合，与仅采用单URL数据库的现有方案相比，相当于扩充了URL数据库内容，并按照各URL数据库优先级，实现对多个URL数据库的有序控制。

Description

访问统一资源定位符数据库的方法及装置

技术领域

本发明涉及网络安全技术领域，尤其涉及一种访问统一资源定位符(Uniform Resource Locator，URL)数据库的方法及装置。

背景技术

URL是用于完整地描述因特网(Internet)上网页和其他资源的地址的一种标识方法。Internet上的每一个网页都具有一个唯一的名称标识，通常称之为URL地址，这种地址可以是本地磁盘，也可以是局域网上的某一台计算机，更多的是Internet上的站点。简单地说，URL就是Web地址，俗称“网址”。

企业为了避免风险，常常在企业网络出口部署URL过滤网关，避免用户访问非法网站。参见图1，为过滤URL地址的通信系统示意图，其中，过滤网关101向URL数据库服务器102(在具体通信系统中，URL数据库服务器102可以是全球服务中心的服务器或是区域服务中心的服务器)发送包含URL地址的请求报文，请求查找URL地址对应的网页信息，URL数据库服务器102查找URL数据库，获得URL地址对应的网页信息后，向过滤网关101返回包含网页信息的响应报文，过滤网关利用响应报文中的网页信息，查找过滤规则，获知该URL地址对应的过滤策略，以此控制用户对网页的访问。

现有技术中，URL数据库可采用专业版本的数据库，也可以采用独立研发的数据库，对于专业版本的数据库，其中包含的URL地址分类等信息不能随意修改，很难满足用户的个性化需求，例如，英文网页的URL数据库，内容很丰富，但是对于中文内容的网页地址很少进行收集和分类，如果国内的企业采用这种URL数据库，会导致对于中文网页地址的过滤很不准确。对于用户而言，希望将专业版URL数据库和独立编写的URL数据库融合使用，以达到对网页进行精准过滤的目的。

发明内容

有鉴于此，本发明提供一种访问URL数据库的方法及装置，以解决现有方案中无法融合专业版URL数据库和自主研发的URL数据库的问题。

为此，本发明实施例采用如下技术方案：

一种访问URL数据库的方法，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个，包括：所述URL数据库服务器接收所述过滤网关发送的包含URL地址的请求报文；所述URL数据库服务器按照预置的各URL数据库的访问优先级顺序，依次访问各URL数据库，当从任一URL数据库查找到所述URL地址对应的网页信息时，即向所述过滤网关反馈包含所述网页信息的响应报文。

上述方法还包括：当从所有URL数据库均未查找到所述URL地址对应的网页信息时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。

所述网页信息包括URL地址对应的网页分类信息。

上述方法还包括：所述过滤网关查找预置的过滤规则，获得所述网页信息对应的过滤策略，按照所述过略策略，允许或禁止访问所述URL地址对应的网页。

一种访问URL数据库的方法，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个，包括：所述URL数据库服务器接收所述过滤网关发送的包含URL地址的请求报文；所述URL数据库服务器对各URL数据库进行访问：当仅从一个URL数据库查找到所述URL地址对应的网页信息时，向所述过滤网关反馈包含所述网页信息的响应报文；当从多个URL数据库均查找到所述URL地址对应的网页信息时，按照预置的各URL数据库的选取优先级，向所述过滤网关反馈包含所述选取优先级最高的URL数据库中的网页信息的响应报文。

上述方法还包括：当从所有URL数据库均未查找到所述URL地址对应的网页信息时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。

一种控制访问URL数据库的装置，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个，该装置包括：请求接收单元，用于接收过滤网关发送的包含URL地址的请求报文；优先级设置单元，用于设置各URL数据库访问优先级；数据库访问单元，用于访问URL数据库，查找所述URL地址对应的网页信息；访问控制单元，用于按照所述优先级设置单元设置的访问优先级，控制所述数据库访问单元依次对各URL数据库进行访问，当从任一URL数据库查找到所述URL地址对应的网页信息时，即控制所述数据库访问单元停止访问下一个URL数据库；响应单元，用于向所述过滤网关反馈包含所述网页信息的响应报文。

上述装置还包括：失败通知单元，用于当所述数据库访问单元对所有URL数据库均访问失败时，向所述过滤网关反馈查找失败消息。

一种控制访问URL数据库的装置，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个，该装置包括：请求接收单元，用于接收过滤网关发送的包含URL地址的请求报文；数据库访问单元，用于访问各URL数据库，查找所述URL地址对应的网页信息；优先级设置单元，用于设置对各URL数据库网页信息的选取优先级；响应单元，用于向所述过滤网关反馈包含网页信息的响应报文；响应控制单元：当所述数据库访问单元仅从一个URL数据库查找到所述URL地址对应的网页信息时，控制所述响应单元向所述过滤网关反馈包含该网页信息的响应报文；当所述数据库访问单元从多个URL数据库均查找到所述URL地址对应的网页信息时，按照所述优先级设置单元预置的各URL数据库选取优先级，控制所述响应单元向所述过滤网关反馈包含所述选取优先级最高的URL数据库中的网页信息的响应报文。

上述装置还包括：失败通知单元，用于当所述数据库访问单元对所有URL数据库均访问失败时，向所述过滤网关反馈查找失败消息。

可见，本发明将各类URL数据库进行了融合，与仅采用单URL数据库的现有方案相比，相当于扩充了URL数据库内容，并按照各URL数据库访问优先级或选取优先级对URL数据库进行访问，实现对多个URL数据库的有序控制。

附图说明

图1为现有技术过滤URL地址的通信系统示意图；

图2为本发明过滤URL地址的通信系统示意图；

图3为本发明适配层与各URL数据库关系逻辑示意图；

图4为本发明方法实施例一流程图；

图5为本发明方法实施例一示意图；

图6为本发明方法实施例二流程图；

图7为本发明方法实施例二示意图；

图8为本发明装置实施例一结构示意图；

图9为本发明装置实施例二结构示意图。

具体实施方式

本发明提供的方案中，在URL数据库服务器上同时运行多个URL数据库，例如当同时运行两个URL数据库时，一个URL数据库是外购的专业版URL数据库，另一个可以是企业自主研发的满足个性需求的URL数据库。

参见图2，为本发明过滤URL地址的通信系统示意图，URL数据库服务器201中包括外购URL数据库2011和自建URL数据库2012，还包括适配层2013，过滤网关202通过适配层2013访问外购URL数据库2011或自建URL数据库2012，并且，适配层2013负责对数据库的访问进行控制。

需要说明的是，图2中将适配层2013设置在URL数据库服务器201中，本领域人员容易理解，也可将适配层设置在URL数据库服务器之外，也即，将适配层和URL数据库组分别设置在不同的设备中。

图2中的两个数据库可以运行在不同的操作系统上，例如Mysql、SQLserver、Oracle或Sybase等。自建URL数据库2012可以自行设计URL地址存储表的结构，URL地址更新方式、URL地址的分类信息、URL地址的手机方法等，自建URL数据库2012只要与外购URL数据库2011保持一致的对外接口即可。需要说明的是，运行多个URL数据库的URL数据库服务器可以是一个设备实体，也可以是物理上相互独立的多个设备实体

参见图3，为图2中适配层2013与外购URL数据库2011和自建URL数据库2012关系逻辑示意图，其中，“方块”表示外购URL数据库2011包含的网页信息的范围，“椭圆”表示自建URL数据库2012包含的网页信息的范围，而适配层2013所能查找到的网页信息范围是二者的集合，也即，过滤网关202通过适配层2013可查找到外购URL数据库2011和自建URL数据库2012中网页信息的“合集”。

首先介绍本发明方法实施例一。

实施例一中，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，此时，实施例一流程图参见图4，包括：

步骤401：过滤网关向URL数据库服务器发送包含URL地址的请求报文；

步骤402：URL数据库服务器按照预置的各URL数据库的访问优先级顺序，依次访问各URL数据库；

步骤403：当从任一URL数据库查找到所述URL地址对应的网页信息时，即向所述过滤网关反馈包含所述网页信息的响应报文；

上述“网页信息”是指URL地址对应的网页相关信息，包括URL分类以及相关描述信息等。

通过上述步骤401～403，即可完成“访问”URL数据库。

另外，当从所有URL数据库均未查找到所述URL地址对应的网页信息时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。

对于过滤网关，后续还执行以下步骤：

步骤404：过滤网关查找预置的过滤规则，获得所述网页信息对应的过滤策略，按照所述过略策略，允许或禁止访问所述URL地址对应的网页。

从上述步骤402可以理解，需要设置各URL数据库的访问优先级，在具体设置中，可将准确率高的数据库的访问优先级设置为最高，例如，如果自建URL数据库是基于中文的URL地址的，则在中国使用时，优先访问自建URL数据库，如果在国外使用，则优先访问外购URL数据库。

用户可以自行定义各URL数据库的优先级，如果在优先级最高的URL数据库不能查询到URL分类，可以到另外一个优先级次高的URL数据库进行查询，当从任一个URL数据库查找到URL分类，则URL数据库服务器向过滤网关返回响应报文，如果在所有URL数据库均未查找到，则发送查找失败消息告知过滤网关，这里的“查找失败消息”可以是与响应报文不同的消息，也可以是响应报文，只不过将响应报文中的“网页信息”字段设置为“空”，或者，通过响应报文中的特殊字段告知过滤网关查找失败。

参见图5，为实施例一的示意图，其中，URL数据库服务器501中包括n个URL数据库，分别为URL数据库1、URL数据库2...URL数据库n，过滤网关502通过URL数据库服务器501中的适配层5011访问各URL数据库，适配层5011除了充当过滤网关502与各URL数据库的通信接口外，还负责对访问URL数据库进行控制，包括设置各URL数据库的访问优先级，以及，按照各访问优先级对各URL数据库进行依次访问。

图5中，首先执行①：过滤网关502将包含URL地址的请求报文发送给适配层5011，请求访问URL数据库；

在②中，适配层5011按照预先设置的各URL数据库的访问优先级，首先访问优先级最高的URL数据库；

假设图5中各URL数据库的访问优先级顺序为：URL数据库1＞URL数据库2＞...＞URL数据库n；

也即，在②中，适配层5011首先访问URL数据库1；

假设从URL数据库1未查出URL地址对应的URL分类信息，那么通过③，URL数据库1告知适配层5011查找失败；

此时，适配层5012在④中向访问优先级次高的URL数据库2发起查询；

假设在URL数据库2中成功查找到URL地址对应的URL分类信息，则URL数据库2通过⑤向适配层5011返回查找到的URL分类信息；

在⑥中，适配层5011向过滤网关502返回包含从URL数据库2查找到的URL分类信息的响应报文。

在过滤网关502侧，用户可以设定每一类ULR进行过滤规则，根据URL地址对应的过滤策略，允许或禁止用户访问网页。

本发明实施例一将各类URL数据库进行了融合，与仅采用单URL数据库的现有方案相比，相当于扩充了URL数据库内容，并按照各URL数据库访问优先级对URL数据库进行访问，实现对多个URL数据库的有序控制，并且，一旦在任一个URL数据库获得网页信息，即停止访问其他URL数据库，减小信令开销，实现快速向过滤网关反馈响应报文。

下面介绍本发明方法实施例二。

实施例二中，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，此时，实施例二流程图参见图6，包括：

步骤601：过滤网关向URL数据库服务器发送包含URL地址的请求报文；

步骤602：URL数据库服务器对各URL数据库进行访问，并根据访问情况为A或B，执行后续步骤：

A：当仅从一个URL数据库查找到所述URL地址对应的网页信息时，执行步骤603，；

B：当从多个URL数据库均查找到所述URL地址对应的网页信息时，执行步骤604；

步骤603：向所述过滤网关反馈包含所述网页信息的响应报文；

步骤604：按照预置的各URL数据库的选取优先级，向过滤网关反馈包含所述选取优先级最高的URL数据库中的网页信息的响应报文。

上述“网页信息”是指URL地址对应的网页相关信息，包括URL分类以及相关描述信息等。

通过上述步骤601～404，即可完成“访问”URL数据库。

另外，当从所有URL数据库均未查找到所述URL地址对应的网页信息时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。

对于过滤网关，后续还执行以下步骤：

步骤605：过滤网关查找预置的过滤规则，获得所述网页信息对应的过滤策略，按照所述过略策略，允许或禁止访问所述URL地址对应的网页。

可见，在实施例二中，如果针对同一个URL地址从多个URL数据库获得多个不同的URL分类，则按照这多个URL数据库的选取优先级，采用选取优先级最高的URL数据库中的URL分类。

例如：如果自建URL数据库是基于中文的URL地址，并且在中国使用URL过滤数据库，可将自建URL数据库的选取优先级设置为最高，如果从两个数据库中查询同一个URL地址，得到不同的分类，以自建的URL数据库分类为准。

参见图7，为实施例二的示意图，其中，URL数据库服务器701中包括n个URL数据库，分别为URL数据库1、URL数据库2...URL数据库n，过滤网关702通过URL数据库服务器701中的适配层7011访问各URL数据库，适配层7011除了充当过滤网关702与各URL数据库的通信接口外，还负责对访问URL数据库进行控制，包括设置各URL数据库的访问优先级，以及，按照各访问优先级对各URL数据库进行依次访问。

图7中，首先执行q：过滤网关702将包含URL地址的请求报文发送给适配层7011，请求访问URL数据库；

适配层7011依次对各URL数据库进行访问，假设按照URL数据库序号顺序访问，那么在步骤a1中首先访问URL数据库1；

假设从URL数据库1未查出URL地址对应的URL分类信息，通过步骤a2，URL数据库1告知适配层7011查找失败；

那么在步骤b1中，适配层7011按照顺序访问下一个URL数据库2，

假设在URL数据库2中成功查找到URL地址对应的URL分类信息，则URL数据库2通过步骤b2向适配层7011返回查找到的URL分类信息；

适配层依次对各后续各ULR数据库进行查询。

假设从URL数据库i中也查找到了URL地址的URL分类信息。

也即，适配层7011共从URL数据库2和URL数据库i中获得了URL分类信息；

假设URL数据库i的选取优先级大于URL数据库2的选取优先级，则，适配层7011将从URL数据库i获取的URL分类信息组装到响应报文中，将响应报文通过步骤r发送给过滤网关702；

在过滤网关702侧，用户可以设定每一类ULR进行过滤规则，根据URL地址对应的过滤策略，允许或禁止用户访问网页。

可见，在实施例二中适配层提供各URL数据库的仲裁机制，即负责设置各URL数据库的选取优先级，并按照选取优先级确定向过滤网关返回哪个URL数据库的查询信息。

与上述方法实施一对应，本发明提供一种控制访问URL数据库的装置，该装置可以是指URL数据库服务器，或者是位于URL数据库服务器中的功能实体，或者是独立于所述URL数据库服务器之外的功能实体，可以通过软件、以硬件或软硬件结合方式实现。

如图8，为本发明提供的装置实施例一结构示意图，它包括请求接收单元801、优先级设置单元802、数据库访问单元803、访问控制单元804和响应单元805，其中：

请求接收单元801，用于接收过滤网关发送的包含URL地址的请求报文；

优先级设置单元802，用于设置各URL数据库访问优先级；

数据库访问单元803，用于访问URL数据库，查找所述URL地址对应的网页信息；

访问控制单元804，用于按照所述优先级设置单元802设置的访问优先级，控制所述数据库访问单元803依次对各URL数据库进行访问，当从任一URL数据库查找到所述URL地址对应的网页信息时，即控制所述数据库访问单元803停止访问下一个URL数据库；

响应单元805，用于向所述过滤网关反馈包含所述网页信息的响应报文。

优选地，该装置还包括：

失败通知单元806，用于当所述数据库访问单元803对所有URL数据库均访问失败时，向所述过滤网关反馈查找失败消息。

与上述方法实施二对应，本发明提供一种控制访问URL数据库的装置，该装置可以是指URL数据库服务器，或者是位于URL数据库服务器中的功能实体，或者是独立于所述URL数据库服务器之外的功能实体，可以通过软件、以硬件或软硬件结合方式实现。

如图9，为本发明提供的装置实施例二结构示意图，它包括请求接收单元901、数据库访问单元902、优先级设置单元903、响应单元904和响应控制单元905，其中，

请求接收单元901，用于接收过滤网关发送的包含URL地址的请求报文；

数据库访问单元902，用于访问各URL数据库，查找所述URL地址对应的网页信息；

优先级设置单元903，用于设置对各URL数据库网页信息的选取优先级；

响应单元904，用于向所述过滤网关反馈包含网页信息的响应报文；

响应控制单元905：

当所述数据库访问单元902仅从一个URL数据库查找到所述URL地址对应的网页信息时，控制所述响应单元904向所述过滤网关反馈包含该网页信息的响应报文；

当所述数据库访问单元902从多个URL数据库均查找到所述URL地址对应的网页信息时，按照所述优先级设置单元903预置的各URL数据库选取优先级，控制所述响应单元904向所述过滤网关反馈包含所述选取优先级最高的URL数据库中的网页信息的响应报文。

优选地，上述图9所示装置还可包括：

失败通知单元906，用于当所述数据库访问单元902对所有URL数据库均访问失败时，向所述过滤网关反馈查找失败消息。

本发明将各类URL数据库进行了融合，与仅采用单URL数据库的现有方案相比，相当于扩充了URL数据库内容，并按照各URL数据库访问优先级或选取优先级对URL数据库进行访问，实现对多个URL数据库的有序控制。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1、一种访问统一资源定位符URL数据库的方法，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，其特征在于，所述URL数据库至少为两个，包括：

所述URL数据库服务器接收所述过滤网关发送的包含URL地址的请求报文；

所述URL数据库服务器按照预置的各URL数据库的访问优先级顺序，依次访问各URL数据库，当从任一URL数据库查找到所述URL地址对应的网页信息时，即向所述过滤网关反馈包含所述网页信息的响应报文。

2、根据权利要求1所述方法，其特征在于，还包括：

当从所有URL数据库均未查找到所述URL地址对应的网页信息时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。

3、根据权利要求1或2所述方法，其特征在于，所述网页信息包括URL地址对应的网页分类信息。

4、根据权利要求3所述方法，其特征在于，还包括：

所述过滤网关查找预置的过滤规则，获得所述网页信息对应的过滤策略，按照所述过略策略，允许或禁止访问所述URL地址对应的网页。

5、一种访问URL数据库的方法，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，其特征在于，所述URL数据库至少为两个，包括：

所述URL数据库服务器接收所述过滤网关发送的包含URL地址的请求报文；

所述URL数据库服务器对各URL数据库进行访问：

当仅从一个URL数据库查找到所述URL地址对应的网页信息时，向所述过滤网关反馈包含所述网页信息的响应报文；

当从多个URL数据库均查找到所述URL地址对应的网页信息时，按照预置的各URL数据库的选取优先级，向所述过滤网关反馈包含所述选取优先级最高的URL数据库中的网页信息的响应报文。

6、根据权利要求5所述方法，其特征在于，还包括：

当从所有URL数据库均未查找到所述URL地址对应的网页信息时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。

7、一种控制访问URL数据库的装置，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，其特征在于，所述URL数据库至少为两个，该装置包括：

请求接收单元，用于接收过滤网关发送的包含URL地址的请求报文；

优先级设置单元，用于设置各URL数据库访问优先级；

数据库访问单元，用于访问URL数据库，查找所述URL地址对应的网页信息；

访问控制单元，用于按照所述优先级设置单元设置的访问优先级，控制所述数据库访问单元依次对各URL数据库进行访问，当从任一URL数据库查找到所述URL地址对应的网页信息时，即控制所述数据库访问单元停止访问下一个URL数据库；

响应单元，用于向所述过滤网关反馈包含所述网页信息的响应报文。

8、根据权利要求7所述装置，其特征在于，还包括：

失败通知单元，用于当所述数据库访问单元对所有URL数据库均访问失败时，向所述过滤网关反馈查找失败消息。

9、一种控制访问URL数据库的装置，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，其特征在于，所述URL数据库至少为两个，该装置包括：

请求接收单元，用于接收过滤网关发送的包含URL地址的请求报文；

数据库访问单元，用于访问各URL数据库，查找所述URL地址对应的网页信息；

优先级设置单元，用于设置对各URL数据库网页信息的选取优先级；

响应单元，用于向所述过滤网关反馈包含网页信息的响应报文；

响应控制单元：

当所述数据库访问单元仅从一个URL数据库查找到所述URL地址对应的网页信息时，控制所述响应单元向所述过滤网关反馈包含该网页信息的响应报文；

当所述数据库访问单元从多个URL数据库均查找到所述URL地址对应的网页信息时，按照所述优先级设置单元预置的各URL数据库选取优先级，控制所述响应单元向所述过滤网关反馈包含所述选取优先级最高的URL数据库中的网页信息的响应报文。

10、根据权利要求9所述装置，其特征在于，还包括：

失败通知单元，用于当所述数据库访问单元对所有URL数据库均访问失败时，向所述过滤网关反馈查找失败消息。

Images