CN106970984B - 一种url过滤库更新方法及装置 - Google Patents

Abstract

本申请提供一种URL过滤库更新方法及装置。本申请通过针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，并对所获取的URL在URL过滤库中的存在情况进行判定，可以根据网站中URL的新增、更新等情况，对URL过滤库实现快速更新。尤其对于URL过滤库中URL数目较多的情况而言，具有显著提高过滤库更新效率，降低人工成本的优点。

Description

一种URL过滤库更新方法及装置

技术领域

本申请涉及网站通信技术领域，尤其涉及一种URL过滤库更新方法及装置。

背景技术

近些年来，网站技术飞速发展。而我们在受益于网站所提供的丰富资源的同时，也需要适时地过滤一些特定的资源。网站资源由URL(Uniform Resource Locator，统一资源定位符)定位获取。目前常用的URL过滤技术，通过将待访问的URL与URL过滤库中指定过滤的URL进行匹配，已经可以实现URL的选择性访问。其中，URL过滤库中的URL，根据其内容属性的不同又可以关联于不同的类别。常见的，这些类别可以为购物、视频、游戏等，而作为一个示例，对应于购物这一类别来说，关联于该类别的URL所对应的资源则可以是天猫商城、亚马逊等。

面对实时更新的网站动态，为实现用户对某个类别或者某些类别的充分过滤，URL过滤库需要根据实时更新的网站动态得到及时的更新，其中，实时更新的网站动态主要涉及URL的新增和URL的更新等。然而在现有技术中，由于URL过滤库的更新主要由工作人员手动完成，所以，尤其对于URL过滤库中URL数目较多的情况而言，URL过滤库的手动更新具有较为显著的效率低和人工成本高的缺点。

发明内容

有鉴于此，本申请提供一种URL过滤库更新方法及装置，以克服现有技术中手动对URL过滤库进行更新所导致的效率低和人工成本高的缺点。

根据本申请实施例的第一方面，提供一种URL过滤库更新方法，所述URL过滤库中的URL被预先划分成至少一个类别，所述方法包括：

针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，所述预设的网站为：可提供URL分类信息的网站；

获取类别X’所关联的URL；

判断所获取的URL在URL过滤库中是否存在；

当所获取的URL在URL过滤库中不存在时，将所获取的URL添加至URL过滤库中。

根据本申请实施例的第二方面，提供一种URL过滤库更新装置，所述URL过滤库中的URL被预先划分成至少一个类别，所述装置包括：

确定单元，用于针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，所述预设的网站为：可提供URL分类信息的网站；

获取单元，用于获取类别X’所关联的URL；

判断单元，用于判断所获取的URL在URL过滤库中是否存在；

添加单元，用于当所获取的URL在URL过滤库中不存在时，将所获取的URL添加至URL过滤库中。

本申请通过针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，并对所获取的URL在URL过滤库中的存在情况进行判定，可以根据网站中URL的新增、更新等情况，对URL过滤库实现快速更新。尤其对于URL过滤库中URL数目较多的情况而言，具有显著提高过滤库更新效率，降低人工成本的优点。

附图说明

图1是本申请一种URL过滤库更新方法的流程图；

图2是本申请一种URL过滤库更新方法的一个实施例流程图；

图3是本申请一种URL过滤库更新装置的第一种结构图；

图4是本申请一种URL过滤库更新装置的第二种结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本领域技术人员可以理解的是，目前常用的URL过滤技术，通过将待访问的URL与URL过滤库中指定过滤的URL进行匹配，已经可以实现URL的选择性访问。而面对实时更新的网站动态，为实现用户对某个类别或者某些类别的充分过滤，URL过滤库需要根据实时更新的网站动态得到及时的更新。

在现有技术中，由于URL过滤库的更新主要由工作人员手动完成，所以，尤其对于URL过滤库中URL数目较多的情况而言，URL过滤库的手动更新具有较为显著的效率低和人工成本高的缺点。

有鉴于此，本申请提供一种URL过滤库更新方法及装置，以克服现有技术中手动对URL过滤库进行更新所导致的效率低和人工成本高的缺点。

为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

参见图1，图1是本申请一种URL过滤库更新方法的流程图。该流程图可以包括如下步骤：

步骤101：针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’。

本方法实施例中，URL过滤库中的URL被预先划分成了至少一个类别。上述预设的网站是指：可提供URL分类信息的网站。

在本方法实施例的一种实现方式中，设备可以针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别的匹配程度大于预设阈值的网站内类别X’，其中，对于上述匹配程度的确定将在以下实施例中加以说明，在此暂不赘述。

在本方法实施例的另一种实现方式中，设备可以针对URL过滤库中的任一待更新类别X，从导航网站、门户网站等网站中确定与该待更新类别相匹配的网站内类别X’。

步骤102：获取类别X’所关联的URL。

步骤103：判断所获取的URL在URL过滤库中是否存在。如果不存在，则执行以下步骤104。

本方法实施例中，当所获取的URL在URL过滤库中存在时，设备可以确认所获取的URL在URL过滤库中关联的类别是否为类别X，当所获取的URL在URL过滤库中关联的类别不是类别X时，将所获取的URL在URL过滤库中关联的类别更新为类别X；当所获取的URL在URL过滤库中关联的类别是类别X时，则可结束当前流程。

步骤104：将所获取的URL添加至URL过滤库中。

本方法实施例中，设备可以在将所获取的URL添加至URL过滤库中后，将所获取的URL与URL过滤库中的上述类别X’相关联。

通过以上方法实施例可以看出，本申请通过针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，并对所获取的URL在URL过滤库中的存在情况进行判定，可以根据网站中URL的新增、更新等情况，对URL过滤库实现快速更新。尤其对于URL过滤库中URL数目较多的情况而言，具有显著提高过滤库更新效率，降低人工成本的优点。

参见图2，图2是本申请一种URL过滤库更新方法的一个实施例流程图。与上述方法实施例不同的是，本实施例将结合具体示例对部分步骤进行说明，具有较强的实际操作意义，具体的，本实施例可以包括以下步骤：

步骤201：针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别的匹配程度大于预设阈值的网站内类别X’。

本实施例中，URL过滤库中的URL被预先划分成了至少一个类别，这些类别可以是新闻、招聘等。本实施例中，本步骤201中的预设的网站是指可提供URL分类信息的网站，具体的，这些网站可以是较为流行的导航网站、门户网站等用户习惯访问的网站。

本实施例中，设备可以针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别的匹配程度大于预设阈值的网站内类别X’。其中，匹配程度是指URL过滤库中的类别X的标识与网站内的类别X’的标识的匹配程度，或者URL过滤库中的类别X所关联的URL与网站内的类别X’所关联的URL在内容属性方面的匹配程度。

比如，当匹配程度是指URL过滤库中的类别X的标识与网站内的类别X’的标识的匹配程度时，如果URL过滤库中的类别为游戏，其对应的类别标识为“游戏”，而网站内的类别有小游戏、热门游戏、网游等，其所对应的类别标识分别为“小游戏”、热门游戏”、“网游”，则在一种较为简单的匹配程度计算方式下，类别标识“小游戏”与“游戏”的匹配程度可以为68％，类别标识“热门游戏”与“游戏”的匹配程度可以为50％，类别标识“网游”与“游戏”的匹配程度可以为50％。在上述情况中，如果设置预设阈值为30％，则“小游戏”、热门游戏”、“网游”这些类别标识所对应的类别都可以被设备确定为与URL过滤库中的类别游戏相匹配的类别。

而当匹配程度是指URL过滤库中的类别X所关联的URL与网站内的类别X’所关联的URL在内容属性方面的匹配程度时，如果URL过滤库中的类别是电视剧，而网站内的类别有视频、电影等，则设备可以通过查询一预先生成的内容属性匹配程度表来确定匹配程度，内容属性匹配程度表记录了若干组在内容属性方面可匹配的类别，对应上面这个例子，可匹配的类别组即可为电视剧、视频、电影等，则在上述匹配程度的计算方式下，考虑到与电视剧、电影这些内容属性以休闲娱乐为主的类别相比，视频这一类别还可以关联新闻联播、综艺节目、记录片等这些内容属性以教育启迪为主的URL，故可以设置类别电视剧和电影的匹配程度为90％，电视剧和视频、以及电影和视频的匹配程度为50％。此外，可匹配的类别组还可以是商城、购物等，由于二者所关联的URL可以是天猫www.tmall.com、亚马逊www.amazon.cn、京东商城www.jd.com等、故可以记录商城和购物的匹配程度为90％。

在上述情况中，如果设置预设阈值为60％，则对于上述URL过滤库中的类别是电视剧，而网站内的类别有视频、电影的情况，仅电影这一网站内类别可以被设备确定为与URL过滤库中的类别电视剧相匹配的类别。同样，对于URL过滤库中的类别是商城，而网站内的类别为购物的情况，购物这一类别则可以被确定为与URL过滤库中的类别商城相匹配的类别。

本实施例中，设备可以以每一所确定的网站内类别X’为名称，分别建立相应的文件，并将所获取的关联的URL保存至相应的文件，以方便后续步骤使用。

步骤202：获取类别X’所关联的URL。

本实施例中，对应于步骤201中的类别新闻，其所关联的URL可以是www.bashan.com、mini.eastday.com等，而对应于步骤201中的类别招聘，其所关联的URL可以是ts.zhaopin.com、www.51job.com等。

步骤203：向所获取的URL对应的服务器发送对于所获取的URL的访问请求报文。

本实施例中，设备可以依次对上述文件中每一所确定的URL对应的服务器发送对于所获取的URL的访问请求报文，以尝试访问所获取的URL。

步骤204：获取访问请求报文对应的响应报文。

本实施例中，设备获取的访问请求报文对应的响应报文可能由本设备返回，也可能由被访问的服务器返回。当所获取的URL已经在URL过滤库中时，设备所发送的访问请求报文将被设备本身过滤，即设备所发送的访问请求报文无法到达所访问的服务器，在这种情况下，响应报文将由本设备返回；而当所获取的URL为网站中新增的URL或者更新后的URL时，该所获取的URL很可能不在URL过滤库中，此时，设备所发送的访问请求报文可以到达所访问的服务器，并由所访问的服务器返回相应的响应报文。

步骤205：确定响应报文的发送设备是否为本设备。如果是，则执行步骤206，否则执行步骤208。

本实施例中，设备可以在尝试访问所获取的URL之前，为设备启动过滤信息返回机制，该机制是指当所获取的URL已经在URL过滤库中，即设备所发送的访问请求报文将被本设备依据在URL过滤库中预先配置的过滤动作过滤时，本设备可向自身发送记录有预设过滤信息的响应报文的机制。其中预设过滤信息可以包括：所访问的URL、以及该URL在URL过滤库中的类别信息，上述过滤动作可以为阻断。

本实施例中，设备可以根据响应报文中包括的源设备的IP地址、或者MAC地址、或者记录源设备中参与构建该报文的软件的server字段来确定发送该报文的源设备。

步骤206：确定所获取的URL在URL过滤库中存在，根据响应报文确认所获取的URL在URL过滤库中关联的类别是否为类别X。如果是，则结束，否则执行步骤207。

本实施例中，对于本步骤确认结果中可能出现的所获取的URL在URL过滤库中关联的类别是类别X的情况，可以参见步骤201中对于两类匹配程度的说明部分中涉及的示例，在此不再赘述。

所获取的URL在URL过滤库中关联的类别不是类别X的情况，本实施例举出如下示例：由于一些资源交互投放现象的存在，URL过滤库中的类别电影可能关联了投放在影片X片头的游戏A的URL，此时，在使用本实施例方法从网站中获取了包括游戏A的URL的类别游戏后，设备可以确定出游戏A的URL在URL过滤库中的类别电影与所获取的网站内类别游戏不相同，并继续执行以下步骤207。

步骤207：将所获取的URL在URL过滤库中关联的类别更新为类别X。

本实施例中，比如对于步骤205中所举的示例，设备可以删除URL过滤库中类别电影与游戏A的URL的关联关系，然后建立类别游戏与游戏A的URL的关联关系，特别地，当URL过滤库中不存在类别游戏时，则可以首先对游戏这一类别进行创建，然后再添加类别游戏与游戏A的URL的关联关系。

步骤208：确定所获取的URL在URL过滤库中不存在，将所获取的URL添加至URL过滤库中，并与URL过滤库中的类别X相关联。

从以上实施例可以看出，本申请通过针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，并对所获取的URL在URL过滤库中的存在情况进行判定，可以根据网站中URL的新增、更新等情况，对URL过滤库实现快速更新。尤其对于URL过滤库中URL数目较多的情况而言，具有显著提高过滤库更新效率，降低人工成本的优点。

与前述一种URL过滤库更新方法的实施例相对应，本申请还提供了一种一种URL过滤库更新装置的实施例。

参见图3，图3是本申请一种URL过滤库更新装置的第一种结构图。该装置可以包括：确定单元310、获取单元320、判断单元330、添加单元340。

其中，确定单元310，用于针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，上述预设的网站为：可提供URL分类信息的网站；

获取单元320，用于获取类别X’所关联的URL；

判断单元330，用于判断所获取的URL在URL过滤库中是否存在；

添加单元340，用于当所获取的URL在URL过滤库中不存在时，将所获取的URL添加至URL过滤库中。

在本装置实施例的第一种实现方式中，确定单元310可具体用于：

针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别的匹配程度大于预设阈值的网站内类别X’。

在本装置实施例的第二种实现方式中，上述预设的网站可以为导航网站或门户网站等。

在本装置实施例的第三种实现方式中，添加单元340，可具体用于：将所获取的URL添加至URL过滤库中，并与URL过滤库中的类别X相关联。

在本装置实施例的第四种实现方式中，上述装置还可以包括：确认单元350、更新单元360，具体可参见图4，图4是本申请一种URL过滤库更新装置的第二种结构图。

其中，确认单元350，用于当所获取的URL在URL过滤库中存在时，确认所获取的URL在URL过滤库中关联的类别是否为所述类别X；

更新单元360，用于当所获取的URL在URL过滤库中关联的类别不是所述类别X时，将所获取的URL在URL过滤库中关联的类别更新为所述类别X。

从以上装置实施例可以看出，本申请通过针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，并对所获取的URL在URL过滤库中的存在情况进行判定，可以根据网站中URL的新增、更新等情况，对URL过滤库实现快速更新。尤其对于URL过滤库中URL数目较多的情况而言，具有显著提高过滤库更新效率，降低人工成本的优点。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网站单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种URL过滤库更新方法，所述URL过滤库中的URL被预先划分成至少一个类别，其特征在于，所述方法包括：

针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，所述预设的网站为：可提供URL分类信息的网站；

获取类别X’所关联的URL；

判断所获取的URL在URL过滤库中是否存在，包括：向与所获取的URL对应的服务器发送对于所获取的URL的访问请求报文，并接收返回的响应报文；根据预设的过滤信息返回机制以及所述响应报文的发送方判断所获取的URL在URL过滤库中是否存在；其中，所述过滤信息返回机制为：在发送对于所获取的URL的访问请求报文的情况下，若接收到的响应报文的发送方为本设备，则确定所获取的URL已存在于所述URL过滤库中；否则，确定所述URL过滤库中不存在所获取的URL；

当所获取的URL在URL过滤库中不存在时，将所获取的URL添加至URL过滤库中。

2.根据权利要求1所述的方法，其特征在于，所述针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，包括：

针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别的匹配程度大于预设阈值的网站内类别X’。

3.根据权利要求1所述的方法，其特征在于，所述预设的网站为：导航网站或门户网站。

4.根据权利要求1所述的方法，其特征在于，所述将所获取的URL添加至URL过滤库中，包括：将所获取的URL添加至URL过滤库中，并与URL过滤库中的类别X相关联。

5.根据权利要求1所述的方法，其特征在于，所述方法之后还包括：

当所获取的URL在URL过滤库中存在时，确认所获取的URL在URL过滤库中关联的类别是否为所述类别X；

当所获取的URL在URL过滤库中关联的类别不是所述类别X时，将所获取的URL在URL过滤库中关联的类别更新为所述类别X。

6.一种URL过滤库更新装置，所述URL过滤库中的URL被预先划分成至少一个类别，其特征在于，所述装置包括：

确定单元，用于针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别相匹配的网站内类别X’，所述预设的网站为：可提供URL分类信息的网站；

获取单元，用于获取类别X’所关联的URL；

判断单元，用于判断所获取的URL在URL过滤库中是否存在，包括：向与所获取的URL对应的服务器发送对于所获取的URL的访问请求报文，并接收返回的响应报文；根据预设的过滤信息返回机制以及所述响应报文的发送方判断所获取的URL在URL过滤库中是否存在；其中，所述过滤信息返回机制为：在发送对于所获取的URL的访问请求报文的情况下，若接收到的响应报文的发送方为本设备，则确定所获取的URL已存在于所述URL过滤库中；否则，确定所述URL过滤库中不存在所获取的URL；

添加单元，用于当所获取的URL在URL过滤库中不存在时，将所获取的URL添加至URL过滤库中。

7.根据权利要求6所述的装置，其特征在于，所述确定单元，具体用于：

针对URL过滤库中的任一待更新类别X，在预设的网站中确定与该待更新类别的匹配程度大于预设阈值的网站内类别X’。

8.根据权利要求6所述的装置，其特征在于，所述预设的网站为：导航网站或门户网站。

9.根据权利要求6所述的装置，其特征在于，所述添加单元，具体用于：将所获取的URL添加至URL过滤库中，并与URL过滤库中的类别X相关联。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

确认单元，用于当所获取的URL在URL过滤库中存在时，确认所获取的URL在URL过滤库中关联的类别是否为所述类别X；

更新单元，用于当所获取的URL在URL过滤库中关联的类别不是所述类别X时，将所获取的URL在URL过滤库中关联的类别更新为所述类别X。

Images