CN102629265B - 一种建立网页数据库的方法及系统 - Google Patents

Abstract

本发明公开了一种建立网页数据库的方法及系统，其中，所述方法包括：当用户访问一网页时，将所述网页的网址发送到浏览器的服务器；浏览器的服务器根据所述网页的网址判断数据库中是否存在该网页；如果不存在，则抓取所述网页的描述信息；根据所述描述信息确定所述网页所属的类别，并将所述网页加入到数据库对应的类别中，以便当网络中的其他用户再访问该网页时，根据所述数据库中保存的数据向用户进行同类别网页的推荐。通过本发明，能够基于用户的访问情况建立起网页数据库，进而为向用户进行网页推荐提供基础。

Description

一种建立网页数据库的方法及系统

技术领域

本发明涉及浏览器技术领域，特别是涉及一种建立网页数据库的方法及系统。

背景技术

随着互联网技术的迅猛发展和普及，人们对互联网的依赖程度变得越来越高，从互联网获得信息资讯已成为人们主要的信息来源方式，而浏览器则是人们获得网络信息的主要工具。然而现有的浏览器的功能通常仅局限于展现网页中已有的内容，也即，网页制作者在网页中设计了什么内容，浏览器就显示什么内容，用户也只能根据网页中显示出的内容进行相关信息的浏览。这样会使得一些网络信息无法得到充分地利用，用户通过浏览器获取到有效信息的效率也会比较低。

发明内容

本发明提供了一种建立网页数据库的方法及系统，能够基于用户的访问情况建立起网页数据库，进而为向用户进行网页推荐提供基础。

本发明提供了如下方案：

一种建立网页数据库的方法，包括：

当用户访问一网页时，将所述网页的网址发送到浏览器的服务器；

浏览器的服务器根据所述网页的网址判断数据库中是否存在该网页；

如果不存在，则抓取所述网页的描述信息；

根据所述描述信息确定所述网页所属的类别，并将所述网页加入到数据库对应的类别中，以便当网络中的其他用户再访问该网页时，根据所述数据库中保存的数据向用户进行同类别网页的推荐。

其中，所述网页数据库中还保存各个网页的用户访问次数，所述方法还包括：

将该网页的用户访问次数置为一。

其中，还包括：

如果浏览器的服务器根据所述网页的网址判断出数据库中存在该网页，则将该网页的用户访问次数在当前值的基础上加一。

其中，所述当用户访问一网页时，将所述网页的网址发送到浏览器的服务器包括：

当用户访问一网页时，判断用户访问的网页是否为预置的特定网页；

如果是，将所述网页的网址发送到浏览器的服务器。

其中，所述抓取所述网页的描述信息包括：

抓取所述网页的网页标题和/或头信息。

一种建立网页数据库的系统，包括：

发送单元，用于当用户访问一网页时，将所述网页的网址发送到浏览器的服务器；

判断单元，用于浏览器的服务器根据所述网页的网址判断数据库中是否存在该网页；

描述信息获取单元，用于如果不存在，则抓取所述网页的描述信息；

加入单元，用于根据所述描述信息确定所述网页所属的类别，并将所述网页加入到数据库对应的类别中，以便当网络中的其他用户再访问该网页时，根据所述数据库中保存的数据向用户进行同类别网页的推荐。

其中，所述网页数据库中还保存各个网页的用户访问次数，所述系统还包括：

参数设置单元，用于将该网页的用户访问次数置为一。

其中，还包括：

参数更新单元，用于如果浏览器的服务器根据所述网页的网址判断出数据库中存在该网页，则将该网页的用户访问次数在当前值的基础上加一。

其中，所述发送单元包括：

判断子单元，用于当用户访问一网页时，判断用户访问的网页是否为预置的特定网页；

发送子单元，用于如果是，将所述网页的网址发送到浏览器的服务器。

其中，所述描述信息获取单元包括：

抓取子单元，用于抓取所述网页的网页标题和/或头信息。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

通过本发明，能够根据用户对网页的访问情况，建立网页的分类数据库，这样当其他用户再次访问数据库中保存的网页时，就可以根据该网页所属的类别，以及该类别下的其他网页，向用户进行网页推荐，以使得用户能够通过浏览器的推荐获取到更多的网络信息，并且由于这些网络信息是从用户的访问数据中统计的，因此，提供给用户时，符合用户期望的可能性会比较大，相应的，其利用率也就会比较高。。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的方法的流程图；

图2是本发明实施例提供的系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

为了能够提高网络信息的利用率，以及用户获取有效信息的效率，本发明实施例提供了一种建立网页数据库的方法，以期在建立起该网页数据库的基础上，能够为为用户进行相关网页的推荐。参见图1，该建立网页数据库的方法包括以下步骤：

S101：当用户访问一网页时，将所述网页的网址发送到浏览器的服务器；

在本发明实施例中，建立网页数据库的操作可以由浏览器的服务器端来完成，并且，建立的网页数据库，并不是基于全网中的所有网站来建立的，而是基于用户的访问。也即，只有被用户访问过的网站才会被收录到本发明实施例的网页数据库中，进而才会用于向用户的推荐。具体实现时，由于用户访问网页的操作都是通过浏览器的客户端来完成的，因此，浏览器客户端能够获取到用户访问网页的信息，并且能够知晓用户访问的网页的网址(可以是指网页的URL(Uniform/UniversalResourceLocator统一资源定位符))，因此，当用户访问某网页时，客户端就可以将该网页的网址发送到浏览器的服务器，供服务器建立网页数据库使用。

在实际应用中，通常是对于一些特定类型的网页，向用户推荐相关的其他网页时，才会更有意义。例如，比较常见的是情况是团购网站，每个团购网站都会推出各自的团购项目，其中有些团购项目可能是类似的，如果用户对其中某个团购网站(假设为网站A)推出的某个团购项目(假设为项目X)感兴趣，则该用户也可能会其他团购网站(假设为网站B)推出的与该团购项目类似的项目感兴趣，此时，就可以将该团购网站B推出的该类似的团购项目推荐给该用户，使得用户能够在多个团购网站中选择出更有的团购项目。因此，在本发明实施例中，可以仅当用户访问的网页是一些特定的网页时，才会将其网址发送给浏览器的服务器。具体实现时，可以预先建立一些特殊网站的域名的名单，例如，如果需要对团购类的网站进行推荐，则可以预先统计出团购网站的域名(可以网络中能够获知到的全部的团购网站，还可以是一部分比较优质的团购网站)加入到名单中，当用户访问某网页时，如果发现该网页的网址域名在该名单中，则将其发送给服务器，否则，就可以不必发送。当然，除了团购网站之外，还可以是其他类型的网址，例如博客，等等。其中，关于上述名单，可以是以匹配列表的方式存在，也即，当用户访问的网页满足一个匹配列表时才发送。比如：满足“http://www.dianping.com/*”，*表示当访问了“点评网”下面的网址时，才会触发网址上传。而这个匹配列表，可以使用配置文件的方式下发，比如每天浏览器客户端会到服务器下载一次配置文件，以获取其中的匹配列表，等等。

另外需要说明的是，在实际应用中，为了防止用户的隐私受到侵犯，上述上传网址的操作，可以是在用户允许的情况下进行的，例如，在用户选择了网址推荐服务的情况下，才会进行上传，否则，如果用户没有选择该服务，则可以不必将用户访问的网页的网址上传到服务器。

S102：浏览器的服务器根据所述网页的网址判断数据库中是否存在该网页；

浏览器的服务器在收到客户端发送来的网页的网址之后，就可以首先判断数据库中是否已经存在该网页，如果已经存在，则证明该网页不是首次被用户访问，之前已经有用户访问过该网页了，同时，如果数据库中保存了各个网页的用户访问次数，则还可以直接将数据库中该网页的用户访问次数加一。

S103：如果不存在，则抓取所述网页的描述信息；

如果数据库中不存在该网页，则证明该网页是第一次被用户访问，因此，浏览器的服务器就可以首先去抓取该网页的描述信息，以便于确定该网页的主要内容，进而为该网页分类。具体在抓取网页的描述信息时，可以是抓取网页的网页标题以及头信息，因为网页标题通常是用于概括网页主要内容的文字，而头信息中也通常会包括一些类型、关键词等信息。

S104：根据所述描述信息确定所述网页所属的类别，并将所述网页加入到数据库对应的类别中，以便当网络中的其他用户再访问该网页时，根据所述数据库中保存的数据向用户进行同类别网页的推荐。

获取到网页的描述信息之后，就可以确定出该网页所述的类别，并将网页加入到数据库中对应的类别下。这样，随着大量的用户对各个网页的访问，就可以在浏览器的服务器端建立起具有一定规模的网页数据库，进而，就可以根据该网页数据库向用户进行网页推荐了。例如，用户在访问某网页A时，浏览器的客户端就可以将该网页A的网址发送给浏览器的服务器，浏览器的服务器发现该网页A在数据库中存在，并且属于类别M，因此，就可以将类别M下的其他网页推荐给该用户。

总之，在本发明实施例中，在建立网页数据库的过程中，如果某网页是第一次被用户访问，则服务器会去抓取这个网页的描述信息，以确定该网页所属的类别，并将该网页加入到数据库中的该类别中，同时可以将该网页的用户访问次数置为1。如果该网页不是第一次被访问，就可以在数据库中将该网页的用户访问次数加一。在向用户进行网页推荐时，可以将用户访问次数作为参考，用户访问次数越多的网页越有机会推荐给用户。当然，也可以以其他的参数作为推荐的依据。

具体实现时，为用户进行网页推荐的过程与建立及维护网页数据库的过程可以是同步进行的，也即在用户访问网页的过程中，既可以向用户进行其他网页的推荐，还可以基于用户当前访问的网页更新网页数据库中的数据。

也就是说，当用户访问某网页时，将该网页发送到浏览器的服务器，浏览器的服务器首先根据该网页的网址判断该网页是否已经在数据库中存在，如果存在，则找到该网页在数据库中所属的类别，将该网页在数据库中所属类别下的其他网站推荐给用户，同时，将数据库中该网页的用户访问次数加一；如果不存在，则抓取该网页的标题及头信息(header)，通过分析该标题及头信息，确定该网页所属的类别(该类别一般是预先建立好的，例如，针对团购网站，建立了餐饮、酒店、娱乐等大类，每一大类下还可以建立小类，如餐饮下可以建立火锅、烧烤、自助餐等等小类别)，然后将该网页的网址加入到数据库中对应的类别下，同时，将该网页的用户访问次数置为1。

例如，某团购网站的首页中新推出了一个团购项目，是一个关于火锅的团购，假设用户A第一时间刷新了该团购网站，发现该团购项目后，点击访问了该团购项目的网页X，此时，浏览器客户端就可以将该访问信息发送到浏览器的服务器，浏览器的服务器就可以在数据库中查询是否存在该网页X，发现不存在，就可以去抓取该网页X的网页标题及头信息，之后经过分析发现该网页X应该属于“火锅”类，就可以将该网页X的网址加入到数据库的“火锅”类别下，同时，将该网页X的用户访问次数置为1。之后，当用户B访问该网页X时，浏览器同样会将该访问信息发送到浏览器的服务器，浏览器的服务器经查询，发现数据库中存在该网页A的网址，并且该网址属于“火锅”类，此时，就可以将数据库中同样属于该火锅类的其他网页推荐给用户，同时，还可以将数据库中该网页A的用户访问次数加1，以此类推。并且，在向用户进行网页推荐时，除了类别信息以外，还可以参考用户访问次数信息，也即，可以将网页A所述类别中，用户访问次数最多的几个网页推荐给该用户A。

总之，通过本发明实施例提供的方法，能够实现基于用户访问情况的建立网页数据库，进而向用户进行网页推荐，因此，用户能够通过浏览器得到更多的、更有效的信息，能够减少用户获取有效信息所需的时间，同时，提高网络信息的利用率。

与本发明实施例提供的建立网页数据库的方法相对应，本发明实施例提供了一种建立网页数据库的系统，参见图2，该系统包括：

发送单元201，用于当用户访问一网页时，将所述网页的网址发送到浏览器的服务器；

判断单元202，用于浏览器的服务器根据所述网页的网址判断数据库中是否存在该网页；

描述信息获取单元203，用于如果不存在，则抓取所述网页的描述信息；

加入单元204，用于根据所述描述信息确定所述网页所属的类别，并将所述网页加入到数据库对应的类别中，以便当网络中的其他用户再访问该网页时，根据所述数据库中保存的数据向用户进行同类别网页的推荐。

其中，所述网页数据库中还保存各个网页的用户访问次数，所述系统还包括：

参数设置单元，用于将该网页的用户访问次数置为一。

该系统还可以包括：

参数更新单元，用于如果浏览器的服务器根据所述网页的网址判断出数据库中存在该网页，则将该网页的用户访问次数在当前值的基础上加一。

其中，发送单元201可以包括：

判断子单元，用于当用户访问一网页时，判断用户访问的网页是否为预置的特定网页；

发送子单元，用于如果是，将所述网页的网址发送到浏览器的服务器。

描述信息获取单元203可以包括：

抓取子单元，用于抓取所述网页的网页标题和/或头信息。

总之，通过本发明实施例提供的建立网页数据库的系统，能够根据用户对网页的访问情况，建立网页的分类数据库，这样当其他用户再次访问数据库中保存的网页时，就可以根据该网页所属的类别，以及该类别下的其他网页，向用户进行网页推荐，以使得用户能够通过浏览器的推荐获取到更多的网络信息，并且由于这些网络信息是从用户的访问数据中统计的，因此，提供给用户时，符合用户期望的可能性会比较大，相应的，其利用率也就会比较高。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明所提供的一种建立网页数据库的方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种建立网页数据库的方法，其特征在于，包括：

当浏览器用户访问一网页时，浏览器客户端判断出所述网页的网址是在一预先建立的网站域名名单中，则将所述网页的网址发送到浏览器客户端对应的服务器；

浏览器客户端的服务器根据所述网页的网址判断网页数据库中是否存在该网页；所述网页数据库是由所述浏览器客户端对应的服务器基于浏览器用户访问的网站来建立的；

如果网页数据库中不存在该网页，则浏览器客户端的服务器抓取所述网页的描述信息；

根据所述描述信息确定所述网页所属的类别，并将所述网页加入到数据库对应的类别中，以便当网络中的其他浏览器用户再访问该网页时，根据所述数据库中保存的数据向浏览器用户进行同类别网页的推荐。

2.根据权利要求1所述的方法，其特征在于，所述网页数据库中还保存各个网页的浏览器用户访问次数，所述方法还包括：

将该网页的用户访问次数置为一。

3.根据权利要求2所述的方法，其特征在于，还包括：

如果浏览器客户端的服务器根据所述网页的网址判断出数据库中存在该网页，则将该网页的用户访问次数在当前值的基础上加一。

4.根据权利要求1所述的方法，其特征在于，

所述抓取所述网页的描述信息包括：

抓取所述网页的网页标题和/或头信息。

5.一种建立网页数据库的系统，其特征在于，包括：

发送单元，用于当浏览器用户访问一网页时，浏览器客户端判断出所述网页的网址是在一预先建立的网站域名名单中，则将所述网页的网址发送到浏览器客户端对应的服务器；

判断单元，用于浏览器客户端的服务器根据所述网页的网址判断网页数据库中是否存在该网页；所述网页数据库是由所述浏览器客户端对应的服务器基于浏览器用户访问的网站来建立的；

描述信息获取单元，用于如果网页数据库中不存在该网页，则浏览器客户端的服务器抓取所述网页的描述信息；

加入单元，用于根据所述描述信息确定所述网页所属的类别，并将所述网页加入到数据库对应的类别中，以便当网络中的其他浏览器用户再访问该网页时，根据所述数据库中保存的数据向浏览器用户进行同类别网页的推荐。

6.根据权利要求5所述的系统，其特征在于，所述网页数据库中还保存各个网页的浏览器用户访问次数，所述系统还包括：

参数设置单元，用于将该网页的浏览器用户访问次数置为一。

7.根据权利要求6所述的系统，其特征在于，还包括：

参数更新单元，用于如果浏览器客户端的服务器根据所述网页的网址判断出数据库中存在该网页，则将该网页的浏览器用户访问次数在当前值的基础上加一。

8.根据权利要求5所述的系统，其特征在于，所述描述信息获取单元包括：

抓取子单元，用于抓取所述网页的网页标题和/或头信息。