CN105183749A - 一种爬取推广内容并供搜索使用的方法和装置 - Google Patents

Abstract

本发明公开了一种爬取推广内容并供搜索使用的方法和装置，该方法包括：获取推广用户的服务器地址列表；对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容；保存所爬取到的推广内容；在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。本发明提供的技术方案从推广用户的服务器上爬取并保存推广内容，该过程可以按照一定频次进行，以追踪推广用户对推广内容的更新；还将该爬取结果用于搜索服务中，满足了推广用户和搜索用户的双方需求，提高了内容推广服务的价值与意义。

Description

一种爬取推广内容并供搜索使用的方法和装置

技术领域

本发明涉及搜索技术领域，具体涉及一种爬取推广内容并供搜索使用的方法和装置。

背景技术

随着互联网技术的不断发展，互联网用户日益增多，形成巨大的推广受众，越来越多具有内容推广需求的用户希望通过互联网平台进行推广和宣传，来提高内容推广的效率。为此，现有技术中互联网平台往往利用爬虫爬取推广用户的推广内容，再在各个网页上对推广内容进行推广展示，该方案存在以下问题：1、爬取定向性差：由于现有的爬取过程是非定向的，导致爬取到的推广内容中包含了很多无效数据，需要经过筛选后才能使用；2、爬取效率低：由于爬取方和被爬取方之间没有统一交互规范，导致爬取过程复杂；3、爬取到的推广内容的实时有效性差：当推广用户对自身推广内容进行更新时，现有技术中的爬取方往往无法主动得知，导致爬取到的推广内容与推广用户指定的推广内容不一致，降低推广价值。不仅如此，由于现有技术中内容推广服务并未形成合理规范的体系，导致推广内容和推广方式的不合理，例如，在互联网用户浏览网页时，网页的某位置突然弹出推广内容，该推广内容与当前网页毫无关系，扰乱了用户正常的浏览行为，该针对性差且出现方式不合理的推广内容对当前浏览用户来说毫无意义，不仅降低了当前浏览用户的体验，也无法满足推广用户的内容推广需求，内容推广的有效性极差。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种爬取推广内容并供搜索使用的方法和装置。

依据本发明的一个方面，提供了一种爬取推广内容并供搜索使用的方法，该方法包括：

获取推广用户的服务器地址列表；

对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容；

保存所爬取到的推广内容；

在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。

可选地，所述每隔相应的时间访问该服务器并爬取对应的推广内容包括：

每隔相应的时间访问该服务器，找到该服务器上的推广内容；其中，服务器上的推广内容由一个或多个指定格式的文件组成，每个文件具有一个地址标识参数和最后修改时间参数；

对于该服务器上推广内容中的每个文件，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取，是则爬取该文件，否则不爬取该文件。

可选地，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取包括：

先根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件，是则判断为爬取，否则进一步根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件，是则判断为爬取，否则判断为不爬取。

可选地，所述爬取该文件包括：获取该文件并且获取该文件的地址标识参数和最后修改时间参数；

所述根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件包括：判断该文件的地址标识参数是否与之前爬取的文件的地址标识参数相同，如果相同则该文件不是新增文件，如果不相同则该文件是新增文件；

所述根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件包括：将该文件的当前的最后修改时间参数值与上一次爬取的该文件的最后修改时间参数值进行比较，如果前者晚于后者则判断为被修改过，否则未被修改过。

可选地，该方法进一步包括：提供不同的用于定制推广内容的模板，以供不同推广用户选择并记录各推广用户所选择的模板；其中每个推广用户根据所选择模板的规范定制自身的推广内容并保存到自身的服务器上；

所述每隔相应的时间访问该服务器并爬取对应的推广内容包括：根据所选择的相应模板，爬取对应的推广内容。

可选地，将从每个推广用户的服务器爬取推广内容的一个或多个任务放入任务队列；

从任务队列中取任务，并使用一致性哈希算法调度一台或多台机器上的进程来完成任务。

可选地，所述保存所爬取到的推广内容包括：

从爬取到的推广内容的每一项中抽取关键词；其中，爬取的推广内容包括一个或多个项，每项包括关键词和结构化的推广数据；

对于推广内容中的每一项，判断抽取的关键词是否属于竞价词库中的词，如果不属于则丢弃该项，如果属于则对该项进行保存处理。

可选地，所述对该项进行保存处理包括：

将该项的结构化的推广数据中的图片保存到图片服务器中；

将图片在图片服务器上的地址、该项的结构化的推广数据中的文本和URL地址，以该项的关键词为索引保存到推广内容库中。

可选地，所述根据搜索关键词从所保存的推广内容中查找到匹配的推广内容包括：

根据搜索关键词从推广内容库中查找匹配的索引关键词，获得相应的图片在图片服务器上的地址、文本和URL地址；

根据图片在图片服务器上的地址获取相应的图片；

图片、文本和URL地址为最终推广内容。

可选地，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中包括：

在搜索结合页面的指定位置处展现一个应用盒子，在该应用盒子中展现匹配的推广内容。

依据本发明的另一个方面，提供了一种爬取推广内容并供搜索使用的装置，该装置包括：

获取处理单元，适于获取推广用户的服务器地址列表；

爬取处理单元，适于对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容；

保存处理单元，适于保存所爬取到的推广内容；

搜索处理单元，适于在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。

可选地，所述爬取处理单元，适于每隔相应的时间访问该服务器，找到该服务器上的推广内容；其中，服务器上的推广内容由一个或多个指定格式的文件组成，每个文件具有一个地址标识参数和最后修改时间参数；

所述爬取处理单元，适于对于该服务器上推广内容中的每个文件，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取，是则爬取该文件，否则不爬取该文件。

可选地，所述爬取处理单元，适于先根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件，是则判断为爬取，否则进一步根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件，是则判断为爬取，否则判断为不爬取。

可选地，所述爬取处理单元，适于在爬取该文件时获取该文件并且获取该文件的地址标识参数和最后修改时间参数；

所述爬取处理单元，适于判断该文件的地址标识参数是否与之前爬取的文件的地址标识参数相同，如果相同则该文件不是新增文件，如果不相同则该文件是新增文件；以及适于将该文件的当前的最后修改时间参数值与上一次爬取的该文件的最后修改时间参数值进行比较，如果前者晚于后者则判断为被修改过，否则未被修改过。

可选地，模板处理单元，适于提供不同的用于定制推广内容的模板，以供不同推广用户选择并记录各推广用户所选择的模板；其中每个推广用户根据所选择模板的规范定制自身的推广内容并保存到自身的服务器上；

所述爬取处理单元，适于根据所选择的相应模板，爬取对应的推广内容。

可选地，所述爬取处理单元，适于将从每个推广用户的服务器爬取推广内容的一个或多个任务放入任务队列；从任务队列中取任务，并使用一致性哈希算法调度一台或多台机器上的进程来完成任务。

可选地，所述保存处理单元，适于从爬取到的推广内容的每一项中抽取关键词；其中，爬取的推广内容包括一个或多个项，每项包括关键词和结构化的推广数据；对于推广内容中的每一项，判断抽取的关键词是否属于竞价词库中的词，如果不属于则丢弃该项，如果属于则对该项进行保存处理。

可选地，所述保存处理单元，适于将该项的结构化的推广数据中的图片保存到图片服务器中；将图片在图片服务器上的地址、该项的结构化的推广数据中的文本和URL地址，以该项的关键词为索引保存到推广内容库中。

可选地，所述搜索处理单元，适于根据搜索关键词从推广内容库中查找匹配的索引关键词，获得相应的图片在图片服务器上的地址、文本和URL地址；根据图片在图片服务器上的地址获取相应的图片；图片、文本和URL地址为最终推广内容。

可选地，所述搜索处理单元，适于在搜索结合页面的指定位置处展现一个应用盒子，在该应用盒子中展现匹配的推广内容。

由上述可知，本发明提供的技术方案从具有内容推广需求的推广用户的服务器上爬取推广内容，并将所爬取到的推广内容保存起来；该爬取过程可以根据需要每隔相应的时间执行一次，以追踪推广用户对推广内容的更新，实时保持爬取到的推广内容与推广用户指定的推广内容的一致性，保证了爬取过程的意义以及爬取到的推广内容的实时价值；进一步地，将该实时有效的爬取到的推广内容用于搜索服务中，当接收到搜索用户发出的搜索关键词时，查找与搜索关键词匹配的推广内容并在搜索结果页面上进行展示。该方案一方面针对推广用户的需求爬取到推广内容，另一方面针对搜索用户的需求在搜索结果页面上展示匹配的推广内容，使得推广服务精确定向，不仅满足了推广用户的内容推广需求，也满足了搜索用户的搜索需求，极大程度地提高了内容推广服务的价值与意义。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种爬取推广内容并供搜索使用的方法的流程图；

图2示出了根据本发明一个实施例的从推广用户的服务器爬取推广内容的方法的流程图；

图3示出了根据本发明一个实施例的保存所爬取到的推广内容的方法的流程图；

图4示出了根据本发明一个实施例的一种爬取推广内容并供搜索使用的装置的示意图；

图5示出了根据本发明另一个实施例的一种爬取推广内容并供搜索使用的装置的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的一种爬取推广内容并供搜索使用的方法的流程图。如图1所示，该方法包括：

步骤S110，获取推广用户的服务器地址列表。

步骤S120，对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容。

步骤S130，保存所爬取到的推广内容。

步骤S140，在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。

可见，图1所示的方法从具有内容推广需求的推广用户的服务器上爬取推广内容，并将所爬取到的推广内容保存起来；该爬取过程可以根据需要每隔相应的时间执行一次，以追踪推广用户对推广内容的更新，实时保持爬取到的推广内容与推广用户指定的推广内容的一致性，保证了爬取过程的意义以及爬取到的推广内容的实时价值；进一步地，将该实时有效的爬取到的推广内容用于搜索服务中，当接收到搜索用户发出的搜索关键词时，查找与搜索关键词匹配的推广内容并在搜索结果页面上进行展示。该方案一方面针对推广用户的需求爬取到推广内容，另一方面针对搜索用户的需求在搜索结果页面上展示匹配的推广内容，使得推广服务精确定向，不仅满足了推广用户的内容推广需求，也满足了搜索用户的搜索需求，极大程度地提高了内容推广服务的价值与意义。

在图1所示的方法中，为了保证爬取推广内容的有效性、可靠性以及效率，依据本发明的一个实施例，从推广用户的服务器爬取推广内容的过程包括：将从每个推广用户的服务器爬取推广内容的一个或多个任务放入任务队列，调度多个进程来完成任务队列中的任务；进一步地，由于进程是运行在机器上的，考虑到单一机器发生故障的可能性以及负荷的有限性，本发明提供了由多台机器组成多节点任务执行系统的方案，即上述方法中所述调度多个进程来完成任务队列中的任务包括：在一台或多台机器上启动进程，其中每个机器上启动了多个进程；从任务队列中取任务，并使用一致性哈希算法调度所述一台或多台机器上的进程来完成任务。

本实施例中的多台机器组成了一个多节点任务执行系统，用于完成任务队列中的任务，通过使用一致性哈希算法，能够将任务队列中的任务尽可能平衡地分配到多台机器中去，使得所有机器都能得到利用，并且当其中一台机器出现故障失效后，能够动态地将该故障机器的任务转移分配给临近的机器，保证了当多节点任务执行系统的机器数目发生变化时仍然能够对外提供良好的推广内容的爬取服务，与现有技术中只使用单一机器启动进程执行爬取任务的方案相比，本实施例中的爬取任务调度方案具有更好的容错性和可扩展性。

在本发明的一个实施例中，图1所示方法的步骤S120，每隔相应的时间访问该服务器并爬取对应的推广内容包括：

步骤S121，每隔相应的时间访问该服务器，找到该服务器上的推广内容。

本步骤中，服务器上的推广内容由一个或多个指定格式的文件组成，每个文件具有一个地址标识参数和最后修改时间参数。

步骤S122，对于该服务器上推广内容中的每个文件，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取，是则爬取该文件，否则不爬取该文件。

本步骤中，所述根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取包括：先根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件，是则判断为爬取，否则进一步根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件，是则判断为爬取，否则判断为不爬取。具体地，所述根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件包括：判断该文件的地址标识参数是否与之前爬取的文件的地址标识参数相同，如果相同则该文件不是新增文件，如果不相同则该文件是新增文件；所述根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件包括：将该文件的当前的最后修改时间参数值与上一次爬取的该文件的最后修改时间参数值进行比较，如果前者晚于后者则判断为被修改过，否则未被修改过。基于此，则本步骤所述的爬取该文件包括：获取该文件并且获取该文件的地址标识参数和最后修改时间参数；具体地，是将该文件的地址标识参数放入任务队列中，从任务队列中取任务，并使用一致性哈希算法调度一台或多台机器上的进程依据地址标识参数所标识的地址进行爬取进而完成任务。

可见，本实施例所提供的方案能够有效追踪推广用户对推广内容的更新，保持了爬取到的推广内容与推广用户指定的推广内容的一致性，保证了爬取过程的意义以及爬取到的推广内容的价值。

在本发明的一个实施例中，在从推广用户的服务器爬取推广内容之前，图1所示的方法进一步包括：提供不同的用于定制推广内容的模板，以供不同推广用户选择并记录各推广用户所选择的模板；其中每个推广用户根据所选择模板的规范定制自身的推广内容并保存到自身的服务器上。则步骤S120所述的每隔相应的时间访问该服务器并爬取对应的推广内容包括：根据所选择的相应模板，爬取对应的推广内容。

可见，本实施例所提供的方案通过向推广用户提供用于定制推广内容的模板，统一了爬取方和被爬取方二者之间的交互规范，即推广用户通过所选择的模板告知待爬取的推广内容无论怎样变化，其数据分布结构是不变的，爬取方按照此结构进行爬取即可直接获得推广内容，无需考虑推广内容是否发生了更新或修改，进一步简化了爬取流程。

图2示出了根据本发明一个实施例的从推广用户的服务器爬取推广内容的方法的流程图。在本实施例中，推广用户根据所选择模板的规范定制自身的推广内容，以网站地图(Sitemap)的形式保存到自身的服务器上，该网站地图中包括一个或多个XML文件，每个XML文件具有一个地址标识参数(Location)和最后修改时间参数(Lastmod)。则如图2所示，从推广用户的服务器爬取推广内容的方法包括：

步骤S210，Sitemap提取：从推广用户的服务器上提取网站地图。

步骤S220，XML文件提取：从网站地图中提取XML文件，对于每个XML文件，执行步骤S230

步骤S230，Location判断：判断该XML文件的地址标识参数是否与之前爬取的XML文件的地址标识参数相同，是则执行步骤S240，否则执行步骤S250。

步骤S240，Lastmod判断：判断该XML文件的当前的最后修改时间参数值是否晚于上一次爬取的该XML文件的最后修改时间参数值，是则执行步骤S250，否则执行步骤S270。

步骤S250，Location放入任务队列：将该XML文件的地址标识参数放入任务队列中。

重复上述步骤S220-步骤S250，直至遍历完所述推广用户的网站地图中的所有XML文件。

步骤S260，任务调度：从任务队列中取任务，使用一致性哈希算法调度一台或多台机器上的进程来完成爬取任务。

步骤S270，结束：结束本次对所述推广用户的推广内容的爬取过程。

图2所示的流程按照所述推广用户的服务器地址对应的爬取频度，每隔相应的时间重复一次，实时保持爬取到的推广内容与推广用户设置的推广内容的一致性。

需要说明的是，本实施例中的推广用户以网站地图保存多个XML文件的格式保存推广内容，使得本方案最终爬取到的推广内容是多个XML文件，不应当作为对本发明提供的在搜索中实现内容推广的方案的限制。

在本发明的一个实施例中，图1所示方法的步骤S130，保存所爬取到的推广内容包括：

步骤S131，从爬取到的推广内容的每一项中抽取关键词。

本步骤中，所述爬取的推广内容包括一个或多个项，每项包括关键词和结构化的推广数据。

步骤S132，对于推广内容中的每一项，判断抽取的关键词是否属于竞价词库中的词，如果不属于则丢弃该项，如果属于则对该项进行保存处理。

本步骤中，所述对该项进行保存处理包括：将该项的结构化的推广数据中的图片保存到图片服务器中；将图片在图片服务器上的地址、该项的结构化的推广数据中的文本和URL地址，以该项的关键词为索引保存到推广内容库中。

基于上述对爬取到的推广内容的保存过程，则图1所示方法的步骤S140，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容包括：

步骤S141，根据搜索关键词从推广内容库中查找匹配的索引关键词，获得相应的图片在图片服务器上的地址、文本和URL地址。

步骤S142，根据图片在图片服务器上的地址获取相应的图片。

步骤S143，以图片、文本和URL地址为最终推广内容。

图3示出了根据本发明一个实施例的保存所爬取到的推广内容的方法的流程图。本实施例与图2所示的实施例相同，推广用户以网站地图(Sitemap)保存多个XML文件的格式保存推广内容，使得最终爬取到的推广内容是多个XML文件，其中，一个XML文件中包括多个项(Item)，每项包括关键词(Key)和结构化的推广数据(Display)。对于爬取到的推广内容的每一项，如图3所示，保存所爬取到的推广内容的方法包括：

步骤S310，Key抽取：从该项中抽取关键词；

步骤S320，Bidword(竞价词)判断：判断抽取的关键词是否属于竞价词库中的词，如果不属于则执行步骤S330，如果属于则执行步骤S340。

本步骤中所述的竞价词库中的词是预先设置好的，不同的词有不同的优先级，在最初提供给推广用户定制模板的同时，还将该竞价词库提供给推广用户，用户可以根据自身需求按照该竞价词库设置推广内容中各项中的关键词，即属于竞价词库的关键词被认为可以被推广，且根据不同的竞价词的优先级能够给不同的推广用户的推广内容进行排序，在需要展示多个推广内容的情况下，按照该排序进行展示。

步骤S330，丢弃：丢弃该项。

步骤S340，Display抽取：从该项中抽取结构化的推广数据。

步骤S350，指纹对比：利用指纹对比方法(如MD5方法)判断结构化的推广数据与前一次爬取过的该结构化的推广数据相同，是则执行步骤S330，否则执行步骤S360。

步骤S360，Pic抽取和保存：抽取该项的结构化的推广数据中的图片；将该项的结构化的推广数据中的图片保存到图片服务器中。

步骤S370，TXT/URL/Key抽取和保存：抽取该项的结构化的推广数据中的文本和URL地址；将图片在图片服务器上的地址、该项的结构化的推广数据中的文本和URL地址，以该项的关键词为索引保存到推广内容库中。

步骤S380，结束：结束对该项的保存。

重复上述流程，直至遍历完所述推广用户的网站地图中的所有XML文件中的所有项。

需要说明的是，本实施例中的推广用户以网站地图保存多个XML文件的格式保存推广内容，使得本方案最终爬取到的推广内容是多个XML文件，以及XML文件中的关键词与结构化的推广数据不应当作为对本发明提供的在搜索中实现内容推广的方案的限制。

在本发明的一个实施例中，图1所示方法的步骤S140中，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中包括：在搜索结合页面的指定位置处展现一个应用盒子，在该应用盒子中展现匹配的推广内容。

图4示出了根据本发明一个实施例的一种爬取推广内容并供搜索使用的装置的示意图。如图4所示，该爬取推广内容并供搜索使用的装置400包括：

获取处理单元410，适于获取推广用户的服务器地址列表。

爬取处理单元420，适于对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容。

保存处理单元430，适于保存所爬取到的推广内容。

搜索处理单元440，适于在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。

可见，图4所示的装置通过各单元的相互配合，从具有内容推广需求的推广用户的服务器上爬取推广内容，并将所爬取到的推广内容保存起来；该爬取过程可以根据需要每隔相应的时间执行一次，以追踪推广用户对推广内容的更新，实时保持爬取到的推广内容与推广用户指定的推广内容的一致性，保证了爬取过程的意义以及爬取到的推广内容的实时价值；进一步地，将该实时有效的爬取到的推广内容用于搜索服务中，当接收到搜索用户发出的搜索关键词时，查找与搜索关键词匹配的推广内容并在搜索结果页面上进行展示。该方案一方面针对推广用户的需求爬取到推广内容，另一方面针对搜索用户的需求在搜索结果页面上展示匹配的推广内容，使得推广服务精确定向，不仅满足了推广用户的内容推广需求，也满足了搜索用户的搜索需求，极大程度地提高了内容推广服务的价值与意义。

在本发明的一个实施例中，图4所示装置的爬取处理单元420，适于每隔相应的时间访问该服务器，找到该服务器上的推广内容；其中，服务器上的推广内容由一个或多个指定格式的文件组成，每个文件具有一个地址标识参数和最后修改时间参数。

则爬取处理单元420，适于对于该服务器上推广内容中的每个文件，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取，是则爬取该文件，否则不爬取该文件。具体地，所述爬取处理单元220，先根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件，该判断过程可以是：如果该文件的地址标识参数与之前爬取的文件的地址标识参数相同则该文件不是新增文件，否则该文件是新增文件，当判断出该文件是新增文件时则爬取，否则进一步根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件，该判断过程可以是：如果该文件的当前的最后修改时间参数值晚于上一次爬取的该文件的最后修改时间参数值则该文件被修改过，否则该文件未被修改过，当判断出该文件被修改过则爬取，否则不爬取。

在本发明的一个实施例中，图4所示装置的爬取处理单元420，适于将从每个推广用户的服务器爬取推广内容的一个或多个任务放入任务队列；从任务队列中取任务，并使用一致性哈希算法调度一台或多台机器上的进程来完成任务。

在本发明的一个实施例中，图4所示装置的保存处理单元430，适于从爬取到的推广内容的每一项中抽取关键词；其中，爬取的推广内容包括一个或多个项，每项包括关键词和结构化的推广数据；对于推广内容中的每一项，判断抽取的关键词是否属于竞价词库中的词，如果不属于则丢弃该项，如果属于则对该项进行保存处理。其中，保存处理单元430对该项进行保存处理的过程是：将该项的结构化的推广数据中的图片保存到图片服务器中；将图片在图片服务器上的地址、该项的结构化的推广数据中的文本和URL地址，以该项的关键词为索引保存到推广内容库中。

则搜索处理单元440，适于根据搜索关键词从推广内容库中查找匹配的索引关键词，获得相应的图片在图片服务器上的地址、文本和URL地址；根据图片在图片服务器上的地址获取相应的图片；以图片、文本和URL地址为最终推广内容。

在本发明的一个实施例中，图4所示装置的搜索处理单元440，适于在搜索结合页面的指定位置处展现一个应用盒子，在该应用盒子中展现匹配的推广内容。

图5示出了根据本发明另一个实施例的一种爬取推广内容并供搜索使用的装置的示意图。如图5所示，该爬取推广内容并供搜索使用的装置500包括：获取处理单元510、爬取处理单元520、保存处理单元530、搜索处理单元540和模板处理单元550。

其中，获取处理单元510、爬取处理单元520、保存处理单元530、搜索处理单元540具有与图4所示的获取处理单元410、爬取处理单元420、保存处理单元430、搜索处理单元440对应相同的功能，在此不再赘述。

模板处理单元550，适于提供不同的用于定制推广内容的模板，以供不同推广用户选择并记录各推广用户所选择的模板。

本步骤所提供的模板使得每个推广用户根据所选择模板的规范定制自身的推广内容并保存到自身的服务器上。

则爬取处理单元320，适于根据推广用户所选择的相应模板，爬取对应的推广内容。

需要说明的是，图4-图5所示的装置的各实施例与图1-图3所示的方法的各实施例对应相同，上文中已有详细说明，在此不再赘述。

综上所述，本发明提供的技术方案从具有内容推广需求的推广用户的服务器上爬取推广内容，并将所爬取到的推广内容保存起来；该爬取过程可以根据需要每隔相应的时间执行一次，以追踪推广用户对推广内容的更新，实时保持爬取到的推广内容与推广用户指定的推广内容的一致性，保证了爬取过程的意义以及爬取到的推广内容的实时价值；进一步地，将该实时有效的爬取到的推广内容用于搜索服务中，当接收到搜索用户发出的搜索关键词时，查找与搜索关键词匹配的推广内容并在搜索结果页面上进行展示。该方案一方面针对推广用户的需求爬取到推广内容，另一方面针对搜索用户的需求在搜索结果页面上展示匹配的推广内容，使得推广服务精确定向，不仅满足了推广用户的内容推广需求，也满足了搜索用户的搜索需求，极大程度地提高了内容推广服务的价值与意义。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的爬取推广内容并供搜索使用的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种爬取推广内容并供搜索使用的方法，其中，该方法包括：

获取推广用户的服务器地址列表；

对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容；

保存所爬取到的推广内容；

在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。

A2、如A1所述的方法，其中，所述每隔相应的时间访问该服务器并爬取对应的推广内容包括：

每隔相应的时间访问该服务器，找到该服务器上的推广内容；其中，服务器上的推广内容由一个或多个指定格式的文件组成，每个文件具有一个地址标识参数和最后修改时间参数；

对于该服务器上推广内容中的每个文件，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取，是则爬取该文件，否则不爬取该文件。

A3、如A2所述的方法，其中，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取包括：

先根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件，是则判断为爬取，否则进一步根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件，是则判断为爬取，否则判断为不爬取。

A4、如A3所述的方法，其中，

所述爬取该文件包括：获取该文件并且获取该文件的地址标识参数和最后修改时间参数；

所述根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件包括：判断该文件的地址标识参数是否与之前爬取的文件的地址标识参数相同，如果相同则该文件不是新增文件，如果不相同则该文件是新增文件；

所述根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件包括：将该文件的当前的最后修改时间参数值与上一次爬取的该文件的最后修改时间参数值进行比较，如果前者晚于后者则判断为被修改过，否则未被修改过。

A5、如A1所述的方法，其中，该方法进一步包括：提供不同的用于定制推广内容的模板，以供不同推广用户选择并记录各推广用户所选择的模板；其中每个推广用户根据所选择模板的规范定制自身的推广内容并保存到自身的服务器上；

所述每隔相应的时间访问该服务器并爬取对应的推广内容包括：根据所选择的相应模板，爬取对应的推广内容。

A6、如A1所述的方法，其中，

将从每个推广用户的服务器爬取推广内容的一个或多个任务放入任务队列；

从任务队列中取任务，并使用一致性哈希算法调度一台或多台机器上的进程来完成任务。

A7、如A1所述的方法，其中，所述保存所爬取到的推广内容包括：

从爬取到的推广内容的每一项中抽取关键词；其中，爬取的推广内容包括一个或多个项，每项包括关键词和结构化的推广数据；

对于推广内容中的每一项，判断抽取的关键词是否属于竞价词库中的词，如果不属于则丢弃该项，如果属于则对该项进行保存处理。

A8、如A7所述的方法，其中，所述对该项进行保存处理包括：

将该项的结构化的推广数据中的图片保存到图片服务器中；

将图片在图片服务器上的地址、该项的结构化的推广数据中的文本和URL地址，以该项的关键词为索引保存到推广内容库中。

A9、如A8所述的方法，其中，所述根据搜索关键词从所保存的推广内容中查找到匹配的推广内容包括：

根据搜索关键词从推广内容库中查找匹配的索引关键词，获得相应的图片在图片服务器上的地址、文本和URL地址；

根据图片在图片服务器上的地址获取相应的图片；

图片、文本和URL地址为最终推广内容。

A10、如A1所述的方法，其中，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中包括：

在搜索结合页面的指定位置处展现一个应用盒子，在该应用盒子中展现匹配的推广内容。

本发明还公开了B11、一种爬取推广内容并供搜索使用的装置，其中，该装置包括：

获取处理单元，适于获取推广用户的服务器地址列表；

爬取处理单元，适于对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容；

保存处理单元，适于保存所爬取到的推广内容；

搜索处理单元，适于在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。

B12、如B11所述的装置，其中，

所述爬取处理单元，适于每隔相应的时间访问该服务器，找到该服务器上的推广内容；其中，服务器上的推广内容由一个或多个指定格式的文件组成，每个文件具有一个地址标识参数和最后修改时间参数；

所述爬取处理单元，适于对于该服务器上推广内容中的每个文件，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取，是则爬取该文件，否则不爬取该文件。

B13、如B12所述的装置，其中，

所述爬取处理单元，适于先根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件，是则判断为爬取，否则进一步根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件，是则判断为爬取，否则判断为不爬取。

B14、如B13所述的装置，其中，

所述爬取处理单元，适于在爬取该文件时获取该文件并且获取该文件的地址标识参数和最后修改时间参数；

所述爬取处理单元，适于判断该文件的地址标识参数是否与之前爬取的文件的地址标识参数相同，如果相同则该文件不是新增文件，如果不相同则该文件是新增文件；以及适于将该文件的当前的最后修改时间参数值与上一次爬取的该文件的最后修改时间参数值进行比较，如果前者晚于后者则判断为被修改过，否则未被修改过。

B15、如B11所述的装置，其中，该装置进一步包括：

模板处理单元，适于提供不同的用于定制推广内容的模板，以供不同推广用户选择并记录各推广用户所选择的模板；其中每个推广用户根据所选择模板的规范定制自身的推广内容并保存到自身的服务器上；

所述爬取处理单元，适于根据所选择的相应模板，爬取对应的推广内容。

B16、如B11所述的装置，其中，

所述爬取处理单元，适于将从每个推广用户的服务器爬取推广内容的一个或多个任务放入任务队列；从任务队列中取任务，并使用一致性哈希算法调度一台或多台机器上的进程来完成任务。

B17、如B11所述的装置，其中，

所述保存处理单元，适于从爬取到的推广内容的每一项中抽取关键词；其中，爬取的推广内容包括一个或多个项，每项包括关键词和结构化的推广数据；对于推广内容中的每一项，判断抽取的关键词是否属于竞价词库中的词，如果不属于则丢弃该项，如果属于则对该项进行保存处理。

B18、如B17所述的装置，其中，

所述保存处理单元，适于将该项的结构化的推广数据中的图片保存到图片服务器中；将图片在图片服务器上的地址、该项的结构化的推广数据中的文本和URL地址，以该项的关键词为索引保存到推广内容库中。

B19、如B18所述的装置，其中，

所述搜索处理单元，适于根据搜索关键词从推广内容库中查找匹配的索引关键词，获得相应的图片在图片服务器上的地址、文本和URL地址；根据图片在图片服务器上的地址获取相应的图片；图片、文本和URL地址为最终推广内容。

B20、如B11所述的装置，其中，

所述搜索处理单元，适于在搜索结合页面的指定位置处展现一个应用盒子，在该应用盒子中展现匹配的推广内容。

Claims (10)

1.一种爬取推广内容并供搜索使用的方法，其中，该方法包括：

获取推广用户的服务器地址列表；

对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容；

保存所爬取到的推广内容；

在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。

2.如权利要求1所述的方法，其中，所述每隔相应的时间访问该服务器并爬取对应的推广内容包括：

每隔相应的时间访问该服务器，找到该服务器上的推广内容；其中，服务器上的推广内容由一个或多个指定格式的文件组成，每个文件具有一个地址标识参数和最后修改时间参数；

对于该服务器上推广内容中的每个文件，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取，是则爬取该文件，否则不爬取该文件。

3.如权利要求2所述的方法，其中，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取包括：

先根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件，是则判断为爬取，否则进一步根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件，是则判断为爬取，否则判断为不爬取。

4.如权利要求3所述的方法，其中，

所述爬取该文件包括：获取该文件并且获取该文件的地址标识参数和最后修改时间参数；

所述根据其地址标识参数判断该文件是否为自上一次爬取后新增的文件包括：判断该文件的地址标识参数是否与之前爬取的文件的地址标识参数相同，如果相同则该文件不是新增文件，如果不相同则该文件是新增文件；

所述根据其最后修改时间参数判断该文件是否为自上一次爬取后被修改的文件包括：将该文件的当前的最后修改时间参数值与上一次爬取的该文件的最后修改时间参数值进行比较，如果前者晚于后者则判断为被修改过，否则未被修改过。

5.如权利要求1所述的方法，其中，该方法进一步包括：提供不同的用于定制推广内容的模板，以供不同推广用户选择并记录各推广用户所选择的模板；其中每个推广用户根据所选择模板的规范定制自身的推广内容并保存到自身的服务器上；

所述每隔相应的时间访问该服务器并爬取对应的推广内容包括：根据所选择的相应模板，爬取对应的推广内容。

6.如权利要求1所述的方法，其中，

将从每个推广用户的服务器爬取推广内容的一个或多个任务放入任务队列；

从任务队列中取任务，并使用一致性哈希算法调度一台或多台机器上的进程来完成任务。

7.如权利要求1所述的方法，其中，所述保存所爬取到的推广内容包括：

从爬取到的推广内容的每一项中抽取关键词；其中，爬取的推广内容包括一个或多个项，每项包括关键词和结构化的推广数据；

对于推广内容中的每一项，判断抽取的关键词是否属于竞价词库中的词，如果不属于则丢弃该项，如果属于则对该项进行保存处理。

8.如权利要求7所述的方法，其中，所述对该项进行保存处理包括：

将该项的结构化的推广数据中的图片保存到图片服务器中；

将图片在图片服务器上的地址、该项的结构化的推广数据中的文本和URL地址，以该项的关键词为索引保存到推广内容库中。

9.一种爬取推广内容并供搜索使用的装置，其中，该装置包括：

获取处理单元，适于获取推广用户的服务器地址列表；

爬取处理单元，适于对于推广用户的服务器地址列表中的每个服务器地址，按照该服务器地址对应的爬取频度，每隔相应的时间访问该服务器并爬取对应的推广内容；

保存处理单元，适于保存所爬取到的推广内容；

搜索处理单元，适于在接收搜索关键词时，根据搜索关键词从所保存的推广内容中查找到匹配的推广内容，将匹配的推广内容作为搜索结果的一部分展现在搜索结果页面中。

10.如权利要求9所述的装置，其中，

所述爬取处理单元，适于每隔相应的时间访问该服务器，找到该服务器上的推广内容；其中，服务器上的推广内容由一个或多个指定格式的文件组成，每个文件具有一个地址标识参数和最后修改时间参数；

所述爬取处理单元，适于对于该服务器上推广内容中的每个文件，根据其地址标识参数和最后修改时间参数判断该文件是否需要爬取，是则爬取该文件，否则不爬取该文件。