CN112948654A - 网页爬取方法、装置以及计算机设备 - Google Patents

Abstract

本发明公开了一种网页爬取方法，该方法包括：爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中；爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接；判断所述第二内容与所述第一内容是否相同；当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并继续爬取所述第二内容链接对应的第三网页。本发明还提供一种网页爬取装置、计算机设备以及计算机可读存储介质。本发明能够从网页的每个内容链接入手，爬取所有的相关网页，再通过内容去重，从而实现高效、全面地执行网页爬取任务。

Description

网页爬取方法、装置以及计算机设备

技术领域

本发明涉及互联网技术领域，尤其涉及一种网页爬取方法、装置、计算机设备及计算机可读存储介质。

背景技术

随着互联网的快速发展，人们可以通过搜索引擎能从互联网上检索到很多包括工作、生活、学习方面的各种信息。对于企业来说，也可以通过互联网搜集某些单一主题内容的信息，用于分析和预测商品市场。比如，企业通过网络爬虫的方式爬取特定网络或者网站上的网页内容，然后分析出大众用户的偏好，从而进行市场分析。

现有技术中通过网络爬虫工具爬取网页内容时一般都是采用自动翻页爬取方式，自动翻页爬取通常是针对设置有分页的系列性网页进行内容爬取，而且某些时候，由于网站方面对于网页设置的分页限制，使得爬虫工具通过列表和分页的模式并不能爬取到所有相关内容的网页。因此，现有技术中的爬取方法，爬取效率低下，爬取结果也不全面。

发明内容

有鉴于此，本发明提出一种网页爬取方法、装置、计算机设备及计算机可读存储介质，能够解决上述的爬虫工具在对网页爬取过程中爬取结果不全面，爬取效率低下的问题。

首先，为实现上述目的，本发明提供一种网页爬取方法，所述方法包括：

爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中；爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接；判断所述第二内容与所述第一内容是否相同；当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并继续爬取所述第二内容链接对应的第三网页。

在一个例子中，所述第一内容链接或所述第二内容链接包括目录列表内容链接，前后翻页内容链接，相关内容链接，推荐内容链接中的至少一种。

在一个例子中，所述判断所述第二内容与所述第一内容是否相同包括：对所述第一内容进行特征数据提取，标记为第一标识，并将所述第一标识与所述第一内容关联保存到所述内容集合；在获取到所述第二内容后，对所述第二内容进行特征数据提取，标记为第二标识；通过判断所述第二标识与所述第一标识是否相同，从而判断所述第二内容与所述第一内容是否相同。

在一个例子中，所述判断所述第二内容与所述第一内容是否相同包括：将所述第一内容对应的第一URL与所述第二内容对应的第二URL进行一致性比较；当所述第一URL与所述第二URL相同时，则判断所述第二内容与所述第一内容相同。

在一个例子中，所述方法还包括：当所述第二内容与所述第一内容相同时，不对所述第二内容进行保存；结束爬取，将所述内容集合作为爬取结果输出。

此外，为实现上述目的，本发明还提供一种网页爬取装置，所述装置包括：

获取模块，用于爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中；所述获取模块，还用于爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接；判断模块，用于判断所述第二内容与所述第一内容是否相同；控制模块，用于当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并控制所述获取模块继续爬取所述第二内容链接对应的第三网页。

在一个例子中，所述装置还包括提取模块，其中：所述提取模块，用于对所述第一内容进行特征数据提取，标记为第一标识，并将所述第一标识与所述第一内容关联保存到所述内容集合；所述提取模块，还用于在获取到所述第二内容后，对所述第二内容进行特征数据提取，标记为第二标识；所述判断模块，还用于通过判断所述第二标识与所述第一标识是否相同，从而判断所述第二内容与所述第一内容是否相同。

在一个例子中，所述判断模块还用于：将所述第一内容对应的第一URL与所述第二内容对应的第二URL进行一致性比较；当所述第一URL与所述第二URL相同时，则判断所述第二内容与所述第一内容相同。

进一步地，本发明还提出一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的网页爬取方法的步骤。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的网页爬取方法的步骤。

相较于现有技术，本发明所提出的网页爬取方法、装置、计算机设备及计算机可读存储介质，能够在爬取第一网页时，获取所述第一网页包括的第一内容以及第一内容链接，并将所述第一内容保存到内容集合中；然后继续爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接，并判断所述第二内容与所述第一内容是否相同；当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，再继续爬取所述第二内容链接对应的第三网页。通过这种方式，能够从网页的每个内容链接入手，爬取所有的相关网页，再通过内容去重，从而实现高效、全面地执行网页爬取任务。

附图说明

图1是本发明一实施例的应用环境示意图；

图2是本发明网页爬取方法一具体实施例的流程示意图；

图3是图2步骤S202的一示例性实例的示意图；

图4是图2步骤S204中的判断所述第二内容与所述第一内容是否相同的过程的一具体实施例的流程示意图；

图5是图2步骤S204中的判断所述第二内容与所述第一内容是否相同的过程的另一具体实施例的流程示意图；

图6是本发明计算机设备一可选的硬件架构的示意图；

图7是本发明网页爬取装置一实施例的程序模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

图1是本发明一实施例的应用环境示意图。参阅图1所示，所述计算机设备1与服务器连接，通过网络爬虫工具对所述服务器上的网页执行内容爬取操作。在本实施例中，所述计算机设备1可作为一个数据服务器，或者用户终端比如：手机，用户便携设备，PC机等。在其他实施例中，所述计算机设备1也可以作为独立的功能模块，然后附加到数据服务器或者用户终端上，用于实现爬取预设所述数据服务器或者用户终端连接的其他服务器上的网页内容。

图2是本发明网页爬取方法一实施例的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述。

如图2所示，所述网页爬取方法可以包括步骤S200～S208，其中：

步骤S200，爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中。

具体地，所述计算机设备1与服务器连接之后，则可以根据用户输入的爬取任务，通过网络爬虫工具爬取所述服务器上的网页内容。所述网络爬虫工具，是按照一定的规则自动浏览网页并获取信息的机器人程序或脚本，可以获取网页中文字、图片信息，以及超链接信息。因此，所述计算机设备1可以通过网页中的超链接信息获得当前网页上链接的其他网页，从而获取所有关联到的网页的信息。在本实施例中，所述计算机设备1预先对网页上的信息分类为内容和内容链接，所述内容包括文本、图片、音频等信息；内容链接则是超链接信息。因此，所述计算机设备1爬取到所述服务器上的第一网页之后，可以获取所第一网页包括的第一内容以及第一内容链接，然后保存到预设的内容集合中，所述内容集合用于存放所述网络爬虫工具爬取的结果数据。其中，所述第一内容链接包括目录列表内容链接，前后翻页内容链接，相关内容链接，推荐内容链接中的至少一种。

步骤S202，爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接。

具体地，所述计算机设备1在获取到第一网页上的第一内容和第一内容链接之后，进一步爬取所述第一内容链接对应的第二网页，从而获取到所述第二网页包括的第二内容和第二内容链接。当然，在本实施例中，所述第一内容链接或者第二内容链接仅仅是示例性描述，实际情况下可能包括多个超链接。参阅图3所示，例如，当所述计算机设备1爬取到网页1之后，则获取所述网页1的内容M以及内容链接：xxx，yyy和zzz；然后保存到内容集合中，所述内容集合可以是设置在所述计算机设备1中的部分存储单元。接着，所述计算机设备1爬取网页1的每一条内容链接，即xxx，yyy和zzz对应的网页2a，网页2b和网页2c，获取到网页2a上的内容XXX以及内容链接：xxx1，yyy1和zzz1；网页2b上的内容YYY以及内容链接：xxx2，yyy2和zzz2；和网页2c上的内容ZZZ以及内容链接：xxx3，yyy3和zzz3。

步骤S204，判断所述第二内容与所述第一内容是否相同。

在爬取到第二网页上的第二内容之后，所述计算机设备1则会判断所述第二内容是否与保存在内容集合中的第一内容相同。

如图4所示，在一示例性的实施例中，步骤S204中的判断所述第二内容与所述第一内容是否相同，包括步骤S300～S302：

步骤S300，对所述第一内容进行特征数据提取，标记为第一标识，并将所述第一标识与所述第一内容关联保存到所述内容集合。

步骤S302，在获取到第二内容后，对所述第二内容进行特征数据提取，标记为第二标识。

步骤S304，通过判断所述第二标识与所述第一标识是否相同，从而判断所述第二内容与所述第一内容是否相同。

在本实施例中，所述计算机设备1在爬取到所述第一网页的第一内容之后，则会对所述第一内容进行特征数据提取并标记为第一标识。例如，通过预设规则截取第一内容中的文本、图片或者视频信息中的部分信息，然后作为所述第一内容的特征数据存储，并标记为第一标识。比如，通过截取所述第一内容中的文本信息中的每一段落中的前Q个字符串拼接在一起，作为所述第一内容的特征数据，并根据所述特征数据中P个字符串作为第一标识。

在其他实施例中，也可以通过其他方式，比如对所述第一内容包括的文本、图片或者视频信息中的全部或者部分信息进行编码，或者哈希值计算，然后将编码值或哈希值作为特征数据提取出来，标记为第一标识。当然，所述计算机设备1还会将所述第一标识与所述第一内容关联保存到所述内容集合中，方便与后续需要调用所述第一内容进行比对时，直接可以获取到所述第一标识。

接着，当所述计算机设备1爬取所述第一内容链接对应的第二网页，获取到所述第二网页上的所述第二内容后，以同样的方式对所述第二内容进行特征数据提取并标记为第二标识。然后判断所述第二标识与所述第一标识是否相同，如果相同，那么则确认出所述第二内容与所述第一内容相同。

请继续参与图5，如图5所示，在另一示例性的实施例中，步骤S204中的判断所述第二内容与所述第一内容是否相同，也可以包括步骤S400～S402：

步骤S400，将所述第一内容对应的第一URL与所述第二内容对应的第二URL进行一致性比较。

步骤S402，当所述第一URL与所述第二URL相同时，则判断所述第二内容与所述第一内容相同。

具体地，在网络中，对于网络资源的标识，通常会使用到URL进行网络资源唯一性标识。因此，所述计算机设备1爬取到所述第一网页后，可以将所述第一网页对应的URL作为所述第一网页上的第一内容对应的第一URL，所述第一URL可以唯一地表示所述第一内容。因此，在本实施例中，所述计算机设备1通过将所述第一内容对应的URL与所述第二内容对应的第二URL进行一致性比较，从而判断所述第二内容是否与所述第一内容相同，判断过程为：首先爬取所述第一网页，获取所述第一网页的URL作为所述第一网页上的第一内容的第一URL；接着根据所述第一网页上的第一内容链接爬取对应的第二网页，然后获取所述第二网页的URL作为所述第二网页上的第二内容的URL；最后将所述第二URL与所述第一URL进行文本比较，当所述第二URL与所述第一URL相同时，则判断所述第二内容与所述第一内容相同。

步骤S206，当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并继续爬取所述第二内容链接对应的第三网页。

在判断出所述第二内容与所述第一内容不相同时，那么所述计算机设备1将所述第二内容保存到所述内容集合中，然后继续爬取所述第二内容链接对应的第三网页，重复上述步骤以爬取更多的网页内容。

步骤S208，当所述第二内容与所述第一内容相同时，不对所述第二内容进行保存，结束爬取，将所述内容集合作为爬取结果输出。

在判断出所述第二内容与所述第一内容相同时，那么所计算机设备1则会认为所述第二网页之前已经爬取过，因此，所述第二内容不会再保存到所述内容集合中；并且还会结束爬取，将当前的内容集合作为爬取结果输出。

从上文可知，本实施例所提出的网页爬取方法能够在爬取第一网页时，获取所述第一网页包括的第一内容以及第一内容链接，并将所述第一内容保存到内容集合中；然后继续爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接，并判断所述第二内容与所述第一内容是否相同；当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，再继续爬取所述第二内容链接对应的第三网页。通过这种方式，能够从网页的每个内容链接入手，爬取所有的相关网页，再通过内容去重，从而实现高效、全面地执行网页爬取任务。

此外，本发明还提供一种计算机设备，参阅图6所示，是本发明计算机设备一可选的硬件架构的示意图。

本实施例中，所述计算机设备1可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。所述计算机设备1通过网络接口13连接网络(图6未标出)，通过网络连接到服务器(图6未标出)进行数据交互。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division MultIPle Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。

需要指出的是，图6仅示出了具有组件11-13的计算机设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述计算机设备1的内部存储单元，例如该计算机设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述计算机设备1的外部存储设备，例如该计算机设备1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述计算机设备1的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述计算机设备1的操作系统和各类应用软件，例如挡板应用的程序代码，以及网页爬取装置200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述计算机设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述网页爬取装置200的应用程序，这里不做限制。

所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述计算机设备1与服务器建立通信连接。

本实施例中，所述计算机设备1内安装并运行有网页爬取装置200时，当所述网页爬取装置200运行时，能够在爬取第一网页时，获取所述第一网页包括的第一内容以及第一内容链接，并将所述第一内容保存到内容集合中；然后继续爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接，并判断所述第二内容与所述第一内容是否相同；当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，再继续爬取所述第二内容链接对应的第三网页。通过这种方式，能够从网页的每个内容链接入手，爬取所有的相关网页，再通过内容去重，从而实现高效、全面地执行网页爬取任务。

至此，己经详细介绍了本发明计算机设备的硬件结构和功能。下面，将基于上述计算机设备，提出本发明的各个实施例。

参阅图7所示，是本发明网页爬取装置200一实施例的程序模块图。

本实施例中，所述网页爬取装置200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明实施例的网页爬取功能。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，网页爬取装置200可以被划分为一个或多个模块。例如，在图7中，所述网页爬取装置200可以被分割成获取模块201、判断模块202、提取模块203和控制模块204。其中：

所述获取模块201，用于爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中。

具体地，所述计算机设备与服务器连接之后，所述获取模块201则可以根据用户输入的爬取任务，通过网络爬虫工具爬取所述服务器上的网页内容。所述网络爬虫工具，是按照一定的规则自动浏览网页并获取信息的机器人程序或脚本，可以获取网页中文字、图片信息，以及超链接信息。因此，所述获取模块201可以通过网页中的超链接信息获得当前网页上链接的其他网页，从而获取所有关联到的网页的信息。在本实施例中，所述获取模块201预先对网页上的信息分类为内容和内容链接，所述内容包括文本、图片、音频等信息；内容链接则是超链接信息。因此，所述获取模块201爬取到所述服务器上的第一网页之后，可以获取所第一网页包括的第一内容以及第一内容链接，然后保存到预设的内容集合中，所述内容集合用于存放所述网络爬虫工具爬取的结果数据。其中，所述第一内容链接包括目录列表内容链接，前后翻页内容链接，相关内容链接，推荐内容链接中的至少一种。

所述获取模块201，还用于爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接。

具体地，所述获取模块201在获取到第一网页上的第一内容和第一内容链接之后，还会进一步爬取所述第一内容链接对应的第二网页，从而获取到所述第二网页包括的第二内容和第二内容链接。当然，在本实施例中，所述第一内容链接或者第二内容链接仅仅是示例性描述，实际情况下可能包括多个超链接。参阅图3所示，例如，当所述获取模块201爬取到网页1之后，则进一步获取所述网页1的内容M以及内容链接：xxx，yyy和zzz；然后保存到内容集合中，所述内容集合可以是设置在所述计算机设备1中的部分存储单元。接着，所述获取模块201爬取网页1的每一条内容链接，即xxx，yyy和zzz对应的网页2a，网页2b和网页2c，获取到网页2a上的内容XXX以及内容链接：xxx1，yyy1和zzz1；网页2b上的内容YYY以及内容链接：xxx2，yyy2和zzz2；和网页2c上的内容ZZZ以及内容链接：xxx3，yyy3和zzz3。

所述判断模块202，用于判断所述第二内容与所述第一内容是否相同。

在一具体实施例中，所述提取模块203首先对所述第一内容进行特征数据提取，标记为第一标识，并将所述第一标识与所述第一内容关联保存到所述内容集合；在获取到第二内容后，所述提取模块203继续对所述第二内容进行特征数据提取，标记为第二标识；最后，所述判断模块202通过判断所述第二标识与所述第一标识是否相同，从而判断所述第二内容与所述第一内容是否相同。

在本实施例中，所述获取模块201在爬取到所述第一网页的第一内容之后，所述提取模块203则会对所述第一内容进行特征数据提取并标记为第一标识。例如，通过预设规则截取第一内容中的文本、图片或者视频信息中的部分信息，然后作为所述第一内容的特征数据存储，并标记为第一标识。比如，通过截取所述第一内容中的文本信息中的每一段落中的前Q个字符串拼接在一起，作为所述第一内容的特征数据，并根据所述特征数据中P个字符串作为第一标识。

所述提取模块203也可以通过其他方式，比如对所述第一内容包括的文本、图片或者视频信息中的全部或者部分信息进行编码，或者哈希值计算，然后将编码值或哈希值作为特征数据提取出来，标记为第一标识。其中，所述提取模块203还会将所述第一标识与所述第一内容关联保存到所述内容集合中，方便所述判断模块202后续需要调用所述第一内容进行比对时，直接可以获取到所述第一标识。

当所述获取模块201爬取所述第一内容链接对应的第二网页，获取到所述第二网页上的所述第二内容后，所述提取模块203以同样的方式对所述第二内容进行特征数据提取并标记为第二标识。然后所述判断模块202判断所述第二标识与所述第一标识是否相同，如果相同，那么则确认出所述第二内容与所述第一内容相同。

在另一具体实施例中，所述判断模块202将所述第一内容对应的第一URL与所述第二内容对应的第二URL进行一致性比较，当所述第一URL与所述第二URL相同时，则判断所述第二内容与所述第一内容相同。

具体地，在网络中，对于网络资源的标识，通常会使用到URL进行网络资源唯一性标识。因此，所述获取模块201爬取到所述第一网页后，可以将所述第一网页对应的URL作为所述第一网页上的第一内容对应的第一URL，所述第一URL可以唯一地表示所述第一内容。因此，在本实施例中，所述判断模块202通过将所述第一内容对应的URL与所述第二内容对应的第二URL进行一致性比较，从而判断所述第二内容是否与所述第一内容相同，判断过程为：在所述获取模块201爬取所述第一网页后，所述判断模块202获取所述第一网页的URL作为所述第一网页上的第一内容的第一URL；在所述获取模块201根据所述第一网页上的第一内容链接爬取对应的第二网页后，所述判断模块202获取所述第二网页的URL作为所述第二网页上的第二内容的URL；然后将所述第二URL与所述第一URL进行文本比较，当所述第二URL与所述第一URL相同时，则判断所述第二内容与所述第一内容相同。

所述控制模块204，用于当所述判断模块202判断出所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并控制所述获取模块201继续爬取所述第二内容链接对应的第三网页，以爬取更多的网页内容。

当然，如果所述判断模块202判断出所述第二内容与所述第一内容相同时，所述控制模块204则不对所述第二内容进行保存，结束爬取，并将所述内容集合作为爬取结果输出。

从上文可知，所述计算机设备能够在爬取第一网页时，获取所述第一网页包括的第一内容以及第一内容链接，并将所述第一内容保存到内容集合中；然后继续爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接，并判断所述第二内容与所述第一内容是否相同；当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，再继续爬取所述第二内容链接对应的第三网页。通过这种方式，能够从网页的每个内容链接入手，爬取所有的相关网页，再通过内容去重，从而实现高效、全面地执行网页爬取任务。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种网页爬取方法，其特征在于，所述方法包括：

爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中；

爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接；

判断所述第二内容与所述第一内容是否相同；

当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并继续爬取所述第二内容链接对应的第三网页。

2.如权利要求1所述的网页爬取方法，其特征在于，所述第一内容链接或所述第二内容链接包括目录列表内容链接，前后翻页内容链接，相关内容链接，推荐内容链接中的至少一种。

3.如权利要求1所述的网页爬取方法，其特征在于，所述判断所述第二内容与所述第一内容是否相同包括：

对所述第一内容进行特征数据提取，标记为第一标识，并将所述第一标识与所述第一内容关联保存到所述内容集合；

在获取到所述第二内容后，对所述第二内容进行特征数据提取，标记为第二标识；

通过判断所述第二标识与所述第一标识是否相同，从而判断所述第二内容与所述第一内容是否相同。

4.如权利要求1所述的网页爬取方法，其特征在于，所述判断所述第二内容与所述第一内容是否相同包括：

将所述第一内容对应的第一URL与所述第二内容对应的第二URL进行一致性比较；

当所述第一URL与所述第二URL相同时，则判断所述第二内容与所述第一内容相同。

5.如权利要求1所述的网页爬取方法，其特征在于，所述方法还包括：

当所述第二内容与所述第一内容相同时，不对所述第二内容进行保存；

结束爬取，将所述内容集合作为爬取结果输出。

6.一种网页爬取装置，其特征在于，所述装置包括：

获取模块，用于爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中；

所述获取模块，还用于爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接；

判断模块，用于判断所述第二内容与所述第一内容是否相同；

控制模块，用于当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并控制所述获取模块继续爬取所述第二内容链接对应的第三网页。

7.如权利要求6所述的网页爬取装置，其特征在于，所述装置还包括提取模块，其中：

所述提取模块，用于对所述第一内容进行特征数据提取，标记为第一标识，并将所述第一标识与所述第一内容关联保存到所述内容集合；

所述提取模块，还用于在获取到所述第二内容后，对所述第二内容进行特征数据提取，标记为第二标识；

所述判断模块，还用于通过判断所述第二标识与所述第一标识是否相同，从而判断所述第二内容与所述第一内容是否相同。

8.如权利要求6所述的网页爬取装置，其特征在于，所述判断模块还用于：

将所述第一内容对应的第一URL与所述第二内容对应的第二URL进行一致性比较；

当所述第一URL与所述第二URL相同时，则判断所述第二内容与所述第一内容相同。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5任一项所述的网页爬取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5中任一项所述的网页爬取方法的步骤。

Images