CN109190003B - 用于确定列表页节点的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种用于确定列表页节点的方法与设备。与现有技术相比，本申请通过获取根节点下的初始子节点，并基于所述初始子节点确定各级内容页节点，然后基于所述各级内容页节点至所述根节点的距离确定列表页节点。通过这种方式，能够快速识别出列表页节点，由于内容页的超链接理论上都在列表页上出现，则这种方式能够使爬虫搜索向下进行时只需要对列表页和首页进行超链接提取，从而提升爬虫的效率，减少硬件的消耗。

Description

用于确定列表页节点的方法与设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种用于确定列表页节点的技术。

背景技术

现有技术中，网络爬虫对页面的解析以及信息提取主要有两种方案。一是通过对每个网站及每个栏目制作抓取模板，这种方式人工参与量很大，每个网站都要针对性做模板，耗时耗力，并且一旦网站改版模板就得重新制作，因此这种方式不适合大规模抓取。

二是采用基于广度优先或者深度优先算法。广度优先爬虫过程就是从一系列的种子节点开始，把这些网页中的"子节点"(也就是超链接)提取出来，放入队列中依次进行抓取，被处理过的链接需要放入一张表(通常称为Visited表)中，每次新处理一个链接之前，需要查看这个链接是否已经存在于Visited表中，如果存在，证明链接已经处理过，则跳过，不做处理，否则进行下一步处理。其次，以获取的子节点为种子节点继续执行第一步的操作，如此继续直到设定好的深度为止。深度优先算法是从一个种子节点开始搜索沿着网页上的超链接一个接一个走下去，直到没有新的超链接为止，然后返回某个页面的下一个超链接继续向下搜索进行。因此，这两种算法都有一个共同的缺点就是抓取效率低，资源消耗大。

发明内容

本申请的目的是提供一种用于确定列表页节点的方法与设备。

根据本申请的一个方面，提供了一种用于确定列表页节点的方法，其中，所述方法包括：

获取根节点下的初始子节点；

基于所述初始子节点确定各级内容页节点；

基于所述各级内容页节点至所述根节点的距离确定列表页节点。

进一步地，其中，所述基于所述初始子节点确定各级内容页节点包括：

基于所述初始子节点确定下级内容页节点及下级未知节点；

循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。

进一步地，其中，所述基于所述初始子节点确定下级内容页节点及下级未知节点包括：

基于所述初始子节点，确定每个初始子节点的内容长度；

将内容长度大于内容长度阈值的所有初始子节点确定为下级内容页节点；

将除所述下级内容页节点的所有初始子节点确定下级为未知节点。

进一步地，其中，所述下级未知节点与所述下下级未知节点之间不存在重复节点。

进一步地，其中，所述基于所述各级内容页节点至所述根节点的距离确定列表页节点包括：

基于除第一级内容页节点外的其他各级内容页节点，确定所述其他各级内容页节点到根节点的距离；

基于所述其他各级内容页节点到根节点的距离确定最短路径集合；

基于所述最短路径集合确定中间节点；

基于所述中间节点确定列表页节点。

进一步地，其中，所述基于所述中间节点确定列表页节点包括：

对所述中间节点进行去重；

将去重后的所述中间节点作为列表页节点。

根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述方法。

根据本申请的再一方面，还提供了一种用于确定列表页节点的设备，其中，该设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行以实现前述方法。

与现有技术相比，本申请通过获取根节点下的初始子节点，并基于所述初始子节点确定各级内容页节点，然后基于所述各级内容页节点至所述根节点的距离确定列表页节点。通过这种方式，能够快速识别出列表页节点，由于内容页的超链接理论上都在列表页上出现，则这种方式能够使爬虫搜索向下进行时只需要对列表页和首页进行超链接提取，从而提升爬虫的效率，减少硬件的消耗。

而且，本申请还可以基于所述初始子节点确定下级内容页节点及下级未知节点，并进一步地循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。通过这种方式能够全部识别出内容页节点，从而避免了进行爬虫时出现网页节点的遗漏，便于进行全面的爬虫，防止了信息遗漏。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种用于确定列表页节点的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为更进一步阐述本申请所采取的技术手段及取得的效果，下面结合附图及较佳实施例，对本申请的技术方案，进行清楚和完整的描述。

图1示出根据本申请一个方面提供的一种用于确定列表页节点的方法，该方法在设备1上执行，该方法包括以下步骤：

S11获取根节点下的初始子节点；

S12基于所述初始子节点确定各级内容页节点；

S13基于所述各级内容页节点至所述根节点的距离确定列表页节点。

在本申请中，设备1包括能够进行爬虫操作的各种设备，比如，设备1包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，或者，设备1包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。上述设备1仅为举例其他现有的或者今后可能出现的能应用于本申请的设备1都应包含在本申请的保护范围内，在此，以引用的方式包含于此。

在该实施例中，在所述步骤S11中，设备1获取根节点下的初始子节点。在此，所述根节点包括进行网络爬虫时的种子节点，所述种子节点相当于需要爬虫的初始网页的URL(Uniform Resource Locator，统一资源定位符)，所述初始子节点包括所述种子节点的第一级子节点。具体地，在获取到初始网页的URL后，会通过预设的方式来获取初始网页下的所有初始子节点。

继续在该实施例中，在所述步骤S12中，设备1基于所述初始子节点确定各级内容页节点。具体地，初始子节点包括内容页节点以及列表页节点，所述内容页节点包括但不限于用于呈现内容的网页，所述列表页节点包括但不限于用于呈现内容菜单或者列表的网页，例如，对于新闻类网站，列表页可以包括新闻频道页等等，内容页可以包括呈现新闻内容的网页等。具体地，可以通过一级一级确定的方式来确定各级内容页节点。

优选地，其中，所述步骤S12包括：S121(未示出)基于所述初始子节点确定下级内容页节点及下级未知节点；S122(未示出)循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。

在该实施例中，在所述步骤S121中，设备1基于所述初始子节点确定下级内容页节点及下级未知节点，在此，所述下级内容页节点包括所述初始子节点下的第一级内容页节点，所述下级未知节点包括不确定是否是内容页节点的节点，例如，可能包括内容页节点和列表页节点。

具体地，可以通过检测页面上的超链接的方式来确定内容页节点，例如，若页面上未含有超链接时，可以确定该节点为内容页节点等等。

优选地，其中，所述步骤S121包括：基于所述初始子节点，确定每个初始子节点的内容长度；将内容长度大于内容长度阈值的所有初始子节点确定为下级内容页节点；将除所述下级内容页节点的所有初始子节点确定下级为未知节点。

具体地，在该实施例中，由于内容页跟列表页的内容长度可能存在不同，例如，内容页的内容长度通常大于列表页的内容长度，因此，可以通过初始子节点的内容长度来判断内容页节点。例如，可以根据经验值来设定内容长度阈值，并将大于该内容长度阈值的所有初始子节点确定为下级内容页节点，而将除所述下级内容页节点的所有初始子节点确定下级为未知节点。

在此，上述确定下级内容页节点及下级未知节点的方式仅为举例，其他现有的或者今后可能出现的确定内容页节点的方式，如适用于本申请，也应包含在本申请的保护范围内，在此，以引用的方式包含于此。

继续在该实施例中，在所述步骤S122中，设备1循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。

在该实施例中，为了找出所有的内容页节点，可以通过循环迭代的方式进行，例如，获取到的根节点下的初始子节点集合为T1＝{t1,t2,t3...tn}，并确定该初始子节点集合的下级内容页节点集合为C1＝{c1,c2,c3...cn}，下级未知节点集合为L1＝{l1,l2,l3...ln}，则进一步地，将L1作为根节点，并确定L1的下级内容页节点C2＝{c1,c2,c3...cn}及下级未知节点L2＝{l1,l2,l3...ln}，也即T1的下下级内容页节点及下下级未知节点。通过这种方式，不断循环，直到最后下下级未知节点清零即可找出所有的内容页节点。

优选地，其中，所述下级未知节点与所述下下级未知节点之间不存在重复节点。在该实施例中，由于网页之间超链接的交叉，下级未知节点与下下级未知节点可能存在相同的节点，因此，需要将下级未知节点与下下级未知节点进行去重，从而获得去重后的下下级未知节点。例如，针对前述实施例，在确定了C1和L1后，会将L1作为根节点，首先得的C2＝{c1,c2,c3...cn}，L2`＝{l1,l2,l3...ln}，在该实施例中会将L2`与L1去重后，再确定L2＝{l1,l2,l3...ln}。

优选地，其中，所述步骤S13包括：S131(未示出)基于除第一级内容页节点外的其他各级内容页节点，确定所述其他各级内容页节点到根节点的距离；S132(未示出)基于所述其他各级内容页节点到根节点的距离确定最短路径集合；S133(未示出)基于所述最短路径集合确定中间节点；S134(未示出)基于所述中间节点确定列表页节点。

在该实施例中，假设基于根节点确定的各级内容页节点包括C2...Cn，则以C2...Cn为基准，构建每个ci到根节点的路径(C1不参与计算路径)，即计算每个ci到根节点的距离，然后找出到根节点的最短距离的路径，得到最短路径集合S＝{s1,s2,s3...sn}，然后计算S的所有中间节点得到LS`＝{ls1,ls2,ls3...lsn}，则可以将LS`节点集合确定为列表页节点。

优选地，其中，所述步骤S134包括：对所述中间节点进行去重；将去重后的所述中间节点作为列表页节点。

在该实施例中，由于计算出的中间节点可能存在重复，因此，可对中间节点进行去重处理，从而确定最终的列表页节点。例如，针对上一实施例中的计算S的所有中间节点得到LS`＝{ls1,ls2,ls3...lsn}，通过对LS`进行去重，最后可以得到LS＝{ls1,ls2,ls3...lsn}，则LS节点集合即为列表页节点集合。

与现有技术相比，本申请通过获取根节点下的初始子节点，并基于所述初始子节点确定各级内容页节点，然后基于所述各级内容页节点至所述根节点的距离确定列表页节点。通过这种方式，能够快速识别出列表页节点，由于内容页的超链接理论上都在列表页上出现，则这种方式能够使爬虫搜索向下进行时只需要对列表页和首页进行超链接提取，从而提升爬虫的效率，减少硬件的消耗。

而且，本申请还可以基于所述初始子节点确定下级内容页节点及下级未知节点，并进一步地循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。通过这种方式能够全部识别出内容页节点，从而避免了进行爬虫时出现网页节点的遗漏，便于进行全面的爬虫，防止了信息遗漏。

根据本申请另一个方面，还提供了一种用于确定列表页节点的设备1，该设备包括以下装置：

第一装置，用于获取根节点下的初始子节点；

第二装置，用于基于所述初始子节点确定各级内容页节点；

第三装置，用于基于所述各级内容页节点至所述根节点的距离确定列表页节点。

在本申请中，设备1包括能够进行爬虫操作的各种设备，比如，设备1包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，或者，设备1包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。上述设备1仅为举例其他现有的或者今后可能出现的能应用于本申请的设备1都应包含在本申请的保护范围内，在此，以引用的方式包含于此。

在该实施例中，设备1的第一装置获取根节点下的初始子节点。在此，所述根节点包括进行网络爬虫时的种子节点，所述种子节点相当于需要爬虫的初始网页的URL(Uniform Resource Locator，统一资源定位符)，所述初始子节点包括所述种子节点的第一级子节点。具体地，在所述获取到初始网页的URL后，所述第一装置会通过预设的方式来获取初始网页下的所有初始子节点。

继续在该实施例中，所述设备1的第二装置基于所述初始子节点确定各级内容页节点。具体地，初始子节点包括内容页节点以及列表页节点，所述内容页节点包括但不限于用于呈现内容的网页，所述列表页节点包括但不限于用于呈现内容菜单或者列表的网页，例如，对于新闻类网站，列表页可以包括新闻频道页等等，内容页可以包括呈现新闻内容的网页等。具体地，可以通过一级一级确定的方式来确定各级内容页节点。

优选地，其中，所述第二装置包括：第一单元(未示出)，用于基于所述初始子节点确定下级内容页节点及下级未知节点；S122第二单元(未示出)，用于循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。

在该实施例中，所述设备1的第一单元基于所述初始子节点确定下级内容页节点及下级未知节点，在此，所述下级内容页节点包括所述初始子节点下的第一级内容页节点，所述下级未知节点包括不确定是否是内容页节点的节点，例如，可能包括内容页节点和列表页节点。

具体地，可所述第一单元可以通过检测页面上的超链接的方式来确定下级内容页节点，例如，若页面上未含有超链接时，可以确定该节点为内容页节点等等。

优选地，其中，所述第一单元用于：基于所述初始子节点，确定每个初始子节点的内容长度；将内容长度大于内容长度阈值的所有初始子节点确定为下级内容页节点；将除所述下级内容页节点的所有初始子节点确定下级为未知节点。

具体地，在该实施例中，由于内容页跟列表页的内容长度可能存在不同，例如，内容页的内容长度通常大于列表页的内容长度，因此，可以通过初始子节点的内容长度来判断内容页节点。例如，可以根据经验值来设定内容长度阈值，并将大于该内容长度阈值的所有初始子节点确定为下级内容页节点，而将除所述下级内容页节点的所有初始子节点确定下级为未知节点。

在此，上述确定下级内容页节点及下级未知节点的方式仅为举例，其他现有的或者今后可能出现的确定内容页节点的方式，如适用于本申请，也应包含在本申请的保护范围内，在此，以引用的方式包含于此。

继续在该实施例中，所述设备1第二单元用于循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。

在该实施例中，为了找出所有的内容页节点，所述第二单元可以通过循环迭代的方式进行，例如，获取到的根节点下的初始子节点集合为T1＝{t1,t2,t3...tn}，并确定该初始子节点集合的下级内容页节点集合为C1＝{c1,c2,c3...cn}，下级未知节点集合为L1＝{l1,l2,l3...ln}，则进一步地，将L1作为根节点，并确定L1的下级内容页节点C2＝{c1,c2,c3...cn}及下级未知节点L2＝{l1,l2,l3...ln}，也即T1的下下级内容页节点及下下级未知节点。通过这种方式，不断循环，直到最后下下级未知节点清零即可找出所有的内容页节点。

优选地，其中，所述下级未知节点与所述下下级未知节点之间不存在重复节点。在该实施例中，由于网页之间超链接的交叉，下级未知节点与下下级未知节点可能存在相同的节点，因此，需要将下级未知节点与下下级未知节点进行去重，从而获得去重后的下下级未知节点。例如，针对前述实施例，在确定了C1和L1后，会将L1作为根节点，首先得的C2＝{c1,c2,c3...cn}，L2`＝{l1,l2,l3...ln}，在该实施例中会将L2`与L1去重后，再确定L2＝{l1,l2,l3...ln}。

优选地，其中，所述第三装置包括：第三单元(未示出)，用于基于除第一级内容页节点外的其他各级内容页节点，确定所述其他各级内容页节点到根节点的距离；第四单元(未示出)，用于基于所述其他各级内容页节点到根节点的距离确定最短路径集合；第五单元(未示出)，用于基于所述最短路径集合确定中间节点；第六单元(未示出)，用于基于所述中间节点确定列表页节点。

在该实施例中，假设基于根节点确定的各级内容页节点包括C2...Cn，则所述第三单元以C2...Cn为基准，构建每个ci到根节点的路径(C1不参与计算路径)，即计算每个ci到根节点的距离，然后所述第四单元找出到根节点的最短距离的路径，得到最短路径集合S＝{s1,s2,s3...sn}，然后所述第五单元计算S的所有中间节点得到LS`＝{ls1,ls2,ls3...lsn}，则所述第六单元可以将LS`节点集合确定为列表页节点。

优选地，其中，所述第六单元用于：对所述中间节点进行去重；将去重后的所述中间节点作为列表页节点。

在该实施例中，由于计算出的中间节点可能存在重复，因此，所述第六单元可对中间节点进行去重处理，从而确定最终的列表页节点。例如，针对上一实施例中的计算S的所有中间节点得到LS`＝{ls1,ls2,ls3...lsn}，通过对LS`进行去重，最后可以得到LS＝{ls1,ls2,ls3...lsn}，则LS节点集合即为列表页节点集合。

与现有技术相比，本申请通过获取根节点下的初始子节点，并基于所述初始子节点确定各级内容页节点，然后基于所述各级内容页节点至所述根节点的距离确定列表页节点。通过这种方式，能够快速识别出列表页节点，由于内容页的超链接理论上都在列表页上出现，则这种方式能够使爬虫搜索向下进行时只需要对列表页和首页进行超链接提取，从而提升爬虫的效率，减少硬件的消耗。

而且，本申请还可以基于所述初始子节点确定下级内容页节点及下级未知节点，并进一步地循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。通过这种方式能够全部识别出内容页节点，从而避免了进行爬虫时出现网页节点的遗漏，便于进行全面的爬虫，防止了信息遗漏。

此外，本申请实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述方法。

本申请实施例还提供了一种用于确定列表页节点的设备，其中，该设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行前述方法的操作。

例如，计算机可读指令在被执行时使所述一个或多个处理器：获取根节点下的初始子节点；基于所述初始子节点确定各级内容页节点；基于所述各级内容页节点至所述根节点的距离确定列表页节点。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (7)

1.一种用于确定列表页节点的方法，其中，所述方法包括：

获取根节点下的初始子节点，其中，所述根节点包括进行网络爬虫时的种子节点，所述初始子节点包括所述种子节点的第一级子节点；

基于所述初始子节点确定各级内容页节点，其中，所述内容页节点包括但不限于用于呈现内容的网页；

基于所述各级内容页节点至所述根节点的距离确定列表页节点，其中，所述列表页节点包括但不限于用于呈现内容菜单或者列表的网页；

其中，所述基于所述各级内容页节点至所述根节点的距离确定列表页节点包括：

基于除第一级内容页节点外的其他各级内容页节点，确定所述其他各级内容页节点到根节点的距离；

基于所述其他各级内容页节点到根节点的距离确定最短路径集合；

基于所述最短路径集合确定中间节点；

基于所述中间节点确定列表页节点。

2.根据权利要求1所述的方法，其中，所述基于所述初始子节点确定各级内容页节点包括：

基于所述初始子节点确定下级内容页节点及下级未知节点；

循环将下级未知节点作为初始子节点，确定下下级内容页节点及下下级未知节点，直至下下级未知节点清零。

3.根据权利要求2所述的方法，其中，所述基于所述初始子节点确定下级内容页节点及下级未知节点包括：

基于所述初始子节点，确定每个初始子节点的内容长度；

将内容长度大于内容长度阈值的所有初始子节点确定为下级内容页节点；

将除所述下级内容页节点的所有初始子节点确定下级为未知节点。

4.根据权利要求2或3所述的方法，其中，所述下级未知节点与所述下下级未知节点之间不存在重复节点。

5.根据权利要求1所述的方法，其中，所述基于所述中间节点确定列表页节点包括：

对所述中间节点进行去重；

将去重后的所述中间节点作为列表页节点。

6.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至5中任一项所述的方法。

7.一种用于确定列表页节点的设备，其中，该设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至5中任一项所述方法的操作。

Images