CN110083754A - 结构变化网页的自适应数据抽取方法 - Google Patents

Abstract

本发明提供一种结构变化网页的自适应数据抽取方法，包括：采集网页抽取数据，判断所述网页抽取数据是否异常；当网页抽取数据出现异常时，选取若干个出现异常前的已抽取网页，并获取其已抽取的内容；根据所述已抽取的内容，获取已抽取内容的核心语义；将所述核心语义与出现异常后的当前网页每个节点的信息进行相似度对比，获取最匹配节点；重复上述步骤，直至完成选取的所有已抽取网页与对应的当前网页的内容的相似度判断；根据相似度判断结果，确定所有与已抽取的内容对应的当前网页中的内容位置，进而获取采集路径，完成自适应数据抽取；本发明提高了自动化网页抽取方法抗风险能力，具有更高的稳定性，可以应对复杂多变的网络环境。

Description

结构变化网页的自适应数据抽取方法

技术领域

本发明涉及计算机应用领域，尤其涉及一种结构变化网页的自适应数据抽取方法。

背景技术

网页中的数据结构一般是隐藏于各个网页中，同结构的网页中拥有大量的一类数据，现有技术中已经有很多网页数据提取方法，其中，最简单的方法是针对每种类型的网站编写特定的模板，但是这种方式的工作量巨大，为了减少工作量，在2010年，东北大学的聂铁铮等3人，发表了——基于可扩展标记语言查询的网页数据抽取方法，这种方式使得网页数据抽取的工作量减少，自动化提高，在2014年，南京大学的黄宜华等人发表了——一种全程化的Web信息抽取集成方法，该方法通过分析网页结构，解析数据，使得网页提取的自动化与准确率进一步提高。

目前，虽然网页数据自动化提取方法已经成熟，但是还没有专门针对自动化网页抽取方法抗风险能力和稳定性的解决方案，一旦同一类网页数据结构在提取数据的过程中发生改变，那么之前自动生成的数据抽取方法将变得毫无意义，因此需要一种新的技术手段，可以提高自动化网页抽取方法抗风险能力和稳定性。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种结构变化网页的自适应数据抽取方法，以解决上述技术问题。

本发明提供的结构变化网页的自适应数据抽取方法，包括：

采集网页抽取数据，判断所述网页抽取数据是否异常；

当网页抽取数据出现异常时，选取若干个出现异常前的已抽取网页，并获取其已抽取的内容；

根据所述已抽取的内容，获取已抽取内容的核心语义；

将所述核心语义与出现异常后的当前网页每个节点的信息进行相似度对比，获取最匹配节点；

重复上述步骤，直至完成选取的所有已抽取网页与对应的当前网页的内容的相似度判断；

根据相似度判断结果，确定所有与已抽取的内容对应的当前网页中的内容位置，进而获取采集路径，完成自适应数据抽取。

可选的，通过数据抽取规则获取采集路径，所述数据抽取规则包括原始文档对象模型树从某个节点到采集信息节点的路径信息、执行路径时每一步的操作信息以及原始文档对象模型的属性信息。

可选的，获取数据抽取的绝对路径，对所述原始文档对象模型树进行重构，

当在所述绝对路径中获取到具有唯一身份标识的的类或对象时，其特征在于，则选取所述唯一性的类或对象对应的节点作为采集路径的起始点，进行数据抽取，否则，选取所述绝对路径作为数据抽取的路径。

可选的，预先设置抽取异常阈值，获取有效数据量与需要抽取数据的比值，当所述有效数据量与需要抽取数据的比值低于所述阈值时，判定数据抽取异常。

可选的，预设若干级预警等级，当所述有效数据量与需要抽取数据的比值低于所述阈值时，则预警等级升高一级，当所述有效数据量与需要抽取数据的比值高于所述阈值时，则降低一级，当预警等级达到最高级时，则判定数据抽取异常。

可选的，所述阈值通过如下公式获取：

e^-λ(n-1)

其中，n为网页抽取的数量，λ为调整系数。

可选的，随机抽取若干个已抽取网页，并获取其已抽取的内容，对所述已抽取的内容进行预处理，获取已抽取内容的核心语义，所述预处理至少包括：分词处理、词性还原处理和词干提取处理。

可选的，将所述核心语义与当前网页的中每个节点的文本信息和/或图片信息进行余弦相似度判定，根据判定结果获取所述最匹配的文本节点。

可选的，对当前网页中的所有抽取内容进行相似度判定，并分别计算其各自的权重，将权重占比最高的节点，作为当前网页的内容位置。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述方法。

本发明还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。

本发明的有益效果：本发明中的结构变化网页的自适应数据抽取方法，通过预设的触发条件，来判定网页的数据结构是否改变，当数据结构发生改变时，通过之前采集网页的内容，自动推导新的数据抽取方法，在不停止网页数据抽取的情况下，自动判定变化后的内容所在新的位置，并重新生成抽取规则，继续抽取数据，本发明在保证了网页提取的自动化与准确率的基础上，提高了自动化网页抽取方法抗风险能力，具有更高的稳定性，可以应对复杂多变的网络环境。

附图说明

图1是本发明实施例中结构变化网页的自适应数据抽取方法的流程示意图。

图2是本发明实施例中结构变化网页的自适应数据抽取方法的抽取异常判定流程图。

图3是本发明实施例中结构变化网页的自适应数据抽取方法的内容位置再确认流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图1所示，本实施例中的结构变化网页的自适应数据抽取方法，包括：

S1.采集网页抽取数据，判断所述网页抽取数据是否异常；

S2.当网页抽取数据出现异常时，选取若干个出现异常前的已抽取网页，并获取其已抽取的内容；

S3.根据所述已抽取的内容，获取已抽取内容的核心语义；

S4.将所述核心语义与出现异常后的当前网页每个节点的信息进行相似度对比，获取最匹配节点；

S5.重复上述步骤，直至完成选取的所有已抽取网页与对应的当前网页的内容的相似度判断；

S6.根据相似度判断结果，确定所有与已抽取的内容对应的当前网页中的内容位置，进而获取采集路径，完成自适应数据抽取。

在本实施例中，首先判定数据抽取是否异常，如果发生抽取异常，则随机重新访问之前的网页，对比确定相似内容，再根据内容重新生成抽取规则。

在本实施例中，步骤S1中判断网页抽取数据出现异常的具体步骤如下：

S11、针对某个网页抽取数据时，预先设置抽取异常阈值，当有效数据量与需要抽取数据的比值低于所述阈值时，判定数据抽取异常，可选的，本实施例中的阈值通过如下公式获取：

e^-λ(n-1)

其中，n为网页抽取的数量，λ为调整系数，

调整系数可以根据具体情况调整，本实施例中调整系数默认为0.3，当然阈值也可以通过用户自定义的方式设置，例如采用默认为0.6。

S12、预设若干级预警等级，当所述有效数据量与需要抽取数据的比值低于所述阈值时，则预警等级升高一级，当高于所述阈值时，则降低一级，当预警等级达到最高级时，则判定数据抽取异常，在实施例中，预设5级预警等级，如果低于阈值，则增加预警级别，一次抽取异常增加一级，如果抽取正常则减少一级，最低1级，最高5级，即如果连续5次抽取网页数据发生异常，则触发异常模式，判定流程如图2所示。

如图3所示，当触发异常模式后，在本实施例中，将随机抽取8至10个已经抽取过的网页，获取已经抽取的内容；将其中的文本内容通过一系列的预处理，如分词、词性还原、词干提取等，获取已抽取文本的核心语义；同时通过同一个网页链接，获取到当前网页的内容；然后将这些语义与现在网页中每个节点的文本信息进行余弦相似度判定，找出最匹配的文本节点，当然除了文本信息也可以通过图片信息进行已抽取网页与当前网页之间相应的映射关系的建立；重复上述步骤，直至完成所有抽选网页的内容相似度判定，并按照权重，得分最高的节点即为新网页下的内容位置。

在本实施例中，数据抽取规则即为原始DOM(Document Object Model，文档对象模型)树从某个节点到采集信息节点的路径，这条路径包含每一步需要进行的操作以及相关DOM树的属性。本实施例中的路径构建采用相对路径与绝对路径相辅相成的方法，传统的路径构建通常采用的是从html标签开始，一直到采集内容节点为止的绝对路径，这种方式对于当前的网页结构有时无法适用，如果当前网页是动态生成的，样本网页的绝对路径不一定适用于某些动态网页，同时针对网页的小范围改动，例如在网页某个块中增加广告代码段，绝对路径也不能很好的适应，本实施例通过数据抽取规则获取采集路径，获取数据抽取的绝对路径，对所述原始文档对象模型树进行重构，当在所述绝对路径中获取到具有唯一身份标识的的类或对象时，则选取所述唯一性的类或对象对应的节点作为采集路径的起始点，进行数据抽取，否则，选取绝对路径作为数据抽取的路径，本实施例通过选用相对路径与绝对路径结合的方式。通过重构的DOM树，能够迅速的从绝对路径节点中选出具有唯一性的class或者id值，如果绝对路径中拥有这样的节点，那么采集路径可以直接这些节点开始，否则，路径选用绝对路径。

下面以一个具体网页抽取的实施例，做进一步的说明：

1.用户访问具体的某个样本网页链接，如

https://new.qq.com/omn/20190104/20190104A03VP6.html；

2.发现部分抽取内容，无法获取，如标题“文化建设，持续释放创新创造活力(全面深化改革这五年)”与发布时间无法抽取，小于了阈值；

3.连续5个网页，标题与发布时间都无法获取，触发异常；

4.选择之前抽取的网页，获取它们的url链接与抽取的内容；

5.根据url获取当前网页的html内容，并将之前抽取的内容与现在网页内容进行相似度对比，根据权重，取得分最高的节点作为抽取内容的新位置；

6.使用绝对路径与相对路径的方法生成抽取路径规则；

7.继续抽取剩余网页的内容。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种结构变化网页的自适应数据抽取方法，其特征在于，包括：

采集网页抽取数据，判断所述网页抽取数据是否异常；

当网页抽取数据出现异常时，选取若干个出现异常前的已抽取网页，并获取其已抽取的内容；

根据所述已抽取的内容，获取已抽取内容的核心语义；

将所述核心语义与出现异常后的当前网页每个节点的信息进行相似度对比，获取最匹配节点；

重复上述步骤，直至完成选取的所有已抽取网页与对应的当前网页的内容的相似度判断；

根据相似度判断结果，确定所有与已抽取的内容对应的当前网页中的内容位置，进而获取采集路径，完成自适应数据抽取。

2.根据权利要求1所述的结构变化网页的自适应数据抽取方法，其特征在于，通过数据抽取规则获取采集路径，所述数据抽取规则包括原始文档对象模型树从某个节点到采集信息节点的路径信息、执行路径时每一步的操作信息以及原始文档对象模型的属性信息。

3.根据权利要求2所述的结构变化网页的自适应数据抽取方法，其特征在于，获取数据抽取的绝对路径，对所述原始文档对象模型树进行重构，

当在所述绝对路径中获取到具有唯一身份标识的的类或对象时，其特征在于，则选取所述唯一性的类或对象对应的节点作为采集路径的起始点，进行数据抽取，否则，选取所述绝对路径作为数据抽取的路径。

4.根据权利要求2所述的结构变化网页的自适应数据抽取方法，其特征在于，预先设置抽取异常阈值，获取有效数据量与需要抽取数据的比值，当所述有效数据量与需要抽取数据的比值低于所述阈值时，判定数据抽取异常。

5.根据权利要求4所述的结构变化网页的自适应数据抽取方法，其特征在于，预设若干级预警等级，当所述有效数据量与需要抽取数据的比值低于所述阈值时，则预警等级升高一级，当所述有效数据量与需要抽取数据的比值高于所述阈值时，则降低一级，当预警等级达到最高级时，则判定数据抽取异常。

6.根据权利要求4所述的结构变化网页的自适应数据抽取方法，其特征在于，所述阈值通过如下公式获取：

e^-λ(n-1)

其中，n为网页抽取的数量，λ为调整系数。

7.根据权利要求1所述的结构变化网页的自适应数据抽取方法，其特征在于，随机抽取若干个已抽取网页，并获取其已抽取的内容，对所述已抽取的内容进行预处理，获取已抽取内容的核心语义，所述预处理至少包括：分词处理、词性还原处理和词干提取处理。

8.根据权利要求1所述的结构变化网页的自适应数据抽取方法，其特征在于，将所述核心语义与当前网页的中每个节点的文本信息和/或图片信息进行余弦相似度判定，根据判定结果获取所述最匹配节点。

9.根据权利要求8所述的结构变化网页的自适应数据抽取方法，其特征在于，对当前网页中的所有抽取内容进行相似度判定，并分别计算其各自的权重，将权重占比最高的节点，作为当前网页的内容位置。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至9中任一项所述方法。

11.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至9中任一项所述方法。