CN110704781A

CN110704781A - 网页解析器

Info

Publication number: CN110704781A
Application number: CN201910942543.8A
Authority: CN
Inventors: 赖路双; 卓泽城
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2020-01-17

Abstract

本申请提出一种网页解析器，属于计算机技术领域。其中，该网页解析器包括：数据接收器，用于接收待解析的数据源，其中，待解析的数据源中包括多种类型的网页数据，并根据多种类型的网页数据生成待解析的数据源对应的数据解析列表；解析器框架，其中，解析器框架包括多层解析器，多层解析器按照层级依次对数据解析列表之中的多种类型的网页数据进行解析，并将解析之后的网页数据从数据解析列表之中删除。由此，通过将多种类型的解析器分层组合以形成分层解析器框架，从而可以对不同类型的数据进行统一解析，不仅降低了开发、运维成本，而且提高了解析效率。

Description

网页解析器

技术领域

本申请涉及计算机技术领域，尤其涉及数据解析技术领域，提出一种网页解析器。

背景技术

随着科技的不断发展，互联网已经深入到人们日常生活的方方面面。如今网络上的数据类型繁多，格式千变万化，如视频数据、新闻数据、评论数据等，这些数据展现格式不一，导致对不同数据格式的数据进行解析，需要不同的解析器，不仅开发、运维成本高，而且解析效率低下。

发明内容

本申请提出的网页解析器，用于解决相关技术中，由于网络上的数据类型繁多，导致对不同数据格式的数据进行解析，需要不同的解析器，不仅开发、运维成本高，而且解析效率低下的问题。

本申请一方面实施例提出的网页解析器，包括：数据接收器，用于接收待解析的数据源，其中，所述待解析的数据源中包括多种类型的网页数据，并根据所述多种类型的网页数据生成所述待解析的数据源对应的数据解析列表；解析器框架，其中，所述解析器框架包括多层解析器，所述多层解析器按照层级依次对所述数据解析列表之中的所述多种类型的网页数据进行解析，并将解析之后的网页数据从所述数据解析列表之中删除。

可选地，在本申请实施例一种可能的实现形式中，所述网页解析器，还包括：

存储器，用于获取所述多层解析器的解析结果，并根据所述解析结果对应的网页数据的类型，将所述解析结果存储至对应的数据库。

可选地，在本申请实施例另一种可能的实现形式中，所述多层解析器中的每层解析器分别具有不同的优先级，并根据所述每层解析器分别对应的优先级，确定所述每层解析器的层级。

可选地，在本申请实施例再一种可能的实现形式中，根据所述每层解析器分别对应的解析准确度、人工成本、硬件成本中的至少一个，确定所述每层解析器分别对应的优先级。

可选地，在本申请实施例又一种可能的实现形式中，所述多层解析器包括第一至第三解析器，其中，所述第一解析器为XPath解析器、所述第二解析器为正则解析器，所述第三解析器为通用解析器。

可选的，在本申请实施例又一种可能的实现形式中，所述解析器框架，还包括：

格式统一化模块，用于对所述多种类型的网页数据进行格式统一化处理。

可选的，在本申请实施例另一种可能的实现形式中，所述每层解析器按照预设的数据抽取规则分别对所述多种类型的网页数据进行抽取，并对抽取到的网页数据进行解析。

上述申请中的任一个实施例具有如下优点或有益效果：通过将多种类型的解析器分层组合以形成分层解析器框架，从而可以对不同类型的数据进行统一解析，不仅降低了开发、运维成本，而且提高了解析效率。通过网页解析器的数据接收器接收包括多种类型的网页数据的待解析的数据源，并根据多种类型的网页数据生成待解析的数据源对应的数据解析列表，进而通过解析器框架中包括的多层解析器，按照层级依次对数据解析列表中的多种类型的网页数据进行解析，并将解析之后的网页数据从数据解析列表中删除，从而克服了对不同数据格式的数据进行解析，需要不同的解析器，不仅开发、运维成本高，而且解析效率低下的问题，进而达到了将多种类型的解析器分层组合以形成分层解析器框架，从而可以对不同类型的数据进行统一解析，不仅降低了开发、运维成本，而且提高了解析效率的技术效果。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例所提供的一种网页解析器的结构示意图；

图2为本申请实施例所提供的另一种网页解析器的结构示意图；

图3为本申请实施例所提供的再一种网页解析器的结构示意图；

图4为本申请实施例所提供的又一种网页解析器的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例针对相关技术中，由于网络上的数据类型繁多，导致对不同数据格式的数据进行解析，需要不同的解析器，不仅开发、运维成本高，而且解析效率低下的问题，提出一种网页解析器。

根据本申请实施例的技术方案，通过网页解析器的数据接收器接收包括多种类型的网页数据的待解析的数据源，并根据多种类型的网页数据生成待解析的数据源对应的数据解析列表，进而通过解析器框架中包括的多层解析器，按照层级依次对数据解析列表中的多种类型的网页数据进行解析，并将解析之后的网页数据从数据解析列表中删除。由此，通过将多种类型的解析器分层组合以形成分层解析器框架，从而可以对不同类型的数据进行统一解析，不仅降低了开发、运维成本，而且提高了解析效率。

下面参考附图对本申请提供的网页解析器进行详细描述。

图1为本申请实施例所提供的一种网页解析器的结构示意图。

如图1所示，该网页解析器，包括：

数据接收器，用于接收待解析的数据源，其中，待解析的数据源中包括多种类型的网页数据，并根据多种类型的网页数据生成待解析的数据源对应的数据解析列表；

解析器框架，其中，解析器框架包括多层解析器，多层解析器按照层级依次对数据解析列表之中的多种类型的网页数据进行解析，并将解析之后的网页数据从数据解析列表之中删除。

需要说明的是，由于不同的网页中通常包含不同类型的网页数据，以及同一网页中也可能包括多种类型的网页数据，而不同类型的网页数据的数据格式不同，从而需要采用不同的解析器对不同类型的网页数据进行解析。本申请实施例的网页解析器融合了多种类型的解析器，从而可以在同一解析器框架中对多种类型的网页数据进行解析，提高了数据解析的效率，降低了开发、运维成本。本申请实施例的网页解析器为虚拟装置，其本质上是一种可以同时对多种类型的网页数据进行统一解析的数据解析方法。

实际使用时，本申请实施例的网页解析器可以配置在任意电子设备中，以对电子设备获取的网页数据进行解析，以使电子设备可以展示获取的网页数据。

在本申请实施例中，网页解析器的数据接收器可以接收待解析的数据源，其中，待解析的数据源中可以包括多种类型的网页数据。比如，待解析的数据源中可以包括视频数据、文章数据、评论数据等类型的网页数据；又如，如果待解析的数据源为发布者发布的一篇文章对应的网页，则待解析的数据源可以包括发布者、发布时间、正文、评论数据等类型的网页数据。

数据接收器在接收到待解析的数据源之后，可以根据待解析的数据源中包括的各类型的网页数据生成待解析的数据源对应的数据解析列表。其中，数据解析列表中包括待解析的数据源中包括的多种类型的网页数据，以使解析器框架可以根据数据解析列表，分别对待解析的数据源中包括的多种类型的网页数据进行解析。

在本申请实施例中，解析器框架可以包括多层解析器，其中，每个解析器具有一定的层级顺序，各层解析器按照层级顺序依次对数据解析列表中的多种类型的网页数据进行解析。

需要说明的是，每层解析器可以对一种或几种类型的网页数据进行解析。具体的，在对待解析的数据源进行解析时，解析器框架的第一层解析器首先根据数据解析列表，获取待解析的数据源，并对其可以解析的网页数据进行抽取，进而第一层解析器对抽取到的网页数据进行解析，并将解析之后的网页数据从数据解析列表中删除，以生成更新后的数据解析列表，之后第二次解析器根据更新后的数据解析列表，获取待解析的数据源，并对其可以解析的网页数据进行抽取，进而第二层解析器对抽取到的网页数据进行解析，并将解析之后的网页数据从更新后的数据解析列表中删除，以再次更新数据解析列表，从而使得后续层级的解析器可以根据再次更新后的数据解析列表对网页数据进行解析，直至数据解析列表为空，或者遍历所有层级的解析器，则可以确定待解析的数据源中包括的各类型的网页数据均已解析完成。

举例来说，若待解析的数据源为一篇文章对应的网页，包括的网页数据为发布者、发布时间、正文数据、评论数据，则生成的数据解析列表中包括发布者、发布时间、正文、评论数据等数据类型的网页数据，解析器框架包括三层解析器，解析器框架的第一层解析器根据数据解析列表，抽取到发布者、发布时间两种类型的网页数据，并对其进行解析，之后将发布者和发布时间从数据解析列表中删除，以生成仅包含正文数据和评论数据的更新后的数据解析列表，第二层解析器根据更新后的数据解析列表，抽取到正文数据并对其进行解析，之后将正文数据从数据解析列表中删除，以生成仅包含评论数据的再次更新后的数据解析列表，第三次解析器根据再次更新后的数据解析列表，抽取到评论数据并对其进行解析，进而将评论数据从数据解析列表中删除，从而完成对待解析的数据源的解析过程。

进一步的，解析器框架中各层解析器可以根据预设的数据抽取规则对待解析的数据源中的多种类型的数据进行抽取。即在本申请实施例一种可能的实现形式中，每层解析器按照预设的数据抽取规则分别对多种类型的网页数据进行抽取，并对抽取到的网页数据进行解析。

在本申请实施例中，可以根据实际的应用场景，确定解析器框架中各层解析器的类型，进而根据每层解析器的类型预设每层解析器对应的数据抽取规则，从而使得每层解析器在根据预设的数据抽取规则对待解析的网页数据进行抽取时，可以抽取到符合其数据抽取规则的网页数据并进行解析；而无法抽取到不符合其数据抽取规则的网页数据。

举例来说，假设解析器框架中包括XPath解析器，用于视频数据的解析，XPath解析器可以按照预设的路径对数据进行抽取，从而可以根据待解析的视频数据的存储路径，预设XPath解析器的数据抽取路径，以使XPath解析器可以根据预设的数据抽取路径抽取到视频数据并进行解析。

需要说明的是，实际使用时，可以首先根据实际的应用场景，确定所需解析的数据类型，进而通过大量的解析测试或者实践经验，确定各类型的网页数据适合的解析器类型，从而确定出解析器框架中包括的各层解析器的类型，并根据各层解析器的本身的特性，预设每层解析器的数据抽取规则，本申请实施例对此不做限定。

另外，若待解析的数据源中增加了新的的数据类型，则可以根据该类型的网页数据的特性，确定用于解析该类型的网页数据的解析器，若解析器框架内未包括该解析器，则可以将该解析器直接增添至解析器框架中，从而实现了网页解析器的通用性，实现了数据解析的统一化。

在本申请一种可能的实现形式中，对待解析的数据源进行解析之前，还可以首先对待解析的数据源中包括的多种类型的网页数据进行格式统一化处理，以便于后续的解析操作，以及解析后数据的使用。

下面结合图2，对本申请实施例提供的网页解析器进行进一步说明。

图2为本申请实施例所提供的另一种网页解析器的结构示意图。

如图2所示，在图1所示实施例的基础上，该网页解析器的解析器框架，还包括：

格式统一化模块，用于对多种类型的网页数据进行格式统一化处理。

在本申请实施例中，数据接收器获取到待解析的数据源，并生成数据解析列表之后，可以首先通过格式统一化模块对多种类型的网页数据进行格式统一化处理，以将多种类型的网页数据的格式统一化为指定格式，以便于后续各层解析器对多种类型的网页数据的解析。

进一步的，在通过解析器框架中的各层解析器对待解析的数据源中包括的多种类型的网页数据进行解析之后，还可以将解析之后的数据进行分类存储，以便于后续使用。即在本申请实施例一种可能的实现形式中，参见图3，在图2所示实施例的基础上，上述网页解析器，还可以包括：

存储器，用于获取多层解析器的解析结果，并根据解析结果对应的网页数据的类型，将解析结果存储至对应的数据库。

其中，存储器中可以包括多个数据库，用于存储不同类型的解析结果，以便于后续对解析结果的调用。

在本申请实施例中，在对待解析的数据源进行解析之后，还可以通过存储器将各层解析器的解析结果进行存储。具体的，可以通过灌库操作将不同类型的网页数据对应的解析结果，存储至存储器中不同的数据库。比如，对于新闻类的网页数据对应的解析结果可以存储至数据库1，对于论坛类的网页数据对应的解析结果可以存储至数据库2，等等。

进一步的，解析器框架中的每层解析器可以具有不同的优先级，并根据每层解析器分别对应的优先级确定每层解析器在解析器框架中的层级。具体的，优先级越高的解析器在解析器框架中的层级越靠前，即优先级最高的解析器在解析器框架中的层级为第一层级。

进一步的，在确定出解析器框架中包括的解析器之后，可以根据各解析器的准确度、人工成本、硬件成本中的至少一个参数，确定各解析器的优先级，进而根据各解析器的优先级确定各解析器在解析器框架中的层级。

优选的，在确定各解析器的优先级时，可以将解析器的准确度作为首要指标，即优先级准确度越高的解析器的优先级越高，从而保证解析器框架的解析准确度。在多个解析器的准确度相同或相近时，可以继续按照各解析器的人工成本、硬件成本等参数确定准确度相同或相近的解析器的优先级。

作为一个示例，如图4所示，本申请实施例多层解析器可以包括第一至第三解析器，其中第一解析器为XPath解析器、第二解析器为正则解析器、第三解析器为通用解析器。

需要说明的是，由于XPath解析器的准确度大于正则解析器的准确度，正则解析器的准确度大于通用解析器的准确度，即XPath解析器的优先级大于正则解析器的优先级，正则解析器的优先级大于通用解析器的优先级，从而XPath解析器处于解析器框架中的第一层级，正则解析器处于解析器框架的第二层级，通用解析器处于解析器框架的第三层级。

根据本申请实施例的技术方案，通过解析器框架中的格式统一化模块对多种类型的网页数据进行格式统一化处理，并通过存储器获取多层解析器的解析结果，以根据解析结果对应的网页数据的类型，将解析结果存储至对应的数据库，并可以根据各解析器的准确度、人工成本、硬件成本中的至少一个参数，确定各解析器的优先级，进而根据各解析器的优先级确定各解析器在解析器框架中的层级。由此，通过将多种类型的解析器分层组合以形成分层解析器框架，并根据各解析器的准确度等确定各解析器的优先级与层级，从而不仅降低了开发、运维成本，提高了解析效率，而且提高了数据解析的准确度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种网页解析器，其特征在于，包括：

数据接收器，用于接收待解析的数据源，其中，所述待解析的数据源中包括多种类型的网页数据，并根据所述多种类型的网页数据生成所述待解析的数据源对应的数据解析列表；

解析器框架，其中，所述解析器框架包括多层解析器，所述多层解析器按照层级依次对所述数据解析列表之中的所述多种类型的网页数据进行解析，并将解析之后的网页数据从所述数据解析列表之中删除。

2.如权利要求1所述的网页解析器，其特征在于，还包括：

3.如权利要求1所述的网页解析器，其特征在于，所述多层解析器中的每层解析器分别具有不同的优先级，并根据所述每层解析器分别对应的优先级，确定所述每层解析器的层级。

4.如权利要求3所述的网页解析器，其特征在于，根据所述每层解析器分别对应的解析准确度、人工成本、硬件成本中的至少一个，确定所述每层解析器分别对应的优先级。

5.如权利要求3所述的网页解析器，其特征在于，所述多层解析器包括第一至第三解析器，其中，所述第一解析器为XPath解析器、所述第二解析器为正则解析器，所述第三解析器为通用解析器。

6.如权利要求1所述的网页解析器，其特征在于，所述解析器框架，还包括：

7.如权利要求1所述的网页解析器，其特征在于，所述每层解析器按照预设的数据抽取规则分别对所述多种类型的网页数据进行抽取，并对抽取到的网页数据进行解析。