CN109902182A - 知识数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种知识数据处理方法、装置、设备及存储介质。所述方法包括：确定待抓取的目标网址信息；根据所述目标网址信息，抓取目标网页数据；对所述目标网页数据进行处理，以得到目标网页中的知识数据。采用本发明实施例的技术方案可以批量的将知识数据提交进入平台，为知识图谱的构建提供了结构化良好的海量数据，通过对知识数据的自动引入可以极大的简便站长对数据处理策略的管理，同时数据的更新由数据提供方控制，使得时效性得到保证。

Description

知识数据处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种知识数据处理方法、装置、设备及存储介质。

背景技术

知识大量存在于非结构化的文本数据、大量半结构化的表格和网页以及生产系统的结构化数据中。知识图谱的构建需要海量的数据，数据来源多种多样，包括站点运营、人工标注等，传统的数据获取方法是一个数据源通过一个定时任务例行获取，时效性难以保证，通过离线excel或模块配置进行维护导致一致性难以保证；通常百科类站点和各种垂直站点的结构化数据质量普遍偏高，但是更新比较慢，为了提高搜索质量，特别是提供如对话搜索和复杂问答等新的搜索体验，不仅要求知识图谱包含大量高质量的常识性知识，还要求及时发现并添加新的知识，在这种背景下，对数据的时效性和一致性提出了极高的要求。

发明内容

鉴于上述问题，本发明实施例中提供了一种知识数据处理方法、装置、设备及存储介质，以实现及时发现并添加新的知识数据。

第一方面，本发明实施例中提供了一种知识数据处理方法，包括：

确定待抓取的目标网址信息；

根据所述目标网址信息，抓取目标网页数据；

对所述目标网页数据进行处理，以得到目标网页中的知识数据。

第二方面，本发明实施例中还提供了一种知识数据处理装置，包括：

网址信息确定模块，用于确定待抓取的目标网址信息；

网页数据抓取模块，用于根据所述目标网址信息，抓取目标网页数据；

知识数据确定模块，用于对所述目标网页数据进行处理，以得到目标网页中的知识数据。

第三方面，本发明实施例中还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中提供的知识数据处理方法。

第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中提供的知识数据处理方法。

本发明实施例的技术方案通过确定待抓取的目标网址信息；根据所述目标网址信息，抓取目标网页数据；对所述目标网页数据进行处理，以得到目标网页中的知识数据，可以批量的将知识数据提交进入平台，为知识图谱的构建提供了结构化良好的海量数据，通过对知识数据的自动引入可以极大的简便站长对数据处理策略的管理，同时数据的更新由数据提供方控制，使得时效性得到保证。

上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例一中提供的一种知识数据处理方法的流程示意图；

图2是本发明实施例二中提供的一种知识数据处理方法的流程示意图；

图3是本发明实施例三中提供的一种知识数据处理方法的流程示意图；

图4是本发明实施例三中提供的一种知识数据处理的操作示意图；

图5是本发明实施例三中提供的另一种知识数据处理的操作示意图；

图6是本发明实施例四中提供的一种知识数据处理装置的结构示意图；

图7是本发明实施例五中提供的一种设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例，虽然附图中显示了本发明的示例性实施例，然而可以理解是，此处所描述的示例性实施例仅用于解释本发明，而非对本发明的限定。相反，本发明提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。另外，还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性的实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然，流程图将各项操作(或步骤)描述成顺序的处理，但是，其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本发明实施例一中提供的一种知识数据处理方法的流程示意图，本实施例可适用于引入知识数据引入的情况，例如，在构建知识图谱时向通用平台引入知识数据的场景。该方法可以由知识数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的设备上，该设备可以为服务器。

如图1所示，本发明实施例中提供的知识数据处理方法可以包括：

S101、确定待抓取的目标网址信息。

在本实施例中，各网址信息可以存储于链接库中，链接库中的网址信息具有抓取条件和/或抓取周期，可以根据各网址信息的抓取条件和/或抓取周期，从多个网址信息中选择待抓取的目标网址信息。其中，网址信息可以是统一资源定位符(URL，UniversalResource Locator)。

在本实施例中，可以通过根据业务方的不同抓取需求，分别为每个可被抓取的网址信息配置抓取调度条件和/或抓取周期，能够实现不同网址信息的个性化抓取，相比于通过配置浏览器实现批量的同步抓取，增加了灵活度。

在本实施例的一种可选方式中，确定待抓取的目标网址信息可以包括：若检测到链接库中包括的网址信息符合调度条件，则将网址信息作为待抓取的目标网址信息。

在本实施方式中，链接库中包括的网址信息可以从用户提交的网页地图数据中提取得到。网页地图可以用于提供给网络爬虫抓取网页使用。在接收到用户提交的网页地图数据，可以从网页地图数据中提取出网页地图数据中包含的网址信息，并将提取的网址信息存储在预先创建的链接库。

在本实施方式中，链接库中的网址信息并不一定符合调度条件，可能存在某些网址信息不符合调度条件。为此，在确定待抓取的目标网址信息时，可以检测链接库中包括的网址信息是否符合预设的调度条件。可选的，可以按照预设的选取策略检测链接库中包括的网址信息是否符合预设的调度条件，以便从链接库中选取符合调度条件的网址信息。若检测到链接库中包括的网址信息符合调度条件，则从链接库中选取符合预设调度条件的网址信息，并作为待抓取的目标网址信息。若检测到链接库中包括的网址信息不符合调度条件，则不执行抓取该不符合预设调度条件的网址信息的操作。其中，调度条件可以包括正常调度、重试调度、子链调度和干预调度中的至少一项。

在本实施方式中，采用上述方式可以根据用户的个性化需求设置个性化的调度条件，以便根据设置的调度条件从链接库中选取符合调度条件的网址信息，从而可以根据用户的个性化需求抓取网页数据，以从网页中得到符合要求的知识数据。

S102、根据目标网址信息，抓取目标网页数据。

在本实施例中，在确定待抓取的目标网址信息后，可以依据目标网址信息查找目标网页，并从目标网页上抓取目标网页数据。其中，网页数据中的各个数据可以是根据业务方结构化的数据需求预先处理得到的结构化数据。可选的，可以依据目标网址信息生成对应的目标抓取请求，然后根据生成的目标抓取请求可以从目标网页抓取目标网页数据。

S103、对目标网页数据进行处理，以得到目标网页中的知识数据。

在本实施例中，在抓取到目标网页数据后，可以对抓取的目标网页数据进行处理，并根据对目标网页数据的处理结果得到目标网页中知识数据，以便业务方可以根据结构化的知识数据建库，用于构建知识图谱。可选的，在抓取到目标网页数据后，可以确定抓取的目标网页数据的优先级，依据抓取到的目标网页数据的优先级，依次对目标网页数据进行处理。

本发明实施例中的技术方案，通过确定待抓取的目标网址信息；根据所述目标网址信息，抓取目标网页数据；对所述目标网页数据进行处理，以得到目标网页中的知识数据，可以批量的将知识数据提交进入平台，为知识图谱的构建提供了结构化良好的海量数据，通过对知识数据的自动引入可以极大的简便站长对数据处理策略的管理，同时数据的更新由数据提供方控制，使得时效性得到保证。

实施例二

图2是本发明实施例二中提供的一种知识数据处理方法的流程示意图，本实施例在上述实施例的基础上进行优化，本实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，本发明实施例中提供的知识数据处理方法可以包括：

S201、确定待抓取的目标网址信息。

在本实施例中，确定待抓取的目标网址信息，包括：若检测到链接库中包括的网址信息符合调度条件，则将该网址信息作为待抓取的目标网址信息。

S202、根据目标网址信息，抓取目标网页数据。

S203、确定目标网页数据所属的数据类型。

在本实施例中，在抓取到目标网页数据后，可以对抓取的目标网页数据进行数据解析，确定目标网页数据所属的数据类型。其中，目标网页数据的数据类型可以为网页内容数据或网页索引数据。

S204、若数据类型是网页内容数据，则将目标网页数据与业务方的知识数据结构进行匹配。

在本实施例中，业务方的知识数据结构所需求的数据格式可以根据业务方的需求进行预先设定。例如，业务方可以根据实际情况将业务方的知识数据结构的需求格式设置为xml格式、json格式、文本格式和透传格式中的至少一种。

在本实施例中，目标网页数据的数据格式可以为xml格式、json格式、文本格式和透传格式中的至少一种。在确定目标网页数据所属的数据类型是网页内容数据后，可以对目标网页数据与业务方的知识数据结构进行匹配处理。可选的，可以依据目标网页数据的数据格式与业务方的知识数据结构所需求的数据格式，对目标网页数据与业务方的知识数据结构进行匹配处理，以确定目标网页数据与业务方的知识数据结构是否能够匹配成功。若目标网页数据的数据格式与业务方的知识数据结构所需求的数据格式一致，则确定目标网页数据与业务方的知识数据结构匹配成功；若目标网页数据的数据格式与业务方的知识数据结构所需求的数据格式不一致，则确定目标网页数据与业务方的知识数据结构匹配不成功。

示例性的，以业务方的知识数据结构需求的数据格式为json格式为例，如果确定目标网页数据所属的数据类型是网页内容数据，则可以确定目标网页数据的数据格式，依据目标网页数据的数据格式与业务方的知识数据结构需求的数据格式，对目标网页数据与业务方的知识数据结构进行匹配处理。若目标网页数据的数据格式为json格式，表明目标网页数据的数据格式与业务方的知识数据结构所需求的数据格式一致，则确定目标网页数据与业务方的知识数据结构匹配成功；若目标网页数据的数据格式不为json格式，表明目标网页数据的数据格式与业务方的知识数据结构所需求的数据格式不一致，则确定目标网页数据与业务方的知识数据结构匹配不成功。

S205、若匹配成功，则确定目标网页数据是该业务方需要的知识数据，以使业务方得到目标网页中的知识数据。

在本实施例中，若匹配成功，则确定目标网页数据是该业务方需要的知识数据，从而可以使得业务方得到目标网页中的知识数据，保证业务方可以依据得到的知识数据构建知识图谱。若匹配不成功，则确定目标网页数据不是该业务方需要的知识数据。

在本实施例中，采用上述方式可以在抓取到目标网页数据后，对目标网页数据的数据类型进行确定，并根据数据类型进行相应的处理，例如在确定数据类型为网页内容数据后，可以对目标网页数据与业务方的知识数据结构进行匹配，以便可以将匹配成功的目标网页数据确定为业务方需要的知识数据，从而可以保证业务方得到符合要求的知识数据，极大的简便了站长对网页数据处理策略的管理，对数据的解析抽取较为简单，极大提高了数据引入率。

在本实施例的一种可选方式中，确定目标网页数据是该业务方需要的知识数据之后，还可以包括：向该业务方发送目标网页数据。

在本实施方式中，在确定目标网页数据是该业务方需要的知识数据后，可以将该符合业务方知识结构要求的目标网页数据发送到业务方，以便业务方可以从目标网页数据中得到目标网页中的知识数据，进而可以根据结构化良好的知识数据建库，以及用于构建知识图谱。

在本实施例的一种可选方式中，在确定目标网页数据所属的数据类型之后，还可以包括：

若数据类型是网页索引数据，则提取目标网页数据中包括的子网址信息；

将提取的子网址信息添加到链接库中。

在本实施方式中，目标网页数据所属的数据类型可以网页内容数据，也可以是网页索引数据。若确定目标网页数据的数据类型是网页索引数据，则可以从目标网页数据中提取目标网页数据包括的子网址信息。在提取得到子网址信息后，可以将提取的子网址信息添加到链接库中，以便后续可以根据链接库中添加的子网址信息确定为待抓取的目标网址信息，并根据目标网址信息执行抓取目标网页数据等操作。

在本实施方式中，可选的，将提取的子网址信息添加到链接库中后，可以将添加的子网址信息作为链接库中的网址信息。若检测到链接库中包括的子网址信息符合调度条件，则将该子网址信息作为待抓取的目标网址信息，后续继续执行本实施例的后续相关操作，以得到知识数据。

在本实施例的一种可选方式中，本发明实施例中提供的知识数据处理方法还可以包括：

获取数据提供方上报的结构化网页数据，并对数据提供方的用户身份进行校验；若身份校验通过，则对结构化网页数据进行处理，以得到网页中的知识数据。

在本实施方式中，对结构化网页数据进行处理，可以包括：确定该结构化网页数据所属的数据类型；若该结构化网页数据所属的数据类型是网页内容数据，则将该结构化网页数据所属的数据类型与业务方的知识数据结构进行匹配；若匹配成功，则确定该结构化网页数据所属的数据类型是该业务方需要的知识数据。可以理解的是，本实施方式中对结构化网页数据进行处理的具体操作与前述实施例中对目标网页数据进行处理的操作相同或相似，这里不再加以赘述。

在本实施方式中，在确定结构化网页数据所属的数据类型是该业务方需要的知识数据之后，还可以包括：向该业务方发送该结构化网页数据。可以理解的是，本实施方式中向该业务方发送该结构化网页数据的具体操作与前述实施例中向该业务方发送目标网页数据的操作相同或相似，这里不再加以赘述。

在本实施方式中，在确定结构化网页数据所属的数据类型之后，还可以包括：若该结构化网页数据是网页索引数据，则提取该结构化网页数据中包括的子网址信息；将提取的子网址信息添加到链接库中。可以理解的是，本实施方式的具体操作与前述实施例中相关的操作相同或相似，这里不再加以赘述。

本发明实施例不仅可以主动或定时批量的将知识数据提交进入平台，为知识图谱的构建提供了结构化良好的海量数据，通过对知识数据的自动引入可以极大的简便站长对数据处理策略的管理，数据的更新由数据提供方控制，可以使得时效性得到保证，并且在抓取到目标网页数据后可以对目标网页数据进行处理，实现高效高质的引入结构化的知识数据。

实施例三

图3是本发明实施例三中提供的一种知识数据处理方法的流程示意图。本实施例在上述实施例的基础上，提供了一种具体实施例。如图3所示，本发明实施例中提供的知识数据处理方法可以包括：

S301、若检测到链接库中包括的网址信息符合调度条件，则将网址信息作为待抓取的目标网址信息。

在本实施例中，在接收到站长提交的网页地图数据以及附件相关属性后，经过校验审核可以将网页地图数据存入链接库，例如mysql链接库。图4是本发明实施例三中提供的一种知识数据处理的操作示意图。参见图4，在调度操作过程中，可以检测链接库中包含的网址信息是否符合调度条件，若检测到链接库中包括的网址信息符合调度条件，则从链接库中筛选出符合条件的网址信息作为待抓取的目标网址信息。

S302、根据目标网址信息，抓取目标网页数据。

在本实施例中，参见图4，在抓取操作过程中，可以根据目标网址信息发起目标抓取请求，并依据目标抓取请求抓取对应网页的目标网页数据。在抓取到目标网页数据后，在校验操作过程中，可以对目标网页数据进行校验，并获取目标网页数据的优先级，以使后续可以依据目标网页数据的优先级对目标网页数据进行数据处理操作。

S303、确定目标网页数据所属的数据类型。

在本实施例中，参见图4，在处理操作过程中，可以对目标网页进行数据处理操作，具体可以先确定目标网页数据的所属数据类型，然后根据目标网页数据所属的数据类型选择进行子网址处理操作，还是下发操作。

S304、若数据类型是网页内容数据，则将目标网页数据与业务方的知识数据结构进行匹配。

S305、若匹配成功，则确定目标网页数据是该业务方需要的知识数据，以使业务方得到目标网页中的知识数据。

在本实施例中，参见图4，若目标网页数据所属的数据类型为网页内容数据，则进入下发操作。在下发操作过程中，可以依据目标网页数据的数据格式从下游的业务方中查找符合条件的业务方。即可以依据目标网页数据的数据格式与业务方的知识数据结构对应的数据格式，将目标网页数据与各个业务方的知识数据结构进行匹配，以确定目标网页数据与下游的哪个业务方的知识数据结构相匹配。例如，可以将目标网页数据由当前的数据格式解析为与业务方的知识数据结构相匹配的数据格式。若匹配成功，则确定目标网页数据是该业务方需要的知识数据，将目标网页数据下发到该业务方，以使业务方得到目标网页中的知识数据。

在本实施例中，参见图4，可以根据对目标网页数据的数据处理操作，例如对目标网页数据所属数据类型的校验和将目标网页数据解析为与业务方匹配的数据格式。此外，可以根据对目标网页数据的数据处理操作的结果生成错误信息，并将错误信息存储到错误信息数据库中，例如用于存储错误信息的mysql数据库，通过前端查询或者接口，可以找到对应目标网页数据的错误详情。

S306、若数据类型是网页索引数据，则提取目标网页数据中包括的子网址信息。

S307、将提取的子网址信息添加到链接库中。

在本实施例中，参见图4，若目标网页数据所属的数据类型为网页索引数据，则进入子网址处理操作。在子网址处理操作过程中，可以从目标网页数据中提取子网址信息，并将提取的子网址信息回传添加到链接库中进行存储，以便后续可以使用链接库中存储的子网址信息进行后续的调度、抓取、校验、处理等操作。

在本实施例的一种可选方式中，本发明实施例中提供的知识数据处理方法还可以包括：

获取数据提供方上报的结构化网页数据，并对数据提供方的用户身份进行校验；若身份校验通过，则对结构化网页数据进行处理，以得到网页中的知识数据。

在本实施方式中，数据提供方上报的网页数据可以为结构化良好、数据精准以及领域明确的结构化网页数据，这类数据可以满足业务方的需求，以及提升业务方的体验，同时管理员可以上报的这类数据进一步完善数据质量和覆盖率。图5是本发明实施例三中提供的另一种知识数据处理的操作示意图。参见图5，结构化网页数据的存储可以采用分布式文档存储数据库，例如MongoDB数据库。

在本实施方式中，在接收到的结构化网页数据获取请求后，可以对结构化网页数据获取请求进行分发、负载均衡以及协议过滤处理，并依据结构化网页数据获取请求获取数据提供方上报的结构化网页数据。参见图5，可以采用Nginx对结构化网页数据获取请求进行分发、负载均衡以及协议过滤处理。

在本实施方式中，Swoole服务可以接收结构化网页数据获取请求。依据结构化网页数据获取请求可以对数据提供方的用户身份进行校验。如果数据提供方的用户身份校验通过，则将接收结构化网页数据，并对结构化网页数据进行处理，以得到网页中的知识数据。如果数据提供方的用户身份校验不通过，则接收结构化网页数据。

在本实施方式中，参见图5，在对结构化网页数据进行处理后，可以将结构化网页数据通过Kafka集群下发到业务方，以使业务方可以从结构化网页数据中得到知识数据。具体如何结构化网页数据进行处理可以参见前述实施例的方案，这里不再加以赘述。另外，在对结构化网页数据进行处理后，还可以将对结构化网页数据的处理结果存储至数据库，例如Mysql数据库，以便后续可以在数据库中查询对结构化网页数据的处理结果，针对数据库中存储的错误的结结构化数据修改后再次提交，以及后续向外部展示推送数据库中存储的对结构化网页数据的处理结果。

在本实施方式中，采用上述方式可以使得数据提供方通过主动提交(实时流式)方式，将源数据提交进入平台，为知识图谱的构建提供了结构化良好的海量数据，通用数据引入平台极大的简便了站长对处理策略的管理，站长主动提交数据高效高质，对数据的解析抽取较为简单，极大提高数据引入效率。

在本实施方式中，参见图5，在对结构化网页数据进行处理后，可以得到日志信息，并对日志信息进行分析处理，最后日志分析结果存储在图5所示的Mysql数据库。

本发明实施例不仅可以主动或定时批量的将知识数据提交进入平台，为知识图谱的构建提供了结构化良好的海量数据，通过对知识数据的自动引入可以极大的简便站长对数据处理策略的管理，数据的更新由数据提供方控制，可以使得时效性得到保证，并且在抓取到目标网页数据后可以对目标网页数据进行处理，实现高效高质的引入结构化的知识数据。

实施例四

图6是本发明实施例四中提供的一种知识数据处理装置的结构示意图，本实施例可适用于引入知识数据引入的情况，例如，在构建知识图谱时向通用平台引入知识数据的场景。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的设备上，该设备可以为服务器。

如图6所示，本发明实施例中提供的知识数据处理装置可以包括：网址信息确定模块601、网页数据抓取模块602和知识数据确定模块603。其中：

网址信息确定模块601，用于确定待抓取的目标网址信息；

网页数据抓取模块602，用于根据所述目标网址信息，抓取目标网页数据；

知识数据确定模块603，用于对所述目标网页数据进行处理，以得到目标网页中的知识数据。

在上述实施例的基础上，可选的，网址信息确定模块601可以包括：

网址信息确定单元，用于若检测到链接库中包括的网址信息符合调度条件，则将所述网址信息作为待抓取的目标网址信息。

在上述实施例的基础上，可选的，知识数据确定模块603可以包括：

数据类型确定单元，用于确定所述目标网页数据所属的数据类型；

数据结构匹配单元，用于若所述数据类型是网页内容数据，则将所述目标网页数据与业务方的知识数据结构进行匹配；

知识数据确定单元，用于若匹配成功，则确定目标网页数据是该业务方需要的知识数据。

在上述实施例的基础上，可选的，知识数据确定模块601还可以包括：

网页数据发送单元，用于向该业务方发送目标网页数据。

在上述实施例的基础上，可选的，知识数据确定模块603还可以包括：

子网址信息提取单元，用于若所述数据类型是网页索引数据，则提取所述目标网页数据中包括的子网址信息；

子网址信息添加单元，用于将提取的子网址信息添加到链接库中。

在上述实施例的基础上，可选的，所述装置还可以包括：

网页数据获取模块604，用于获取数据提供方上报的结构化网页数据，并对数据提供方的用户身份进行校验；

网页数据处理模块605，若身份校验通过，则对所述结构化网页数据进行处理，以得到网页中的知识数据。

本发明实施例中所提供的知识数据处理装置可执行上述本发明任意实施例中所提供的知识数据处理方法，具备执行该知识数据处理方法相应的功能模块和有益效果。

实施例五

图7是本发明实施例中提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备712的框图。图7中显示的设备712仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，设备712以通用计算设备的形式表现。设备712的组件可以包括但不限于：一个或者多个处理器716，系统存储器728，连接不同系统组件(包括系统存储器728和处理器716)的总线718。

总线718表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备712典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备712访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器728可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)730和/或高速缓存存储器732。设备712可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统734可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管在图7中并未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线718相连。存储器728可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块742的程序/实用工具740，可以存储在例如存储器728中，这样的程序模块742包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块742通常执行本发明所描述的实施例中的功能和/或方法。

设备712也可以与一个或多个外部设备714(例如键盘、指向设备、显示器724等)通信，还可与一个或者多个使得用户能与设备712交互的设备通信，和/或与使得该设备712能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口722进行。并且，设备712还可以通过网络适配器720与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器720通过总线718与设备712的其它模块通信。应当明白，尽管图7中未示出，可以结合设备712使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器716通过运行存储在系统存储器728中的程序，从而执行各种功能应用以及数据处理，例如，实现本发明实施例中所提供的知识数据处理方法，该方法包括：

确定待抓取的目标网址信息；

根据所述目标网址信息，抓取目标网页数据；

对所述目标网页数据进行处理，以得到目标网页中的知识数据。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例中所提供的知识数据处理方法中的技术方案。

实施例六

本发明实施例六中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中提供的知识数据处理方法，该方法包括：

确定待抓取的目标网址信息；

根据所述目标网址信息，抓取目标网页数据；

对所述目标网页数据进行处理，以得到目标网页中的知识数据。

当然，本发明实施例中所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的知识数据处理方法的操作，还可以执行本发明任意实施例中所提供的知识数据处理方法中的相关操作，且具备相应的功能和有益效果。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种知识数据处理方法，其特征在于，包括：

确定待抓取的目标网址信息；

根据所述目标网址信息，抓取目标网页数据；

对所述目标网页数据进行处理，以得到目标网页中的知识数据。

2.根据权利要求1所述的方法，其特征在于，确定待抓取的目标网址信息，包括：

若检测到链接库中包括的网址信息符合调度条件，则将所述网址信息作为待抓取的目标网址信息。

3.根据权利要求1所述的方法，其特征在于，对所述目标网页数据进行处理，包括：

确定所述目标网页数据所属的数据类型；

若所述数据类型是网页内容数据，则将所述目标网页数据与业务方的知识数据结构进行匹配；

若匹配成功，则确定目标网页数据是该业务方需要的知识数据。

4.根据权利要求3所述的方法，其特征在于，确定目标网页数据是该业务方需要的知识数据之后，还包括：

向该业务方发送目标网页数据。

5.根据权利要求3所述的方法，其特征在于，确定所述目标网页数据所属的数据类型之后，还包括：

若所述数据类型是网页索引数据，则提取所述目标网页数据中包括的子网址信息；

将提取的子网址信息添加到链接库中。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取数据提供方上报的结构化网页数据，并对数据提供方的用户身份进行校验；

若身份校验通过，则对所述结构化网页数据进行处理，以得到网页中的知识数据。

7.一种知识数据处理装置，其特征在于，包括：

网址信息确定模块，用于确定待抓取的目标网址信息；

网页数据抓取模块，用于根据所述目标网址信息，抓取目标网页数据；

知识数据确定模块，用于对所述目标网页数据进行处理，以得到目标网页中的知识数据。

8.根据权利要求7所述的装置，其特征在于，网址信息确定模块包括：

网址信息确定单元，用于若检测到链接库中包括的网址信息符合调度条件，则将所述网址信息作为待抓取的目标网址信息。

9.根据权利要求7所述的装置，其特征在于，知识数据确定模块包括：

数据类型确定单元，用于确定所述目标网页数据所属的数据类型；

数据结构匹配单元，用于若所述数据类型是网页内容数据，则将所述目标网页数据与业务方的知识数据结构进行匹配；

知识数据确定单元，用于若匹配成功，则确定目标网页数据是该业务方需要的知识数据。

10.根据权利要求9所述的装置，其特征在于，知识数据确定模块还包括：

网页数据发送单元，用于向该业务方发送目标网页数据。

11.根据权利要求9所述的装置，其特征在于，知识数据确定模块还包括：

子网址信息提取单元，用于若所述数据类型是网页索引数据，则提取所述目标网页数据中包括的子网址信息；

子网址信息添加单元，用于将提取的子网址信息添加到链接库中。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

网页数据获取模块，用于获取数据提供方上报的结构化网页数据，并对数据提供方的用户身份进行校验；

网页数据处理模块，若身份校验通过，则对所述结构化网页数据进行处理，以得到网页中的知识数据。

13.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-6中任一所述的知识数据处理方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一所述的知识数据处理方法。