CN110674224A - 实体数据的处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种实体数据的处理方法、装置、设备及计算机可读存储介质。本申请实施例通过获取待处理的实体的实体数据，进而，可以根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据，所述数据更新状态包括增加状态、删除状态或修改状态，使得能够根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中，由于不再以实体为最小的数据处理单元，而是以实体的实体属性为最小的数据处理单元，使得无需从数据源获取实体全部完整的实体数据，而是只需要从数据源获取到该实体部分的实体属性数据即可，从而提高了知识库构建的效率和可靠性的降低。

Description

实体数据的处理方法、装置、设备及计算机可读存储介质

【技术领域】

本申请涉及数据处理技术，尤其涉及一种实体数据的处理方法、装置、设备及计算机可读存储介质。

【背景技术】

知识图谱是一个结构化的语义知识库，用符号的形式来描述物理世界各个实体以及实体之间的关系，“实体-属性-属性”三元组是知识图谱最基本的构成单位。知识图谱作为关键技术之一，已被广泛应用于智能搜索、智能问答、个性化推荐、内容分发等领域。

目前，在知识库的构建过程中，以实体为最小的数据处理单元，进行各种属性清洗、实体属性筛选等操作。这种处理方式，需要获取实体全部完整的实体数据，并对其进行处理，可能会导致知识库构建的效率和可靠性的降低。

【发明内容】

本申请的多个方面提供一种实体数据的处理方法、装置、设备及计算机可读存储介质，用以提高知识库构建的效率和可靠性。

本申请的一方面，提供一种实体数据的处理方法，包括：

获取待处理的实体的实体数据；

根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据；其中，所述数据更新状态包括增加状态、删除状态或修改状态；

根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中。

本申请的另一方面，提供一种实体数据的处理装置，包括：

获取单元，用于获取待处理的实体的实体数据；

生成单元，根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据；其中，所述数据更新状态包括增加状态、删除状态或修改状态；

合并单元，用于根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中。

本申请的另一方面，提供一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一方面所提供的实体数据的处理方法。

本申请的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面所提供的实体数据的处理方法。

由上述技术方案可知，本申请实施例通过获取待处理的实体的实体数据，进而，可以根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据，所述数据更新状态包括增加状态、删除状态或修改状态，使得能够根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中，由于不再以实体为最小的数据处理单元，而是以实体的实体属性为最小的数据处理单元，使得无需从数据源获取实体全部完整的实体数据，而是只需要从数据源获取到该实体部分的实体属性数据即可，从而提高了知识库构建的效率和可靠性的降低。

另外，采用本申请所提供的技术方案，无需从数据源获取实体全部完整的实体数据，而是只需要从数据源获取到该实体部分的实体属性数据即可，不但能够处理实体属性不完整的实体数据，而且还能够处理单独的实体属性数据，从而统一了实体数据的处理流程，能够有效地提高知识库构建的广泛性。

另外，采用本申请所提供的技术方案，只需要处理发生更新的实体属性的实体属性数据，能够避免对未发生更新的实体属性进行额外的数据，从而有效地节省了处理资源，提高了处理效率。

另外，采用本申请所提供的技术方案，能够记录发生更新的实体属性的状态，能够有效完善知识库中实体的知识数据。

【附图说明】

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的实体数据的处理方法的流程示意图；

图2为本申请另一实施例提供的实体数据的处理装置的结构示意图；

图3为适于用来实现本申请实施方式的示例性计算机系统/服务器12的框图。

【具体实施方式】

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(Personal Computer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)等。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本申请一实施例提供的实体数据的处理方法的流程示意图，如图1所示。

101、获取待处理的实体的实体数据。

102、根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据。

其中，所述数据更新状态包括增加状态、删除状态或修改状态。

103、根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中。

至此，实现了将实体的一个或多个实体属性的相关信息加入到知识库，构建出更加完善的知识库。

需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(SoftwareDevelopment Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。

可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。

这样，通过获取待处理的实体的实体数据，进而，可以根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据，所述数据更新状态包括增加状态、删除状态或修改状态，使得能够根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中，由于不再以实体为最小的数据处理单元，而是以实体的实体属性为最小的数据处理单元，使得无需从数据源获取实体全部完整的实体数据，而是只需要从数据源获取到该实体部分的实体属性数据即可，从而提高了知识库构建的效率和可靠性的降低。

本申请中，由于不再以实体为最小的数据处理单元，而是以实体的实体属性为最小的数据处理单元，使得无需从数据源获取实体全部完整的实体数据。那么，可选地，在本实施例的一个可能的实现方式中，在101中，具体可以从数据源获取多种形式的实体数据。

那么，在获取待处理的实体的实体数据之后，在102中，具体可以对所述实体的实体数据，进行基于每个实体属性的结构化处理，以获得所述实体数据中每个实体属性的结构化中间数据，所述实体数据中每个实体属性的结构化中间数据包括所述数据标识、所述实体的实体标识和该实体属性的实体属性数据。

进一步地，还可以进一步根据所述实体的实体数据中所述每个实体属性的结构化中间数据中所述数据标识，获得属性数据库中的该实体属性的结构化属性数据。

其中，所述属性数据库中存储有一个或者多个实体的全部实体属性的结构化属性数据。

在获得所述实体的实体数据中每个实体属性的结构化中间数据，以及属性数据库中的该实体属性的结构化属性数据之后，进而，则可以将所述实体数据中每个实体属性的结构化中间数据与属性数据库中的该实体属性的结构化属性数据进行对比操作，确定发生更新的所述至少一个实体属性和所述至少一个实体属性中每个实体属性的更新情况；其中，所述更新情况包括增加、删除或修改。

然后，则可以将所述至少一个实体属性中每个实体属性的更新情况所对应的数据更新状态，增加到所述至少一个实体属性中每个实体属性的结构化中间数据中，以生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据。

这种以实体的实体属性为最小的数据处理单元的实体属性粒度处理实体数据的方式，能够很方便地记录每个实体属性的更新情况，即使是删除的实体属性，也可以得到保留。

另外，对于一条新增加的实体属性，不需要这个实体拥有其他的信息，这条实体属性也可以在属性数据库中存储，方便了从文本中挖掘出的实体属性的保存。

在一个具体的实现过程中，数据源(即资源方)可以推送所述实体全部的实体数据，可以称为实体的实体源数据，它是一个完整的实体数据。具体地，具体可以获取来自数据源的所述实体的实体源数据，所述实体的实体源数据包括所述实体的实体标识和所述实体的全部实体属性的实体属性数据。

在该实现过程中，数据源所推送的每一个实体的实体源数据，具体可以包括以下信息：

实体的实体标识，每个实体均有一个唯一的标识，用于区分实体；

实体的实体名称；

实体属性的实体属性数据，包括全部实体属性中每个实体属性的属性名称和属性值；

资源方标识，用于区分实体源数据的来源；

推送时间，用于指示实体源数据的推送时间。

在该实现过程中，数据源可以不考虑实体的实体数据中是否发生更新的情况，可以推送所述实体全部完整的实体数据。

此时，在获取到来自数据源的所述实体的实体源数据之后，那么，在102中，则可以进一步对所述实体的实体源数据，进行基于每个实体属性的结构化处理，以获得所述实体源数据中每个实体属性的结构化中间数据，所述实体源数据中每个实体属性的结构化中间数据包括所述数据标识、所述实体的实体标识和该实体属性的实体属性数据。

进一步地，还可以进一步根据所述实体的实体源数据中所述每个实体属性的结构化中间数据中所述数据标识，获得属性数据库中的该实体属性的结构化属性数据。

其中，所述属性数据库中存储有一个或者多个实体的全部实体属性的结构化属性数据。

进而，则可以将所述实体源数据中每个实体属性的结构化中间数据与属性数据库中的该实体属性的结构化属性数据进行对比操作，确定发生更新的所述至少一个实体属性和所述至少一个实体属性中每个实体属性的更新情况；其中，所述更新情况包括增加、删除或修改。

例如，需要先利用一个实体属性的结构化中间数据中的数据标识，在属性数据库中进行查询，检查这个实体属性的结构化属性数据是否存在于属性数据库中，以供将数据更新状态增加到该实体属性的结构化中间数据中。

若属性数据库中不存在该实体属性的结构化属性数据，那么，则可以确定该实体属性的更新情况为增加；若属性数据库中能够查询到该实体属性的结构化属性数据，并且其属性值不同，则可以确定该实体属性的更新情况为修改。

若属性数据库中还存在有没有被查询到的该实体属性的结构化属性数据，则可以确定该实体属性的更新情况为删除。

然后，则可以将所述至少一个实体属性中每个实体属性的更新情况所对应的数据更新状态，增加到所述至少一个实体属性中每个实体属性的结构化中间数据中，以生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据。

在另一个具体的实现过程中，数据源(即资源方)可以无需推送所述实体全部的实体数据，只需要推送发生更新的实体属性的实体属性数据，可以称为实体属性的属性源数据，它可以为一个实体属性的实体属性数据，或者几个实体属性的实体属性数据。具体地，具体可以获取来自数据源的所述实体的一个或多个实体属性中每个实体属性的属性源数据，所述每个实体属性的属性源数据包括所述实体的实体标识和该实体属性的实体属性数据，或者所述每个实体属性的属性源数据包括所述实体的实体标识、该实体属性的实体属性数据和删除标识。

在该实现过程中，数据源所推送的实体的每个实体属性的属性源数据，具体可以包括以下信息：

实体的实体标识，每个实体均有一个唯一的标识，用于区分实体；

实体的实体名称；

一个实体属性的实体属性数据，包括该实体属性的属性名称和属性值；

资源方标识，用于区分属性源数据的来源；

推送时间，用于指示属性源数据的推送时间。

在该实现过程中，数据源可以根据实体的实体数据中发生更新的情况，只推送发生更新的实体属性的属性源数据。

此时，在获取到来自数据源的所述实体的一个或多个实体属性的属性源数据之后，那么，在102中，则可以进一步对所述实体的属性源数据，进行基于每个实体属性的结构化处理，以获得所述属性源数据中每个实体属性的结构化中间数据，所述属性源数据中每个实体属性的结构化中间数据包括所述数据标识、所述实体的实体标识和该实体属性的实体属性数据。

进一步地，还可以进一步根据所述实体的属性源数据中所述每个实体属性的结构化中间数据中所述数据标识，获得属性数据库中的该实体属性的结构化属性数据。

其中，所述属性数据库中存储有一个或者多个实体的全部实体属性的结构化属性数据。

进而，则可以将所述属性源数据中每个实体属性的结构化中间数据与属性数据库中的该实体属性的结构化属性数据进行对比操作，确定发生更新的所述至少一个实体属性和所述至少一个实体属性中每个实体属性的更新情况；其中，所述更新情况包括增加、删除或修改。

例如，需要先利用一个实体属性的结构化中间数据中的数据标识，在属性数据库中进行查询，检查这个实体属性的结构化属性数据是否存在于属性数据库中，以供将数据更新状态增加到该实体属性的结构化中间数据中。

若属性数据库中不存在该实体属性的结构化属性数据，那么，则可以确定该实体属性的更新情况为增加；若属性数据库中能够查询到该实体属性的结构化属性数据，并且其属性值不同，则可以确定该实体属性的更新情况为修改。

若属性数据库中能够查询到该实体属性的结构化属性数据，并且实体属性的结构化中间数据中包含一删除标识，则可以确定该实体属性的更新情况为删除。

然后，则可以将所述至少一个实体属性中每个实体属性的更新情况所对应的数据更新状态，增加到所述至少一个实体属性中每个实体属性的结构化中间数据中，以生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据。

在本申请中，为了进一步提高结构化属性数据的可靠性，在进行对比操作之前，还可以进一步对上一可能的实现方式中每个实体属性的结构化中间数据进行数据清洗处理。可选地，在本实施例的一个可能的实现方式中，在102之后，还可以进一步对所述每个实体属性的实体属性数据进行实体属性名称的归一化处理，进而，则可以根据归一化处理之后的每个实体属性名称，获得所述每个实体属性的数据清洗策略。然后，则可以利用所述每个实体属性的数据清洗策略，对所述实体的至少一个实体属性中每个实体属性的结构化中间数据进行数据清洗处理，以获得所述数据清洗处理之后的所述实体的至少一个实体属性中每个实体属性的结构化中间数据，以供进行对比操作，即将所述数据清洗处理之后的所述属性源数据中每个实体属性的结构化中间数据与属性数据库中的所述实体的全部实体属性的结构化属性数据进行对比操作。这样，能够有效保证对比操作的可靠性，从而提高了对比结果的准确率。

对于一个实体属性的结构化中间数据，其内容可以分为两个部分，一部分可以称为信息框(infobox)，其中包含了键-值(key-value，kv)对的kv对信息，例如，实体属性的属性名称和属性值；一部分称可以称为为标记(markup)，其中包含了摘要、正文等文本描述信息。

对于markup中的数据，一般只需要进行简单的数据清洗处理，去除其中的异常符号，就可以加入到属性数据库了；而对于infobox中的数据，则可能会较为复杂一些。例如，具体可以对每个实体属性的实体属性数据进行实体属性名称的归一化处理，即将实体属性的属性名称(key)进行归一化处理，归一化处理之后的每个实体属性名称可以称为pid。

具体地，具体可以维护一个key到pid的映射表，可以将映射表中的pid取出。例如，实体属性的属性名称为“生日”和“出生日期”时，它们的pid都是“birthday”。

对于每一个pid，会匹配不同的数据清洗处理，那么，则可以针对不同的key，进行不同的格式化处理。例如，实体属性的属性名称为“性别”的pid是“gender”，其所匹配的数据清洗处理则可以为不仅需要验证value中无杂质，还需要保证value是“男”或“女”。

这样，在获得所述数据清洗处理之后的所述实体的至少一个实体属性中每个实体属性的结构化中间数据之后，就可以进行对比操作了，即将所述数据清洗处理之后的所述属性源数据中每个实体属性的结构化中间数据与属性数据库中的所述实体的全部实体属性的结构化属性数据进行对比操作。这样，能够有效保证对比操作的可靠性，从而提高了对比结果的准确率。

本申请中，在生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据之后，则可以将其加入到属性数据库中，覆盖原来的该实体属性的结构化属性数据。

可选地，在本实施例的一个可能的实现方式中，在102中，具体可以根据所述实体的实体数据，生成所述每个实体属性的特征值，进而，则可以对于所述每个实体属性的特征值，分别生成一个实体属性的结构化属性数据的数据标识，将实体属性的结构化属性数据的数据标识与实体属性的特征值进行关联处理。然后，则可以记录实体属性的结构化属性数据的数据标识与实体属性的特征值的关联关系。

在一个具体的实现过程中，具体可以根据所述实体的实体数据中所述实体的实体标识和所述每个实体属性的实体属性数据，生成该实体属性的特征值。例如，对所述实体的实体数据中实体的实体标识和每个实体属性的实体属性数据进行拼接处理，以获得一个拼接字符串，然后，再计算出该拼接字符串的消息摘要算法第五版(Message DigestAlgorithm，MD5)值，作为该实体属性的特征值。

在另一个具体的实现过程中，与上一实现过程中的技术方案相比，除了根据所述实体的实体数据中所述实体的实体标识和所述每个实体属性的实体属性数据之外，还可以进一步结合所述实体的实体数据中所述实体的实体名称和资源方标识，生成该实体属性的特征值。例如，对所述实体的实体数据中实体的实体标识、实体的实体名称、每个实体属性的实体属性数据和资源方标识进行拼接处理，以获得一个拼接字符串，然后，再计算出该拼接字符串的消息摘要算法第五版(Message Digest Algorithm，MD5)值，作为该实体属性的特征值。

对于一个所构造的实体属性的结构化属性数据，只需要获得该实体属性的特征值，就可以从所记录的映射关系中获取其数据标识。

这样，在一些情况中，例如，实体属性的结构化属性数据的数据标识改变等，无需再重新生成新的实体属性的结构化属性数据，只需要修改所记录的关联关系，即可实现从数据源所提供的实体的实体数据到实体属性的结构化属性数据的定位。

可选地，在本实施例的一个可能的实现方式中，在103中，具体可以根据所述实体标识，获得所述实体的全部实体属性中每个实体属性的结构化属性数据，进而，则可以根据所述数据更新状态，对所述实体的全部实体属性中每个实体属性的结构化属性数据进行合并处理，以生成所述实体的知识数据。然后，则可以将所述实体的知识数据，加入到所述知识库中。

具体地，具体可以根据所述实体标识，获得属性数据库中所述实体的全部实体属性中每个实体属性的结构化属性数据。进而，则可以对所述数据更新状态为删除状态的实体属性的结构化属性数据，进行过滤处理，对所述数据更新状态为增加状态和修改状态的实体属性的结构化属性数据，进行合并处理，以生成所述实体的知识数据。

在获得所述实体的知识数据之后，还需要进一步进行实体属性过滤操作，再加入到所述知识库中。

例如，由于允许资源方推送一个或多个实体属性中每个实体属性的属性源数据，因此，所以可能导致所生成的所述实体的知识数据中，缺乏必要的实体属性的结构化属性数据，例如，缺少摘要、正文等文本描述信息，这样的实体的知识数据就需要过滤掉，不能加入到知识库中。

或者，再例如，知识库对于实体属性还具有一定的约束，也需要对实体属性进行过滤操作。对于属于某个垂类的实体，其实体属性也应该在这个垂类下的属性范围之内。具体地，具体可以根据垂类到垂类下属性的映射表，只保留一个实体中属于这个垂类下的实体属性，删除其它的实体属性。例如“刘德华”的类别属于娱乐明星，那么“作品”就可以是他的一个实体属性，但是，“天下无贼”的类别属于电影，就不应该有“作品”这个实体属性，因此，“作品”就不能是他的一个实体属性，其可以有“导演”、“演员”等实体属性。

与现有的以实体为最小的数据处理单元，进行实体的实体数据的处理方法相比，本申请所提供的以实体属性为最小的数据处理单元，进行实体的实体数据的处理方法，具有以下优势：

1、能够处理实体属性不完整的实体数据，且能够处理实体属性粒度的实体属性数据；

将实体数据属性化之后，统一了实体数据与实体属性数据的处理流程，并且在对实体属性数据的处理中，不需要考虑实体的完整性；

2、节省带宽和处理时间；

在实体发生更新时，只需要推送发生更新的实体属性的实体属性源数据即可，不需要推送整个实体的实体数据，避免了对未更新的实体属性的额外不必要的处理，能够有效节省计算资源，从而提高了实体更新的效率；

3、方便记录每个实体属性的更新状态；

以实体为最小的数据处理单元的实体更新，只能记录整个实体的更新状态；而以实体属性为最小的数据处理单元的属性更新，可以记录实体下每一个实体属性的更新状态，即增加状态、修改状态和删除状态等状态。

本实施例中，通过获取待处理的实体的实体数据，进而，可以根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据，所述数据更新状态包括增加状态、删除状态或修改状态，使得能够根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中，由于不再以实体为最小的数据处理单元，而是以实体的实体属性为最小的数据处理单元，使得无需从数据源获取实体全部完整的实体数据，而是只需要从数据源获取到该实体部分的实体属性数据即可，从而提高了知识库构建的效率和可靠性的降低。

另外，采用本申请所提供的技术方案，无需从数据源获取实体全部完整的实体数据，而是只需要从数据源获取到该实体部分的实体属性数据即可，不但能够处理实体属性不完整的实体数据，而且还能够处理单独的实体属性数据，从而统一了实体数据的处理流程，能够有效地提高知识库构建的广泛性。

另外，采用本申请所提供的技术方案，只需要处理发生更新的实体属性的实体属性数据，能够避免对未发生更新的实体属性进行额外的数据，从而有效地节省了处理资源，提高了处理效率。

另外，采用本申请所提供的技术方案，能够记录发生更新的实体属性的状态，能够有效完善知识库中实体的知识数据。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

图2为本申请另一实施例提供的实体数据的处理装置的结构示意图，如图2所示。本实施例的实体数据的处理装置可以包括获取单元21、生成单元22和合并单元23。其中，获取单元21，用于获取待处理的实体的实体数据；生成单元22，根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据；其中，所述数据更新状态包括增加状态、删除状态或修改状态；合并单元23，用于根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中。

需要说明的是，本实施例所提供的实体数据的处理装置的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的搜索引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。

可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。

可选地，在本实施例的一个可能的实现方式中，所述获取单元21，具体可以用于获取来自数据源的所述实体的实体源数据，所述实体的实体源数据包括所述实体的实体标识和所述实体的全部实体属性的实体属性数据。

可选地，在本实施例的一个可能的实现方式中，所述获取单元21，具体可以用于获取来自数据源的所述实体的一个或多个实体属性中每个实体属性的属性源数据，所述每个实体属性的属性源数据包括所述实体的实体标识和该实体属性的实体属性数据，或者所述每个实体属性的属性源数据包括所述实体的实体标识、该实体属性的实体属性数据和删除标识。

可选地，在本实施例的一个可能的实现方式中，所述生成单元22，具体可以用于对所述实体的实体数据，进行基于每个实体属性的结构化处理，以获得所述实体数据中每个实体属性的结构化中间数据，所述实体数据中每个实体属性的结构化中间数据包括所述数据标识、所述实体的实体标识和该实体属性的实体属性数据；根据所述实体的实体数据中所述每个实体属性的结构化中间数据中所述数据标识，获得属性数据库中的该实体属性的结构化属性数据；将所述实体数据中每个实体属性的结构化中间数据与属性数据库中的该实体属性的结构化属性数据进行对比操作，确定发生更新的所述至少一个实体属性和所述至少一个实体属性中每个实体属性的更新情况；其中，所述更新情况包括增加、删除或修改；以及将所述至少一个实体属性中每个实体属性的更新情况所对应的数据更新状态，增加到所述至少一个实体属性中每个实体属性的结构化中间数据中，以生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据。

进一步地，所述生成单元22，还可以进一步用于对所述每个实体属性的实体属性数据进行实体属性名称的归一化处理；根据归一化处理之后的每个实体属性名称，获得所述每个实体属性的数据清洗策略；以及利用所述每个实体属性的数据清洗策略，对所述实体的至少一个实体属性中每个实体属性的结构化中间数据进行数据清洗处理，以获得所述数据清洗处理之后的所述实体的至少一个实体属性中每个实体属性的结构化中间数据，以供进行所述对比操作。

可选地，在本实施例的一个可能的实现方式中，所述生成单元22，具体可以用于根据所述实体的实体数据，生成所述每个实体属性的特征值；对于所述每个实体属性的特征值，分别生成一个实体属性的结构化属性数据的数据标识，将实体属性的结构化属性数据的数据标识与实体属性的特征值进行关联处理；以及记录实体属性的结构化属性数据的数据标识与实体属性的特征值的关联关系。

可选地，在本实施例的一个可能的实现方式中，所述合并单元23，具体可以用于根据所述实体标识，获得所述实体的全部实体属性中每个实体属性的结构化属性数据；根据所述数据更新状态，对所述实体的全部实体属性中每个实体属性的结构化属性数据进行合并处理，以生成所述实体的知识数据；以及将所述实体的知识数据，加入到所述知识库中。

需要说明的是，图1对应的实施例中方法，可以由本实施例提供的实体数据的处理装置实现。详细描述可以参见图1对应的实施例中的相关内容，此处不再赘述。

本实施例中，通过获取单元获取待处理的实体的实体数据，进而，可以由生成单元根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据，所述数据更新状态包括增加状态、删除状态或修改状态，使得合并单元能够根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中，由于不再以实体为最小的数据处理单元，而是以实体的实体属性为最小的数据处理单元，使得无需从数据源获取实体全部完整的实体数据，而是只需要从数据源获取到该实体部分的实体属性数据即可，从而提高了知识库构建的效率和可靠性的降低。

另外，采用本申请所提供的技术方案，无需从数据源获取实体全部完整的实体数据，而是只需要从数据源获取到该实体部分的实体属性数据即可，不但能够处理实体属性不完整的实体数据，而且还能够处理单独的实体属性数据，从而统一了实体数据的处理流程，能够有效地提高知识库构建的广泛性。

另外，采用本申请所提供的技术方案，只需要处理发生更新的实体属性的实体属性数据，能够避免对未发生更新的实体属性进行额外的数据，从而有效地节省了处理资源，提高了处理效率。

另外，采用本申请所提供的技术方案，能够记录发生更新的实体属性的状态，能够有效完善知识库中实体的知识数据。

图3示出了适于用来实现本申请实施方式的示例性计算机系统/服务器12的框图。图3显示的计算机系统/服务器12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图3所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储装置或者系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器25等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口44进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所对应的实施例所提供的实体数据的处理方法。

本申请另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图1所对应的实施例所提供的实体数据的处理方法。

具体来说，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种实体数据的处理方法，其特征在于，包括：

获取待处理的实体的实体数据；

根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据；其中，所述数据更新状态包括增加状态、删除状态或修改状态；

根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理的实体的实体数据，包括：

获取来自数据源的所述实体的实体源数据，所述实体的实体源数据包括所述实体的实体标识和所述实体的全部实体属性的实体属性数据；或者

获取来自数据源的所述实体的一个或多个实体属性中每个实体属性的属性源数据，所述每个实体属性的属性源数据包括所述实体的实体标识和该实体属性的实体属性数据，或者所述每个实体属性的属性源数据包括所述实体的实体标识、该实体属性的实体属性数据和删除标识。

3.根据权利要求1所述的方法，其特征在于，所述根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，包括：

对所述实体的实体数据，进行基于每个实体属性的结构化处理，以获得所述实体数据中每个实体属性的结构化中间数据，所述实体数据中每个实体属性的结构化中间数据包括所述数据标识、所述实体的实体标识和该实体属性的实体属性数据；

根据所述实体的实体数据中所述每个实体属性的结构化中间数据中所述数据标识，获得属性数据库中的该实体属性的结构化属性数据；

将所述实体数据中每个实体属性的结构化中间数据与属性数据库中的该实体属性的结构化属性数据进行对比操作，确定发生更新的所述至少一个实体属性和所述至少一个实体属性中每个实体属性的更新情况；其中，所述更新情况包括增加、删除或修改；

将所述至少一个实体属性中每个实体属性的更新情况所对应的数据更新状态，增加到所述至少一个实体属性中每个实体属性的结构化中间数据中，以生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据。

4.根据权利要求3所述的方法，其特征在于，所述对所述实体的实体数据，进行基于每个实体属性的结构化处理，以获得所述实体数据中每个实体属性的结构化中间数据之后，还包括：

对所述每个实体属性的实体属性数据进行实体属性名称的归一化处理；

根据归一化处理之后的每个实体属性名称，获得所述每个实体属性的数据清洗策略；

利用所述每个实体属性的数据清洗策略，对所述实体的至少一个实体属性中每个实体属性的结构化中间数据进行数据清洗处理，以获得所述数据清洗处理之后的所述实体的至少一个实体属性中每个实体属性的结构化中间数据，以供进行所述对比操作。

5.根据权利要求1所述的方法，其特征在于，所述根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，包括：

根据所述实体的实体数据，生成所述每个实体属性的特征值；

对于所述每个实体属性的特征值，分别生成一个实体属性的结构化属性数据的数据标识，将实体属性的结构化属性数据的数据标识与实体属性的特征值进行关联处理；

记录实体属性的结构化属性数据的数据标识与实体属性的特征值的关联关系。

6.根据权利要求1～5任一权利要求所述的方法，其特征在于，所述根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中，包括：

根据所述实体标识，获得所述实体的全部实体属性中每个实体属性的结构化属性数据；

根据所述数据更新状态，对所述实体的全部实体属性中每个实体属性的结构化属性数据进行合并处理，以生成所述实体的知识数据；

将所述实体的知识数据，加入到所述知识库中。

7.一种实体数据的处理装置，其特征在于，包括：

获取单元，用于获取待处理的实体的实体数据；

生成单元，根据所述实体的实体数据，生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据，所述每个实体属性的结构化属性数据包括数据标识、数据更新状态、所述实体的实体标识和该实体属性的实体属性数据；其中，所述数据更新状态包括增加状态、删除状态或修改状态；

合并单元，用于根据所述实体的实体标识，将所述实体的每个实体属性的结构化属性数据，加入到知识库中。

8.根据权利要求7所述的装置，其特征在于，所述获取单元，具体用于

获取来自数据源的所述实体的实体源数据，所述实体的实体源数据包括所述实体的实体标识和所述实体的全部实体属性的实体属性数据；或者

获取来自数据源的所述实体的一个或多个实体属性中每个实体属性的属性源数据，所述每个实体属性的属性源数据包括所述实体的实体标识和该实体属性的实体属性数据，或者所述每个实体属性的属性源数据包括所述实体的实体标识、该实体属性的实体属性数据和删除标识。

9.根据权利要求7所述的装置，其特征在于，所述生成单元，具体用于

对所述实体的实体数据，进行基于每个实体属性的结构化处理，以获得所述实体数据中每个实体属性的结构化中间数据，所述实体数据中每个实体属性的结构化中间数据包括所述数据标识、所述实体的实体标识和该实体属性的实体属性数据；

根据所述实体的实体数据中所述每个实体属性的结构化中间数据中所述数据标识，获得属性数据库中的该实体属性的结构化属性数据；

将所述实体数据中每个实体属性的结构化中间数据与属性数据库中的该实体属性的结构化属性数据进行对比操作，确定发生更新的所述至少一个实体属性和所述至少一个实体属性中每个实体属性的更新情况；其中，所述更新情况包括增加、删除或修改；以及

将所述至少一个实体属性中每个实体属性的更新情况所对应的数据更新状态，增加到所述至少一个实体属性中每个实体属性的结构化中间数据中，以生成所述实体的至少一个实体属性中每个实体属性的结构化属性数据。

10.根据权利要求9所述的装置，其特征在于，所述生成单元，还用于

对所述每个实体属性的实体属性数据进行实体属性名称的归一化处理；

根据归一化处理之后的每个实体属性名称，获得所述每个实体属性的数据清洗策略；以及

利用所述每个实体属性的数据清洗策略，对所述实体的至少一个实体属性中每个实体属性的结构化中间数据进行数据清洗处理，以获得所述数据清洗处理之后的所述实体的至少一个实体属性中每个实体属性的结构化中间数据，以供进行所述对比操作。

11.根据权利要求7所述的装置，其特征在于，所述生成单元，具体用于

根据所述实体的实体数据，生成所述每个实体属性的特征值；

对于所述每个实体属性的特征值，分别生成一个实体属性的结构化属性数据的数据标识，将实体属性的结构化属性数据的数据标识与实体属性的特征值进行关联处理；以及

记录实体属性的结构化属性数据的数据标识与实体属性的特征值的关联关系。

12.根据权利要求7～11任一权利要求所述的装置，其特征在于，所述合并单元，用于

根据所述实体标识，获得所述实体的全部实体属性中每个实体属性的结构化属性数据；

根据所述数据更新状态，对所述实体的全部实体属性中每个实体属性的结构化属性数据进行合并处理，以生成所述实体的知识数据；以及

将所述实体的知识数据，加入到所述知识库中。

13.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～6中任一所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～6中任一所述的方法。

Images