CN111488461A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111488461A CN111488461A CN202010213661.8A CN202010213661A CN111488461A CN 111488461 A CN111488461 A CN 111488461A CN 202010213661 A CN202010213661 A CN 202010213661A CN 111488461 A CN111488461 A CN 111488461A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- entity
- aligned
- incremental
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据处理方法、装置、电子设备及存储介质,所述方法包括:获取用于描述第一已对齐实体的存量知识;获取用于描述当前待对齐实体的全量知识;获取所述全量知识与所述存量知识相比所增加的增量知识;基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体;在所述第二已对齐实体的基础上,基于所述增量知识对所述当前待对齐实体进行对齐。本公开实施例能够提高实体对齐的效率。
Description
技术领域
本公开涉及知识图谱领域,具体涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
在知识图谱领域的现有技术中,每次实体对齐都需要重新对用于描述待对齐实体的知识进行预处理、融合,从而实现对待对齐实体的对齐。由于用于描述待对齐实体的知识的数量通常在千万级以上,现有技术的这种方法每次进行实体对齐都要耗费巨大的算力资源,实体对齐的效率低下。
发明内容
本公开的一个目的在于提出一种数据处理方法、装置、电子设备及存储介质,能够提高实体对齐的效率。
根据本公开实施例的一方面,公开了一种数据处理方法,所述方法包括:
获取用于描述第一已对齐实体的存量知识;
获取用于描述当前待对齐实体的全量知识;
获取所述全量知识与所述存量知识相比所增加的增量知识;
基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体;
在所述第二已对齐实体的基础上,基于所述增量知识对所述当前待对齐实体进行对齐。
根据本公开实施例的一方面,公开了一种数据处理装置,所述装置包括:
第一获取模块,配置为获取用于描述第一已对齐实体的存量知识;
第二获取模块,配置为获取用于描述当前待对齐实体的全量知识;
第三获取模块,配置为获取所述全量知识与所述存量知识相比所增加的增量知识;
精简模块,配置为基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体;
对齐模块,配置为在所述第二已对齐实体的基础上,基于所述增量知识对所述当前待对齐实体进行对齐。
在本公开的一示例性实施例中,所述装置配置为:
确定所述全量知识与所述存量知识相比所减少的减量知识;
将所述减量知识从所述存量知识中删除;
基于预设的知识融合策略对删除后剩余的存量知识进行融合,以对所述第一已对齐实体进行精简得到所述第二已对齐实体。
在本公开的一示例性实施例中,所述增量知识包括至少一组知识,所述存量知识包括至少一组知识。所述装置配置为:
若所述增量知识中的一组知识的标识与所述存量知识中的目标组知识的标识相同,则将所述目标组知识从所述存量知识中删除;
基于预设的知识融合策略对删除后剩余的存量知识进行融合,以对所述第一已对齐实体进行精简得到所述第二已对齐实体。
在本公开的一示例性实施例中,所述增量知识包括至少一组知识,所述存量知识包括至少一组知识。所述装置配置为:
基于预设的知识融合策略对所述增量知识进行融合,得到所述增量知识所描述的已对齐实体;
基于所述增量知识中各组知识分别与所述存量知识中各组知识的匹配,将所述增量知识所描述的已对齐实体与所述第二已对齐实体进行对齐,以对所述当前待对齐实体进行对齐。
在本公开的一示例性实施例中,所述装置配置为:
获取所述增量知识中各组知识分别对应的第一向量;
基于各所述第一向量之间的距离,确定所述增量知识中各组知识之间的相似度;
基于预设的聚类算法以及所述增量知识中各组知识之间的相似度,对所述增量知识进行聚类,得到所述增量知识所描述的已对齐实体。
在本公开的一示例性实施例中,所述装置配置为:
获取所述增量知识中各组知识分别对应的第一向量;
获取所述存量知识中各组知识分别对应的第二向量;
基于各所述第一向量分别与各所述第二向量的距离,确定所述增量知识中各组知识分别与所述存量知识中各组知识的相似度;
若所述增量知识中的第一组知识与所述存量知识中的第二组知识的相似度大于预设阈值,则将所述第一组知识所描述的已对齐实体与所述第二组知识所描述的第二已对齐实体进行对齐。
在本公开的一示例性实施例中,所述存量知识包括至少一组知识。所述装置配置为:
基于所述存量知识中各组知识之间的匹配,对所述存量知识进行划分得到至少一个集合;
分别对所述至少一个集合中包含的知识进行融合,得到所述第一已对齐实体。
在本公开的一示例性实施例中,所述增量知识包括至少一组知识,所述全量知识包括至少一组知识。所述装置配置为:
基于所述增量知识中各组知识分别与所述全量知识中各组知识的匹配,对所述全量知识进行划分得到至少一个集合;
分别对所述至少一个集合中包含的知识进行融合,得到初步对齐实体;
将所述初步对齐实体与所述第二已对齐实体进行对齐,以对所述当前待对齐实体进行对齐。
在本公开的一示例性实施例中,所述装置配置为:
基于预设的匹配规则确定所述全量知识中与所述增量知识中的第一组知识相似的第三组知识,并将所述第一组知识与所述第三组知识确定为一知识对;
将相互存在交集的知识对划分至同一集合中。
在本公开的一示例性实施例中,所述装置配置为:基于预设的匹配规则确定所述全量知识中与所述增量知识中的第一组知识冲突的第三组知识,并将所述第一组知识与所述第三组知识确定为一知识对。
在本公开的一示例性实施例中,所述装置配置为:将所述存量知识中的目标组知识所描述的初步对齐实体与所述目标组知识所描述的第二已对齐实体进行对齐。
在本公开的一示例性实施例中,所述存量知识包括至少一组知识。所述装置配置为:将所述存量知识中的目标组知识所描述的第二已对齐实体的标识,确定为所述目标组知识所描述的目标对齐实体的标识,其中,所述目标对齐实体为对所述当前待对齐实体进行对齐所得到的实体。
根据本公开实施例的一方面,公开了一种数据处理电子设备,包括:存储器,存储有计算机可读指令;处理器,读取存储器存储的计算机可读指令,以执行以上权利要求中的任一个所述的方法。
根据本公开实施例的一方面,公开了一种计算机程序介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行以上权利要求中的任一个所述的方法。
本公开实施例通过对存量知识所描述的第一已对齐实体进行精简得到精简后的第二已对齐实体,进而在第二已对齐实体的基础上,基于增量知识对当前待对齐实体进行对齐,避免了实体对齐时对于存量知识的重复处理,从而降低了算力资源的消耗,提高了实体对齐的效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参考附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本公开一个实施例的存量知识以及存量知识所描述的第一已对齐实体。
图2示出了根据本公开一个实施例的全量知识以及全量知识所描述的当前待对齐实体。
图3示出了根据本公开一个实施例的在图1所示的第一已对齐实体所对应的第二已对齐实体的基础上,将图2所示的当前待对齐实体进行对齐的示意图。
图4示出了根据本公开一个实施例的数据处理方法的流程图。
图5示出了根据本公开一个实施例的数据处理的完整流程。
图6示出了根据本公开一个实施例的数据处理装置的框图。
图7示出了根据本公开一个实施例的数据处理电子设备的硬件图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些示例实施方式使得本公开的描述将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的示例实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、步骤等。在其它情况下,不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
首先对本公开实施例涉及的部分概念进行解释。
知识指的是描述了实体的属性或者实体之间关系的信息,主要用于描述有关实体的事实。在数据层面,知识通常以三元组信息的形式进行存储,其中,三元组信息的基本结构为<“主语”-“谓语”-“宾语”>。例如:知识“小红的年龄为29岁”可以存储为<小红-年龄-29岁>;知识“小红的职业是歌手”可以存储为<小红-职业-歌手>。
在逻辑层面,可以将以该基本结构的三元组信息存储的知识以图的形式表示为:以一条有向边相连的两个节点。其中一个节点代表“主语”,另一个节点代表“宾语”,连接这两个节点的边代表“谓语”,且边的方向是由“主语”指向“宾语”。
进一步的,知识融合(也被称为实体对齐)指的是将来自多个来源的关于同一个实体的知识进行融合,从而使得描述了同一个实体的各知识之间建立连接,以共同描述该实体。知识融合后得到描述了同一个实体的知识图谱。
参考图1所示,图1中存在三组来自不同来源分别描述了有关实体A部分事实的知识:描述了实体A职业的<实体A-职业-歌手>、描述了实体A年龄的<实体A-年龄-29岁>以及描述了实体A地址的<实体A-地址-光明路>;存在两组来自不同来源分别描述了有关实体B部分事实的知识:描述了实体B职业的<实体B-职业-演员>以及描述了有关实体B身高的<实体B-身高-172cm>。其中,节点的形状不同代表对应知识的来源不同。
这五组知识分别描述了对应实体的部分事实。通过将这五组知识进行融合,使得描述了实体A的各知识之间建立连接以共同描述实体A(即,对齐实体A),也使得描述了实体B的各知识之间建立连接以共同描述实体B(即,对齐实体B)。知识融合后(即,实体对齐后)得到图示的知识图谱:知识图谱a1以及知识图谱b1。通过知识图谱a1可以得知有关实体A的事实:实体A的职业是歌手,年龄为29岁,地址为光明路;通过知识图谱b1可以得知有关实体B的事实:实体B的职业是演员,身高为172cm。
可以理解的,在数据环境中,实体是以知识或者知识融合后的知识图谱为载体而展示出的,在此基础上可以通过获取知识或者知识图谱以获取对应的实体。参考图1所示,通过获取<实体A-职业-歌手>以获取该知识所描述的实体A;通过获取知识图谱a1以获取该知识图谱所描述的实体A。
已对齐实体指的是经过知识融合后对齐得到的实体;相应的,存量知识指的是用于描述已对齐实体的知识。已对齐实体的数量一般小于对应存量知识的数量。参考图1所示,图1中已对齐实体有:知识图谱a1所描述的实体A、知识图谱b1所描述的实体B;相应的,存量知识指的是图1中未融合的五组知识。
在本公开实施例中,第一已对齐实体指的是未经精简的已对齐实体;第二已对齐实体指的是对第一已对齐实体精简后得到的已对齐实体。参考图1至图3所示,第一已对齐实体为图1中知识图谱a1所描述的实体A以及知识图谱b1所描述的实体B,结合图2中未融合的六组知识对该第一已对齐实体进行精简后,得到的第二已对齐实体为图3中知识图谱a2所描述的实体A以及知识图谱b2所描述的实体B。
当前待对齐实体指的是当前时间点、各未经知识融合的知识分别描述的实体;相应的,全量知识指的是用于描述当前待对齐实体的知识。当前待对齐实体的数量一般等于对应全量知识的数量。参考图2所示,图2中当前待对齐实体有:<实体A-职业-歌手>所描述的实体A、<实体A-年龄-29岁>所描述的实体A、<实体A-地址-光明路>所描述的实体A、<实体A-身高-168cm>所描述的实体A、<实体B-职业-演员>所描述的实体B、<实体B-身高-175cm>所描述的实体B;相应的,全量知识指的是图2中未融合的六组知识。
目标对齐实体指的是将当前待对齐实体对齐后得到的实体;可以理解的,将当前待对齐实体对齐可以通过将全量知识进行融合实现,即全量知识既用于描述当前待对齐实体,也用于描述目标对齐实体。参考图2以及图3所示,将图2中当前待对齐实体对齐后,得到图3中目标对齐实体:知识图谱a3所描述的实体A以及知识图谱b3所描述的实体B。
增量知识指的是全量知识与存量知识相比所增加的知识。参考图1至图3所示,存量知识为图1中未融合的五组知识,全量知识为图2中未融合的六组知识,则增量知识为图3中的<实体A-身高-168cm>以及<实体B-身高-175cm>。相应的,减量知识指的是全量知识与存量知识相比所减少的知识。
第一组知识指的是增量知识中的一组知识;第二组知识指的是存量知识中的一组知识;第三组知识指的是全量知识中的一组知识。本公开实施例中用于限定知识的“第一组”、“第二组”以及“第三组”的主要作用在于标示该组知识是来源于增量知识、存量知识还是全量知识,并不具有序列的含义。相应的,第一向量指的是增量知识中的一组知识对应的向量;第二向量指的是存量知识中的一组知识对应的向量。
在数据环境中为了对知识或者实体进行管理,每一组知识都会有唯一对应的标识,每一个实体都会有唯一对应的标识。具体的,当知识是从网页中提取出来的时候,知识的标识通常为基于对网页url(uniform resourse locator,统一资源定位符)求摘要得到的64位数值;实体的标识通常为基于对描述了该实体的知识进行求摘要得到的128位数值。出于效率的考虑,可以将实体的标识缩短至16位。在本公开实施例的描述中,将知识的标识记为id,将实体的标识记为uuid。
下面参考图1至图3对本公开一实施例在逻辑层面的数据处理的完整过程进行描述。
图1示出了本公开一实施例中的存量知识以及存量知识所描述的第一已对齐实体。该实施例中,存量知识有:<实体A-职业-歌手>、<实体A-年龄-29岁>、<实体A-地址-光明路>、<实体B-职业-演员>以及<实体B-身高-172cm>。该存量知识所描述的第一已对齐实体有:知识图谱a1所描述的实体A以及知识图谱b1所描述的实体B。
图2示出了本公开一实施例中的全量知识以及全量知识所描述的当前待对齐实体。该实施例中,全量知识有:<实体A-职业-歌手>、<实体A-年龄-29岁>、<实体A-地址-光明路>、<实体A-身高-168cm>、<实体B-职业-演员>以及<实体B-身高-175cm>。该全量知识所描述的当前待对齐实体有:<实体A-职业-歌手>所描述的实体A、<实体A-年龄-29岁>所描述的实体A、<实体A-地址-光明路>所描述的实体A、<实体A-身高-168cm>所描述的实体A、<实体B-职业-演员>所描述的实体B以及<实体B-身高-175cm>所描述的实体B。
图3示出了本公开一实施例中的在图1所示的第一已对齐实体所对应的第二已对齐实体的基础上,将图2所示的当前待对齐实体进行对齐的过程。该实施例中,通过对比图1中的存量知识以及图2中的全量知识,得到增量知识:<实体A-身高-168cm>以及<实体B-身高-175cm>。
将<实体B-身高-172cm>从图1中的存量知识中删除,再将删除后剩余的存量知识进行融合,从而得到第二已对齐实体:图3中的知识图谱a2以及知识图谱b2。进而在知识图谱a2以及知识图谱b2的基础上,结合该增量知识,得到知识图谱a3以及知识图谱b3。可见,将图2中当前待对齐实体对齐后,得到的目标对齐实体即为知识图谱a3所描述的实体A以及知识图谱b3所描述的实体B。
需要说明的是,图1至图3所示的过程主要是以图的形式直观地初步展示出本公开实施例的基本思路,相关描述也主要是为了便于理解而作出的,并不代表本公开实施例只能以图1至图3所示的过程进行实施。
下面对本公开实施例的具体实施过程进行详细描述。可以理解的,本公开实施例的执行主体可以为服务器,也可以为其他具有足够计算能力的终端。出于简要说明的目的,在以下实施例的描述中均将服务器作为执行主体,但并不代表本公开实施例只能由服务器作为执行主体。
图4示出了本公开一实施例的数据处理方法,包括:
步骤S110、获取用于描述第一已对齐实体的存量知识;
步骤S120、获取用于描述当前待对齐实体的全量知识;
步骤S130、获取所述全量知识与所述存量知识相比所增加的增量知识;
步骤S140、基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体;
步骤S150、在所述第二已对齐实体的基础上,基于所述增量知识对所述当前待对齐实体进行对齐。
本公开实施例通过对存量知识所描述的第一已对齐实体进行精简得到精简后的第二已对齐实体,进而在第二已对齐实体的基础上,基于增量知识对当前待对齐实体进行对齐,避免了实体对齐时对于存量知识的重复处理,从而降低了算力资源的消耗,提高了实体对齐的效率。
在步骤S110中,获取用于描述第一已对齐实体的存量知识。
在步骤S120中,获取用于描述当前待对齐实体的全量知识。
本公开实施例中,服务器获取用于描述第一已对齐实体的存量知识以及用于描述当前待对齐实体的全量知识,以对当前待对齐实体进行对齐。
其中,服务器从原始数据中提取进而获取知识的方式通常有三种:1、从纯文本数据中进行知识的提取;2、从半结构化数据中进行知识的提取,例如:从表格中进行知识的提取;3、从结构化数据中进行知识的提取,例如:从数据库中进行知识的提取。将知识融合实现实体对齐后,服务器一般会将描述了已对齐实体的知识图谱进行存储,以对已对齐实体进行管理。
在一实施例中,在过去的3月1日这一日,服务器爬取当日所有百科网页。针对每一百科网页,服务器提取出该百科网页中的文本数据,进而进行知识的提取,从而得到该百科网页对应的一组知识。知识提取完毕后,服务器将提取出的知识进行融合实现实体对齐,得到描述了已对齐实体的知识图谱,并将该知识图谱进行存储——将于3月1日提取出的所有知识进行存储;同时,若一组知识描述了一已对齐实体,则将该组知识的标识与该已对齐实体的标识进行关联。
在当前时间点,服务器要对今日所有百科网页描述的当前待对齐实体进行对齐。相较于当前时间点,3月1日提取出的所有知识即为存量知识——服务器可以从存储的知识图谱中提取出该存量知识;至于当前时间点的全量知识——服务器爬取今日所有百科网页,进而提取该所有百科网页中的知识,从而得到全量知识。
下表1示出了本公开一实施例中知识的标识与已对齐实体的标识之间的关联关系。
实体的标识(uuid) | uuid1 | uuid2 |
知识标识列表(id_list) | id1、id2、id3 | id4、id5 |
表1
该实施例中,服务器提取出了五组知识且标识分别为id1、id2、id3、id4以及id5;将这五组知识融合后,得到描述了已对齐实体的知识图谱——描述了已对齐实体uuid1的知识图谱以及描述了已对齐实体uuid2的知识图谱。具体的,已对齐实体uuid1是由知识id1、知识id2以及知识id3共同描述的,已对齐实体uuid2是由知识id4以及知识id5共同描述的。服务器在存储这两个知识图谱时,将知识的标识id1、id2、id3与已对齐实体的标识uuid1进行关联,以表示已对齐实体uuid1是由知识id1、知识id2以及知识id3共同描述的;将知识的标识id4、id5与已对齐实体的标识uuid2进行关联,以表示已对齐实体uuid2是由知识id4以及知识id5共同描述的。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在步骤S130中,获取该全量知识与该存量知识相比所增加的增量知识。
在步骤S140中,基于该全量知识与该存量知识的匹配对该第一已对齐实体进行精简,得到精简后的第二已对齐实体。
在步骤S150中,在该第二已对齐实体的基础上,基于该增量知识对该当前待对齐实体进行对齐。
服务器获取存量知识以及全量知识后,将全量知识与存量知识进行对比,获取全量知识与存量知识相比所增加的增量知识;基于全量知识与存量知识的匹配对存量知识所描述的第一已对齐实体进行精简,得到精简后的第二已对齐实体;进而在第二已对齐实体的基础上,基于增量知识对全量知识所描述的当前待对齐实体进行对齐。
在一实施例中,基于该全量知识与该存量知识的匹配对该第一已对齐实体进行精简,得到精简后的第二已对齐实体,包括:
确定该全量知识与该存量知识相比所减少的减量知识;
将该减量知识从该存量知识中删除;
基于预设的知识融合策略对删除后剩余的存量知识进行融合,以对所述第一已对齐实体进行精简得到该第二已对齐实体。
该实施例中,服务器在基于增量知识对当前待对齐实体进行对齐之前,会基于减量知识对第一已对齐实体的结构进行精简。
具体的,服务器将全量知识与存量知识进行对比,确定全量知识与存量知识相比所减少的减量知识。由此可见,减量知识是不存在全量知识中的,即减量知识与当前待对齐实体无关。故将减量知识从存量知识中删除,进而基于预设的知识融合策略(例如:根据各组知识之间的相似度,将相似度小于预定阈值的各组知识融合在一起)对删除后剩余的存量知识进行融合,实现对第一已对齐实体的精简,得到精简后的第二已对齐实体。以在该第二已对齐实体的基础上,正确地基于增量知识对当前待对齐实体进行对齐。
该实施例的优点在于,通过基于增量知识精简第一已对齐实体的结构,从而保证了能够正确地对当前待对齐实体进行对齐。
在一实施例中,该增量知识包括至少一组知识,该存量知识包括至少一组知识。基于该全量知识与该存量知识的匹配对该第一已对齐实体进行精简,得到精简后的第二已对齐实体,包括:
若该增量知识中的一组知识的标识与该存量知识中的目标组知识的标识相同,则将该目标组知识从该存量知识中删除;
基于预设的知识融合策略对删除后剩余的存量知识进行融合,以对所述第一已对齐实体进行精简得到该第二已对齐实体。
该实施例中,服务器在基于增量知识对当前待对齐实体进行对齐之前,会基于更新的知识对第一已对齐实体的结构进行精简。
可以理解的,增量知识一般可以分为两类:一、增加的全新知识,例如:从增加的全新百科网页中提取出的知识;二、在旧知识的基础上更新得到的知识,例如:从更新百科网页中提取出的知识,其中,该更新百科网页是将旧百科网页中的部分信息进行更新得到的。若知识的标识是基于对网页url进行摘要得到的,则第二类增量知识的标识与对应的从旧百科网页提取出的存量知识的标识相同。显然,在已有第二类增量知识的情况下,对应的从旧百科网页提取出的存量知识(即目标组知识)与当前待对齐实体无关。故服务器将该目标组知识从存量知识中删除,进而基于预设的知识融合策略对删除后剩余的存量知识进行融合,实现对第一已对齐实体的精简,得到精简后的第二已对齐实体。以在该第二已对齐实体的基础上,正确地基于增量知识对当前待对齐实体进行对齐。
该实施例的优点在于,通过基于增量知识精简第一已对齐实体的结构,从而保证了能够正确地对当前待对齐实体进行对齐。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
下面对本公开一实施例中基于增量知识对当前待对齐实体进行对齐的具体实施过程进行描述。
在一实施例中,该增量知识包括至少一组知识,该存量知识包括至少一组知识。基于该增量知识对该当前待对齐实体进行对齐,包括:
基于预设的知识融合策略对该增量知识进行融合,得到该增量知识所描述的已对齐实体;
基于该增量知识中各组知识分别与该存量知识中各组知识的匹配,将该增量知识所描述的已对齐实体与该第二已对齐实体进行对齐,以对该当前待对齐实体进行对齐。
该实施例中,服务器先对增量知识进行融合得到增量知识所描述的已对齐实体,进而再将增量知识所描述的已对齐实体与第二已对齐实体进行对齐,实现对当前待对齐实体的对齐。
参考图3所示,图3中增量知识为:<实体A-身高-168cm>以及<实体B-身高-175cm>;第二已对齐实体为:知识图谱a2所描述的实体A以及知识图谱b2所描述的实体B。
对该增量知识进行融合后,得到该增量知识所描述的已对齐实体为:<实体A-身高-168cm>所描述的实体A以及<实体B-身高-175cm>所描述的实体B。可以理解的,“单一一组知识描述已对齐实体”属于“知识图谱描述已对齐实体”的范畴。
将<实体A-身高-168cm>所描述的实体A以及<实体B-身高-175cm>所描述的实体B,与知识图谱a2所描述的实体A以及知识图谱b2所描述的实体B进行对齐,得到了知识图谱a3所描述的实体A以及知识图谱b3所描述的实体B,实现了对对应当前待对齐实体的对齐。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,基于预设的知识融合策略对该增量知识进行融合,得到该增量知识所描述的已对齐实体,包括:
获取该增量知识中各组知识分别对应的第一向量;
基于各该第一向量之间的距离,确定该增量知识中各组知识之间的相似度;
基于预设的聚类算法以及该增量知识中各组知识之间的相似度,对该增量知识进行聚类,得到该增量知识所描述的已对齐实体。
该实施例中,服务器基于各组知识之间的相似度,对增量知识进行聚类,从而得到该增量知识所描述的已对齐实体。
具体的,服务器针对增量知识中的每一组知识,获取该组知识对应的第一向量(例如:基于预设的自然语言处理模型对以文本数据形式存储的知识进行处理,得到该组知识对应的第一向量);进而基于各第一向量之间的距离,确定各组知识之间的相似度(例如:将知识id1的第一向量与知识id2的第二向量之间的余弦距离,确定为知识id1与知识id2之间的相似度);进而基于预设的聚类算法以及相似度对增量知识进行聚类(例如:基于预设的层次聚类算法以及相似度,对增量知识进行聚类),得到增量知识所描述的已对齐实体。
在一实施例中,服务器对增量知识进行层次聚类,从而得到增量知识所描述的已对齐实体。
具体的,服务器将增量知识中各组知识分别作为一个样本,根据各样本分别对应的向量计算样本之间的距离,建立描述了样本距离的距离矩阵,距离矩阵中的元素为对应两个样本之间的距离;基于距离矩阵对样本进行迭代合并——每次迭代,将距离最近的两个样本合并为同一样本,并相应更新距离矩阵中的元素,直到样本之间的差异无法再继续支持进行合并为止。合并为同一个样本的各组知识属于同一类,描述的是同一实体,从而得到该增量知识所描述的已对齐实体。
可以理解的,服务器除了可以根据该实施例所示的方法对增量知识进行层次聚类,还可以根据其他方法对增量知识进行聚类。该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,基于该增量知识中各组知识分别与该存量知识中各组知识的匹配,将该增量知识所描述的已对齐实体与该第二已对齐实体进行对齐,包括:
获取该增量知识中各组知识分别对应的第一向量;
获取该存量知识中各组知识分别对应的第二向量;
基于各该第一向量分别与各该第二向量的距离,确定该增量知识中各组知识分别与该存量知识中各组知识的相似度;
若该增量知识中的第一组知识与该存量知识中的第二组知识的相似度大于预设阈值,则将该第一组知识所描述的已对齐实体与该第二组知识所描述的第二已对齐实体进行对齐。
该实施例中,服务器基于各组知识之间的相似度,将增量知识所描述的已对齐实体与存量知识所描述的第二已对齐实体进行对齐。
具体的,服务器获取到增量知识所描述的已对齐实体后,获取增量知识中每一组知识对应的第一向量,以及存量知识中每一组知识对应的第二向量;进而基于第一向量与第二向量的距离,确定增量知识中各组知识分别与存量知识中各组知识的相似度;若第一组知识与第二组知识的相似度大于预设阈值,则将第一组知识所描述的已对齐实体与该第二组知识所描述的第二已对齐实体进行对齐,从而实现将增量知识所描述的已对齐实体与第二已对齐实体进行对齐。
参考图3所示,图3中存量知识为:<实体A-职业-歌手>、<实体A-年龄-29岁>、<实体A-地址-光明路>、<实体B-职业-演员>;第二已对齐实体为:知识图谱a2所描述的实体A以及知识图谱b2所描述的实体B;增量知识为:<实体A-身高-168cm>以及<实体B-身高-175cm>;增量知识所描述的已对齐实体为:<实体A-身高-168cm>所描述的实体A以及<实体B-身高-175cm>所描述的实体B。
对于存量知识中的一组知识<实体A-职业-歌手>,增量知识中的一组知识<实体A-身高-168cm>,若通过这两组知识分别对应的向量之间的距离,确定这两组知识的相似度大于预设阈值,则将<实体A-身高-168cm>所描述的已对齐实体(即<实体A-身高-168cm>所描述的实体A)与<实体A-职业-歌手>所描述的第二已对齐实体(即知识图谱a2所描述的实体A)进行对齐,从而得到知识图谱a3所描述的实体A。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
下面对本公开另一实施例中基于增量知识对当前待对齐实体进行对齐的具体实施过程进行描述。
在一实施例中,该增量知识包括至少一组知识,该全量知识包括至少一组知识。基于该增量知识对该当前待对齐实体进行对齐,包括:
基于该增量知识中各组知识分别与该全量知识中各组知识的匹配,对该全量知识进行划分得到至少一个集合;
分别对该至少一个集合中包含的知识进行融合,得到初步对齐实体;
将该初步对齐实体与该第二已对齐实体进行对齐,以对该当前待对齐实体进行对齐。
该实施例中,服务器基于增量知识中各组知识分别与全量知识中各组知识的匹配(可以看作增量知识与全量知识之间的匹配),对全量知识进行分桶;进而分别对每个桶内的知识进行融合,实现初步的实体对齐,得到初步对齐实体;进而将初步对齐实体与第二已对齐实体进行对齐,以实现对当前待对齐实体的对齐。
可以理解的,若服务器对全量知识中包含的各组知识同时统一地进行融合,随着全量知识中所包含知识的组数的增加,服务器为进行融合所需要处理的信息将呈爆炸式的增长,从而导致处理效率低下。该实施例的优点在于,通过将全量知识进行分桶,各桶之间相互独立地进行知识融合,有效降低了服务器的处理压力,提高了处理效率。
在一实施例中,该存量知识包括至少一组知识。该第一已对齐实体通过以下方法得到:
基于该存量知识中各组知识之间的匹配,对该存量知识进行划分得到至少一个集合;
分别对该至少一个集合中包含的知识进行融合,得到该第一已对齐实体。
该实施例中,服务器基于存量知识中各组知识之间的匹配(可以看作存量知识与存量知识之间的匹配),对存量知识进行分桶;进而分别对每个桶内的知识进行融合,从而得到第一已对齐实体。
该实施例的优点在于,通过将存量知识进行分桶,各桶之间相互独立地进行知识融合,有效降低了服务器的处理压力,提高了处理效率。
可以理解的,服务器除了可以通过对存量知识进行分桶,进而分别在每个桶内进行知识融合得到第一已对齐实体外,还可以不进行分桶,直接对存量知识中的所有知识进行融合得到第一已对齐实体。该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
可以理解的,“对存量知识进行分桶,进而分别对每个桶内的知识进行融合”的实施过程与“对全量知识进行分桶,进而分别对每个桶内的知识进行融合”的实施过程同理。故下面对“对全量知识进行分桶,进而分别对每个桶内的知识进行融合”的实施过程进行详细描述,不再赘述“对存量知识进行分桶,进而分别对每个桶内的知识进行融合”的实施过程。
在一实施例中,基于该增量知识中各组知识分别与该全量知识中各组知识的匹配,对该全量知识进行划分得到至少一个集合,包括:
基于预设的匹配规则确定该全量知识中与该增量知识中的第一组知识相似的第三组知识,并将该第一组知识与该第三组知识确定为一知识对;
将相互存在交集的知识对划分至同一集合中。
该实施例中,服务器根据增量知识与全量知识的匹配,对全量知识进行知识对的划分;进而通过对知识对并差集的方式,对全量知识进行分桶。其中,第一组知识为增量知识中的一组知识;第三组知识为全量知识中的一组知识。
具体的,服务器针对增量知识中第一组知识,基于预设的匹配规则在全量知识中找到与该第一组知识相似的第三组知识(例如:获取该第一组知识对应的第一向量以及全量知识中第三组知识对应的第三向量,将第一向量与第三向量的距离确定为该第一组知识与该第三组知识的相似度,若相似度大于预定阈值,则将该第三组知识确定为与该第一组知识相似),并将该第一组知识与该第三组知识共同确定为一知识对。由于增量知识包含于全量知识,因此第一组知识也是包含于全量知识的。至此,服务器实现对全量知识进行知识对的划分。进而服务器将相互存在交集的知识对进行合并,划分至同一集合中,实现对全量知识的分桶。
可以理解的,关于预设的匹配规则,除了可以根据向量之间的距离确定知识之间的相似度,进而根据相似度确定知识之间是否相似外;还可以根据知识所描述的实体的个别关键属性的匹配与否,确定知识之间是否相似。
具体的,匹配规则可以为:若两组知识分别所描述的实体的名称相同,则将这两组知识确定为相似。例如:知识id1为<张三-职业-歌手>,知识id2为<张三-年龄-25岁>。知识id1所描述的实体的名称与知识id2所描述的实体的名称均为“张三”,则确定知识id1与知识id2相似。
或者,匹配规则还可以为:若两组知识分别所描述的实体的出生日期或者公开日期相同,则将这两组知识确定为相似。例如:知识id1为<电影甲-上映日期-1997/1/1>,知识id2为<电影乙-上映日期-1997/1/1>。知识id1所描述的实体的上映日期与知识id2所描述的实体的上映日期均为“1997/1/1”,则确定知识id1与知识id2相似。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,该方法还包括:基于预设的匹配规则确定该全量知识中与该增量知识中的第一组知识冲突的第三组知识,并将该第一组知识与该第三组知识确定为一知识对。
该实施例中,服务器除了会将与第一组知识相似的第三组知识与该第一组知识共同确定为一知识对,还会将与第一组知识冲突的第三组知识与该第一组知识共同确定为一知识对。
具体的,匹配规则可以为:若两组知识分别所描述的实体的名称相同,同时,这两组知识所描述的实体的其他关键属性不同,则将这两组知识确定为冲突。例如:知识id1为<张三-职业-歌手>,知识id2为<张三-职业-医生>。知识id1所描述的实体的名称与知识id2所描述的实体的名称均为“张三”,但知识id1所描述的实体的职业为歌手而知识id2所描述的实体的职业为医生,则确定知识id1与知识id2冲突。
可以理解的,很多情况下,两个实体尽管实际上并不是同一实体,但这两个实体的名称却是相同的。例如:姓名相同的两个人;歌名相同的两首歌。故引入冲突的知识对,与存在交集的相似的知识对一起进行聚类,从而提高实体对齐的准确性。
需要说明的是,对于全量知识中的任意两组知识,并不一定会存在相似或冲突的关系,只有存在一定程度联系的两组知识才会被确定为相似或者冲突(例如:所描述实体的名称相同的两组知识被确定为相似)。两组知识之间也可以既不相似也不冲突,从而既不相似也不冲突的两组知识不会被分至同一个桶内。该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,将该初步对齐实体与该第二已对齐实体进行对齐,包括:将该存量知识中的目标组知识所描述的初步对齐实体与该目标组知识所描述的第二已对齐实体进行对齐。
该实施例中,服务器将被同一知识所描述的初步对齐实体与第二已对齐实体进行对齐。其中,目标组知识指的是存量知识中特定的一组知识。可以理解的,若存量知识中的目标组知识用于描述特定的第二已对齐实体,还用于描述特定的初步对齐实体,则说明该目标组知识所描述的初步对齐实体与该目标组知识所描述的第二已对齐实体为同一实体。从而服务器可以通过这种方法将初步对齐实体与第二已对齐实体进行对齐。
在一实施例中,该存量知识包括至少一组知识。基于该增量知识对该当前待对齐实体进行对齐,还包括:将该存量知识中的目标组知识所描述的第二已对齐实体的标识,确定为该目标组知识所描述的目标对齐实体的标识,其中,该目标对齐实体为对该当前待对齐实体进行对齐所得到的实体。
该实施例中,服务器在确定目标对齐实体的标识时,优先保留第二已对齐实体的标识。其中,目标对齐实体为将当前待对齐实体对齐得到的实体。
例如:参考图3所示,图3中存量知识为:<实体A-职业-歌手>、<实体A-年龄-29岁>、<实体A-地址-光明路>、<实体B-职业-演员>;第二已对齐实体为:知识图谱a2所描述的实体A以及知识图谱b2所描述的实体B。其中,知识图谱a2所描述的实体A的标识为uuid1,知识图谱b2所描述的实体B的标识为uuid2。
服务器得到的目标对齐实体为:知识图谱a3所描述的实体A以及知识图谱b3所描述的实体B。由于存量知识中的<实体A-职业-歌手>在描述了知识图谱a2所描述的实体A的同时,还描述了知识图谱a3所描述的实体A,故将知识图谱a3所描述的实体A的标识确定为uuid1;由于存量知识中的<实体B-职业-演员>在描述了知识图谱b2所描述的实体B的同时,还描述了知识图谱b3所描述的实体B,故将知识图谱b3所描述的实体B的标识确定为uuid2。
该实施例的优点在于,通过优先保留第二已对齐实体的标识,避免了存储的实体的标识频繁变换,从而提高对不同版本的数据进行分析(例如:对不同版本的数据进行调试)的便捷度。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
图5示出了本公开一实施例的数据处理的完整流程。
该实施例中,输入为全量知识以及上一版本数据,其中,上一版本数据描述了上一次进行实体对齐后得到的上一版本知识图谱。
根据全量知识以及上一版本数据,计算增量知识:得到增量知识;并将变化知识(例如:标识未变,其中部分信息改变了的知识)从上一版本知识图谱中过滤掉,得到过滤变化知识后的上一版本知识图谱。
将增量知识与该上一版本知识图谱进行相似度预计算:通过相似度计算,预先确定出部分增量知识在该上一版本知识图谱中的所属实体(例如:若根据相似度确定增量知识中的一组知识id1有大于99.5%的可能用于描述上一版本知识图谱中的实体A,则直接预先确定知识id1在上一版本知识图谱中的所属实体为实体A),进而将该部分增量知识的标识添加在该上一版本知识图谱的标识关联列表“uuid-(old)id_list”——“实体标识-(旧)知识标识列表”中,实现该部分增量知识的标识id与上一版本知识图谱中的所属实体的标识uuid的关联,从而将该部分增量知识融入该上一版本知识图谱中的所属实体。其中,id_list为知识标识列表,old表示的是旧的uuid和id的关联关系。
根据相似度预计算预先确定出部分增量知识在该上一版本知识图谱中的所属实体后,将该部分增量知识从待融合的增量知识中剔除,得到真正增量知识——即仅根据相似度尚无法直接确定其所属实体的增量知识。
此时,认为真正增量知识中的每一组知识均相应描述了对应的一个新实体。因此,对于真正增量知识中的每一组知识均相应生成新实体的标识uuid,并将真正增量知识中的每一组知识的标识id与对应的新实体的标识uuid关联,得到用于描述实体与知识关联关系的“uuid-(new)id”——即“实体标识-(新)知识标识”。其中,new表示的是新的uuid和id的关联关系。
可以理解的,未确定所属实体的真正增量知识还是有可能属于上一版本知识图谱中的一实体的,只是仅根据相似度无法直接确定而已。因此,将真正增量知识与该上一版本知识图谱进行相似度计算:根据计算出的增量知识中各组知识分别与上一版本知识图谱中各组知识的相似度,以及预设的匹配规则,确定出相似对(相似的知识对)以及冲突对(冲突的知识对)。其中,可以将相似对的权重记为1,将冲突对的权重记为-10000,以区分相似对与冲突对。
根据确定出的相似对进行并差集:相互存在交集的相似对分到同一个桶内。并根据“实体标识-(旧)知识标识列表”以及“实体标识-(新)知识标识”得到用于描述桶中具体包含了哪些知识的“桶标识-知识标识列表”——即“b_id id_list”。其中,b_id为桶的标识,id_list为知识标识列表。
对同一桶内的知识进行层次聚类:将每一组知识确定为一个样本,根据各样本分别对应的向量计算样本之间的距离,建立描述了样本距离的距离矩阵,距离矩阵中的元素为对应两个样本之间的距离;基于距离矩阵对样本进行迭代合并——每次迭代,将距离最近的两个样本合并为同一样本,并相应更新距离矩阵中的元素,直到样本之间的差异无法再继续支持进行合并为止。合并为同一个样本的各组知识属于同一类,描述的是同一实体,故合并为同一个样本的各组知识描述的是同一实体。从而得到本次实体对齐对应的本次版本知识图谱。
再结合相似度预计算得到的“实体标识-(旧)知识标识列表”以及“桶标识-知识标识列表”,优先保留上一版本知识图谱中实体的标识,最终得到用于描述本次版本知识图谱中实体与知识关联关系的“实体标识-知识标识列表”——即“uuid-id_list”。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
根据本公开一实施例,如图6所示,还提供了一种数据处理装置,所述装置包括:
第一获取模块210,配置为获取用于描述第一已对齐实体的存量知识;
第二获取模块220,配置为获取用于描述当前待对齐实体的全量知识;
第三获取模块230,配置为获取所述全量知识与所述存量知识相比所增加的增量知识;
精简模块240,配置为基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体;
对齐模块250,配置为在所述第二已对齐实体的基础上,基于所述增量知识对所述当前待对齐实体进行对齐。
在本公开的一示例性实施例中,所述装置配置为:
确定所述全量知识与所述存量知识相比所减少的减量知识;
将所述减量知识从所述存量知识中删除;
基于预设的知识融合策略对删除后剩余的存量知识进行融合,以对所述第一已对齐实体进行精简得到所述第二已对齐实体。
在本公开的一示例性实施例中,所述增量知识包括至少一组知识,所述存量知识包括至少一组知识。所述装置配置为:
若所述增量知识中的一组知识的标识与所述存量知识中的目标组知识的标识相同,则将所述目标组知识从所述存量知识中删除;
基于预设的知识融合策略对删除后剩余的存量知识进行融合,以对所述第一已对齐实体进行精简得到所述第二已对齐实体。
在本公开的一示例性实施例中,所述增量知识包括至少一组知识,所述存量知识包括至少一组知识。所述装置配置为:
基于预设的知识融合策略对所述增量知识进行融合,得到所述增量知识所描述的已对齐实体;
基于所述增量知识中各组知识分别与所述存量知识中各组知识的匹配,将所述增量知识所描述的已对齐实体与所述第二已对齐实体进行对齐,以对所述当前待对齐实体进行对齐。
在本公开的一示例性实施例中,所述装置配置为:
获取所述增量知识中各组知识分别对应的第一向量;
基于各所述第一向量之间的距离,确定所述增量知识中各组知识之间的相似度;
基于预设的聚类算法以及所述增量知识中各组知识之间的相似度,对所述增量知识进行聚类,得到所述增量知识所描述的已对齐实体。
在本公开的一示例性实施例中,所述装置配置为:
获取所述增量知识中各组知识分别对应的第一向量;
获取所述存量知识中各组知识分别对应的第二向量;
基于各所述第一向量分别与各所述第二向量的距离,确定所述增量知识中各组知识分别与所述存量知识中各组知识的相似度;
若所述增量知识中的第一组知识与所述存量知识中的第二组知识的相似度大于预设阈值,则将所述第一组知识所描述的已对齐实体与所述第二组知识所描述的第二已对齐实体进行对齐。
在本公开的一示例性实施例中,所述存量知识包括至少一组知识。所述装置配置为:
基于所述存量知识中各组知识之间的匹配,对所述存量知识进行划分得到至少一个集合;
分别对所述至少一个集合中包含的知识进行融合,得到所述第一已对齐实体。
在本公开的一示例性实施例中,所述增量知识包括至少一组知识,所述全量知识包括至少一组知识。所述装置配置为:
基于所述增量知识中各组知识分别与所述全量知识中各组知识的匹配,对所述全量知识进行划分得到至少一个集合;
分别对所述至少一个集合中包含的知识进行融合,得到初步对齐实体;
将所述初步对齐实体与所述第二已对齐实体进行对齐,以对所述当前待对齐实体进行对齐。
在本公开的一示例性实施例中,所述装置配置为:
基于预设的匹配规则确定所述全量知识中与所述增量知识中的第一组知识相似的第三组知识,并将所述第一组知识与所述第三组知识确定为一知识对;
将相互存在交集的知识对划分至同一集合中。
在本公开的一示例性实施例中,所述装置配置为:基于预设的匹配规则确定所述全量知识中与所述增量知识中的第一组知识冲突的第三组知识,并将所述第一组知识与所述第三组知识确定为一知识对。
在本公开的一示例性实施例中,所述装置配置为:将所述存量知识中的目标组知识所描述的初步对齐实体与所述目标组知识所描述的第二已对齐实体进行对齐。
在本公开的一示例性实施例中,所述存量知识包括至少一组知识。所述装置配置为:将所述存量知识中的目标组知识所描述的第二已对齐实体的标识,确定为所述目标组知识所描述的目标对齐实体的标识,其中,所述目标对齐实体为对所述当前待对齐实体进行对齐所得到的实体。
下面参考图7来描述根据本公开实施例的数据处理电子设备30。图7显示的数据处理电子设备30仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,数据处理电子设备30以通用计算设备的形式表现。数据处理电子设备30的组件可以包括但不限于:上述至少一个处理单元310、上述至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元310执行,使得所述处理单元310执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元310可以执行如图4中所示的各个步骤。
存储单元320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202,还可以进一步包括只读存储单元(ROM)3203。
存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204,这样的程序模块3205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
数据处理电子设备30也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该数据处理电子设备30交互的设备通信,和/或与使得该数据处理电子设备30能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。输入/输出(I/O)接口350与显示单元340相连。并且,数据处理电子设备30还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器360通过总线330与数据处理电子设备30的其它模块通信。应当明白,尽管图中未示出,可以结合数据处理电子设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行上述方法实施例部分描述的方法。
根据本公开的一个实施例,还提供了一种用于实现上述方法实施例中的方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如JAVA、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (15)
1.一种数据处理方法,其特征在于,所述方法包括:
获取用于描述第一已对齐实体的存量知识;
获取用于描述当前待对齐实体的全量知识;
获取所述全量知识与所述存量知识相比所增加的增量知识;
基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体;
在所述第二已对齐实体的基础上,基于所述增量知识对所述当前待对齐实体进行对齐。
2.根据权利要求1所述的方法,其特征在于,基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体,包括:
确定所述全量知识与所述存量知识相比所减少的减量知识;
将所述减量知识从所述存量知识中删除;
基于预设的知识融合策略对删除后剩余的存量知识进行融合,以对所述第一已对齐实体进行精简得到所述第二已对齐实体。
3.根据权利要求1所述的方法,其特征在于,所述增量知识包括至少一组知识,所述存量知识包括至少一组知识;
基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体,包括:
若所述增量知识中的一组知识的标识与所述存量知识中的目标组知识的标识相同,则将所述目标组知识从所述存量知识中删除;
基于预设的知识融合策略对删除后剩余的存量知识进行融合,以对所述第一已对齐实体进行精简得到所述第二已对齐实体。
4.根据权利要求1所述的方法,其特征在于,所述增量知识包括至少一组知识,所述存量知识包括至少一组知识;
基于所述增量知识对所述当前待对齐实体进行对齐,包括:
基于预设的知识融合策略对所述增量知识进行融合,得到所述增量知识所描述的已对齐实体;
基于所述增量知识中各组知识分别与所述存量知识中各组知识的匹配,将所述增量知识所描述的已对齐实体与所述第二已对齐实体进行对齐,以对所述当前待对齐实体进行对齐。
5.根据权利要求4所述的方法,其特征在于,基于预设的知识融合策略对所述增量知识进行融合,得到所述增量知识所描述的已对齐实体,包括:
获取所述增量知识中各组知识分别对应的第一向量;
基于各所述第一向量之间的距离,确定所述增量知识中各组知识之间的相似度;
基于预设的聚类算法以及所述增量知识中各组知识之间的相似度,对所述增量知识进行聚类,得到所述增量知识所描述的已对齐实体。
6.根据权利要求4所述的方法,其特征在于,基于所述增量知识中各组知识分别与所述存量知识中各组知识的匹配,将所述增量知识所描述的已对齐实体与所述第二已对齐实体进行对齐,包括:
获取所述增量知识中各组知识分别对应的第一向量;
获取所述存量知识中各组知识分别对应的第二向量;
基于各所述第一向量分别与各所述第二向量的距离,确定所述增量知识中各组知识分别与所述存量知识中各组知识的相似度;
若所述增量知识中的第一组知识与所述存量知识中的第二组知识的相似度大于预设阈值,则将所述第一组知识所描述的已对齐实体与所述第二组知识所描述的第二已对齐实体进行对齐。
7.根据权利要求1所述的方法,其特征在于,所述存量知识包括至少一组知识;
所述第一已对齐实体通过以下方法得到:
基于所述存量知识中各组知识之间的匹配,对所述存量知识进行划分得到至少一个集合;
分别对所述至少一个集合中包含的知识进行融合,得到所述第一已对齐实体。
8.根据权利要求1所述的方法,其特征在于,所述增量知识包括至少一组知识,所述全量知识包括至少一组知识;
基于所述增量知识对所述当前待对齐实体进行对齐,包括:
基于所述增量知识中各组知识分别与所述全量知识中各组知识的匹配,对所述全量知识进行划分得到至少一个集合;
分别对所述至少一个集合中包含的知识进行融合,得到初步对齐实体;
将所述初步对齐实体与所述第二已对齐实体进行对齐,以对所述当前待对齐实体进行对齐。
9.根据权利要求8所述的方法,其特征在于,基于所述增量知识中各组知识分别与所述全量知识中各组知识的匹配,对所述全量知识进行划分得到至少一个集合,包括:
基于预设的匹配规则确定所述全量知识中与所述增量知识中的第一组知识相似的第三组知识,并将所述第一组知识与所述第三组知识确定为一知识对;
将相互存在交集的知识对划分至同一集合中。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:基于预设的匹配规则确定所述全量知识中与所述增量知识中的第一组知识冲突的第三组知识,并将所述第一组知识与所述第三组知识确定为一知识对。
11.根据权利要求8所述的方法,其特征在于,将所述初步对齐实体与所述第二已对齐实体进行对齐,包括:将所述存量知识中的目标组知识所描述的初步对齐实体与所述目标组知识所描述的第二已对齐实体进行对齐。
12.根据权利要求1所述的方法,其特征在于,所述存量知识包括至少一组知识;
基于所述增量知识对所述当前待对齐实体进行对齐,还包括:将所述存量知识中的目标组知识所描述的第二已对齐实体的标识,确定为所述目标组知识所描述的目标对齐实体的标识,其中,所述目标对齐实体为对所述当前待对齐实体进行对齐所得到的实体。
13.一种数据处理装置,其特征在于,所述装置包括:
第一获取模块,配置为获取用于描述第一已对齐实体的存量知识;
第二获取模块,配置为获取用于描述当前待对齐实体的全量知识;
第三获取模块,配置为获取所述全量知识与所述存量知识相比所增加的增量知识;
精简模块,配置为基于所述全量知识与所述存量知识的匹配对所述第一已对齐实体进行精简,得到精简后的第二已对齐实体;
对齐模块,配置为在所述第二已对齐实体的基础上,基于所述增量知识对所述当前待对齐实体进行对齐。
14.一种数据处理电子设备,其特征在于,包括:
存储器,存储有计算机可读指令;
处理器,读取存储器存储的计算机可读指令,以执行权利要求1-12中的任一个所述的方法。
15.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1-12中的任一个所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010213661.8A CN111488461A (zh) | 2020-03-24 | 2020-03-24 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010213661.8A CN111488461A (zh) | 2020-03-24 | 2020-03-24 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111488461A true CN111488461A (zh) | 2020-08-04 |
Family
ID=71794557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010213661.8A Pending CN111488461A (zh) | 2020-03-24 | 2020-03-24 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111488461A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9646260B1 (en) * | 2013-06-24 | 2017-05-09 | Amazon Technologies, Inc. | Using existing relationships in a knowledge base to identify types of knowledge for addition to the knowledge base |
CN107368468A (zh) * | 2017-06-06 | 2017-11-21 | 广东广业开元科技有限公司 | 一种运维知识图谱的生成方法及系统 |
CN108268581A (zh) * | 2017-07-14 | 2018-07-10 | 广东神马搜索科技有限公司 | 知识图谱的构建方法及装置 |
CN109783582A (zh) * | 2018-12-04 | 2019-05-21 | 平安科技(深圳)有限公司 | 一种知识库对齐方法、装置、计算机设备及存储介质 |
CN110377906A (zh) * | 2019-07-15 | 2019-10-25 | 出门问问信息科技有限公司 | 实体对齐方法、存储介质和电子设备 |
CN110489561A (zh) * | 2019-07-12 | 2019-11-22 | 平安科技(深圳)有限公司 | 知识图谱构建方法、装置、计算机设备和存储介质 |
CN110727802A (zh) * | 2019-09-16 | 2020-01-24 | 金色熊猫有限公司 | 知识图谱构建方法及装置、存储介质及电子终端 |
-
2020
- 2020-03-24 CN CN202010213661.8A patent/CN111488461A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9646260B1 (en) * | 2013-06-24 | 2017-05-09 | Amazon Technologies, Inc. | Using existing relationships in a knowledge base to identify types of knowledge for addition to the knowledge base |
CN107368468A (zh) * | 2017-06-06 | 2017-11-21 | 广东广业开元科技有限公司 | 一种运维知识图谱的生成方法及系统 |
CN108268581A (zh) * | 2017-07-14 | 2018-07-10 | 广东神马搜索科技有限公司 | 知识图谱的构建方法及装置 |
CN109783582A (zh) * | 2018-12-04 | 2019-05-21 | 平安科技(深圳)有限公司 | 一种知识库对齐方法、装置、计算机设备及存储介质 |
CN110489561A (zh) * | 2019-07-12 | 2019-11-22 | 平安科技(深圳)有限公司 | 知识图谱构建方法、装置、计算机设备和存储介质 |
CN110377906A (zh) * | 2019-07-15 | 2019-10-25 | 出门问问信息科技有限公司 | 实体对齐方法、存储介质和电子设备 |
CN110727802A (zh) * | 2019-09-16 | 2020-01-24 | 金色熊猫有限公司 | 知识图谱构建方法及装置、存储介质及电子终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977110B (zh) | 数据清洗方法、装置及设备 | |
CN111339427B (zh) | 一种图书信息推荐方法、装置、系统及存储介质 | |
CN111258966A (zh) | 一种数据去重方法、装置、设备及存储介质 | |
CN108363686A (zh) | 一种字符串分词方法、装置、终端设备及存储介质 | |
US10372684B2 (en) | Metadata peering with improved inodes | |
CN111291571A (zh) | 语义纠错方法、电子设备及存储介质 | |
CN110162637B (zh) | 信息图谱构建方法、装置及设备 | |
CN112241458B (zh) | 文本的知识结构化处理方法、装置、设备和可读存储介质 | |
CN110609952A (zh) | 数据采集方法、系统和计算机设备 | |
US20030159110A1 (en) | Structured document management system, structured document management method, search device and search method | |
CN110442585B (zh) | 数据更新方法、数据更新装置、计算机设备及存储介质 | |
CN115858488A (zh) | 基于数据治理的平行迁移方法、装置及可读介质 | |
CN113836272A (zh) | 关键信息的展示方法、系统、计算机设备及可读存储介质 | |
CN105843809B (zh) | 数据处理方法和装置 | |
CN111401056A (zh) | 一种从多类文本中提取关键词的方法 | |
CN111488461A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN107169065B (zh) | 一种特定内容的去除方法和装置 | |
CN111581162B (zh) | 一种基于本体的海量文献数据的聚类方法 | |
CN113326063B (zh) | 数据处理方法、电子设备及存储介质 | |
CN110321435B (zh) | 一种数据源划分方法、装置、设备和存储介质 | |
CN112163024B (zh) | 一种基于层级关联结构的配置信息导出和导入方法 | |
CN115203208A (zh) | 值域表匹配方法、装置、设备及存储介质 | |
CN113010642A (zh) | 语义关系的识别方法、装置、电子设备及可读存储介质 | |
CN117729176B (zh) | 基于网络地址和响应体的应用程序接口聚合方法及装置 | |
CN117493466B (zh) | 财务数据同步方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |