CN104866625A - 一种用于实体匹配的方法及系统 - Google Patents

Abstract

本申请提供了一种用于实体匹配的方法及系统，该方法包括：根据两个待处理实体的属性值分布分别确定各自的属性区分度；根据所述两个待处理实体的非主属性的值计算得到所述两个待处理实体的属性相似度；将所述属性区分度和所述属性相似度加权求和得到所述两个待处理实体的实体相似度；将所述实体相似度与相似度阈值进行对比，判断所述两个待处理实体的相似性。该方法能够通过利用非主属性的值以及属性分布求得实体相似度，进而进行实体匹配，较好的识别出相同的实体，节约了时间提高了效率。

Description

一种用于实体匹配的方法及系统

技术领域

本申请涉及数据库技术领域，尤其涉及一种用于实体匹配的方法及系统。

背景技术

在信息化不断发展的当今社会，每天都有各种各样的信息涌入我们的生活。然而，在这些信息当中不乏那些重复的信息，即实例对，这不仅导致了信息的冗余，而且极有可能带来数据不一致的问题。

数据表中包含着多个实体，在两个数据表中可能存在相同的实体，这两个实体构成一个实例对表示同一个实体。由于这些实体可能以不同的方式表示，也可能在涵盖信息的广度上有所不同，使得在进行信息整合时无法较好的识别出这些相同的实体，不仅耗时耗力，而且效率低下，因此需要找出这些实例对，对它们加以识别，以便于信息的融合。

发明内容

有鉴于此，本申请提供了一种用于实体匹配的方法及系统，以克服现有技术中由于无法较好的识别出相同的实体，导致在进行信息整合时不仅耗时耗力，而且效率低下的问题。

为实现上述目的，本申请提供以下技术方案：

一种用于实体匹配的方法，该方法包括：

根据两个待处理实体的属性值分布分别确定各自的属性区分度；

根据所述两个待处理实体的非主属性的值计算得到所述两个待处理实体的属性相似度；

将所述属性区分度和所述属性相似度加权求和得到所述两个待处理实体的实体相似度；

将所述实体相似度与相似度阈值进行对比，判断所述两个待处理实体的相似性。

优选的，所述属性区分度的计算公式为：

$difScore(A_i,T)=\frac{distinct(A_i,T)}{\left|T\right|}$

其中，difScore(A_i,T)表示数据表T中属性A_i的区分度，distinct(A_i,T)表示数据表T中属性A_i不同值的个数，|T|表示数据表T中的实体数目。

优选的，所述属性相似度的计算公式为：

Similarity(A)＝sim(t_i[A],s_i[A])

其中，Similarity(A)表示两个待处理实体中属性A的相似度，t_i[A]表示实体t_i中属性A的值，s_i[A]表示实体s_i中属性A的值。

优选的，所述实体相似度的计算公式为：

$F_{baseline}(t,s)=\frac{{\mathrm{\Σ}}_{A\∈S_{NK}}(difScore\left(A\right)*Similarity\left(A\right))}{{\mathrm{\Σ}}_{A\∈S_{NK}}difScore\left(A\right)}$

其中，F_baseline(t,s)表示实体t和实体s的实体相似度，S_NK表示实体的非主属性构成的集合，difScore(A)表示实体t中属性A的区分度与实体s中属性A的区分度的平均值。

一种用于实体匹配的系统，该系统包括：

确定单元，用于根据两个待处理实体的属性值分布分别确定各自的属性区分度；

计算单元，用于根据所述两个待处理实体的非主属性的值计算得到所述两个待处理实体的属性相似度；

求和单元，用于将所述属性区分度和所述属性相似度加权求和得到所述两个待处理实体的实体相似度；

判断单元，用于将所述实体相似度与相似度阈值进行对比，判断所述两个待处理实体的相似性。

优选的，所述属性区分度的计算公式为：

$difScore(A_i,T)=\frac{distinct(A_i,T)}{\left|T\right|}$

其中，difScore(A_i,T)表示数据表T中属性A_i的区分度，distinct(A_i,T)表示数据表T中属性A_i不同值的个数，|T|表示数据表T中的实体数目。

优选的，所述属性相似度的计算公式为：

Similarity(A)＝sim(t_i[A],s_i[A])

其中，Similarity(A)表示两个待处理实体中属性A的相似度，t_i[A]表示实体t_i中属性A的值，s_i[A]表示实体s_i中属性A的值。

优选的，所述实体相似度的计算公式为：

$F_{baseline}(t,s)=\frac{{\mathrm{\Σ}}_{A\∈S_{NK}}(difScore\left(A\right)*Similarity\left(A\right))}{{\mathrm{\Σ}}_{A\∈S_{NK}}difScore\left(A\right)}$

其中，F_baseline(t,s)表示实体t和实体s的实体相似度，S_NK表示实体的非主属性构成的集合，difScore(A)表示实体t中属性A的区分度与实体s中属性A的区分度的平均值。

由以上技术方案可知，本申请提供了一种用于实体匹配的方法及系统，该方法包括：根据两个待处理实体的属性值分布分别确定各自的属性区分度；根据所述两个待处理实体的非主属性的值计算得到所述两个待处理实体的属性相似度；将所述属性区分度和所述属性相似度加权求和得到所述两个待处理实体的实体相似度；将所述实体相似度与相似度阈值进行对比，判断所述两个待处理实体的相似性。该方法能够通过利用非主属性的值以及属性分布求得实体相似度，进而进行实体匹配，较好的识别出相同的实体，节约了时间提高了效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例一提供的一种用于实体匹配的方法的流程图；

图2为本申请实施例二提供的一种用于实体匹配的系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为克服现有技术中由于无法较好的识别出相同的实体，导致在进行信息整合时不仅耗时耗力，而且效率低下的问题，本申请提供了一种基于非主属性的用于实体匹配的方法及系统，具体方案如下所述：

实施例一

本申请实施例一提供了一种用于实体匹配的方法，如图1所示，图1为本申请实施例一提供的一种用于实体匹配的方法的流程图。该方法包括：

S101：根据两个待处理实体的属性值分布分别确定各自的属性区分度。

属性的识别度，即属性区分度是指属性区别一实体与另一实体的能力，即判别实例对是否为同一实体的能力，识别度越高说明属性区分实例对的能力越高。

本申请主要使用非主属性区别一实体与其它实体的能力，并将这种能力定义为属性的区分度得分-difScore，它反映了属性值的离散程度。如果属性值的种类越多，那么该属性的离散值就越高，也就说明了该属性能够较好的区分实体。

对于两个数据表T₁＝{t₁,t₂,...,t_n}和T₂＝{s₁,s₂,...,s_m}，T₁中的任一实体t_i(1≤i≤n),T₂的中的任一实体s_j(1≤j≤m)，实体匹配就是找出指代同一实体的实例对(t_i,s_j)。

本申请中我们提出了一种基于非主属性的实体匹配方法-NokeaRM。对于给定的两个数据表T₁＝{t₁,t₂,...,t_n}和T₂＝{s₁,s₂,...,s_m}，我们假定这两个表具有共同的属性集合S_NK＝{A₁,A₂,...,A_p}，NokeaRM旨在找到这样一个函数F(t_i,s_j)和一个阈值τ，T₁中的任一实体t_i(1≤i≤n),T₂的中的任一实体s_j(1≤i≤m),当且仅当F(t_i,s_j)≥τ，对T₂中任意的s_k,有F(t_i,s_j)≥F(t_i,s_k)。

具体的，属性区分度的计算公式为：

$difScore(A_i,T)=\frac{distinct(A_i,T)}{\left|T\right|}$

其中，difScore(A_i,T)表示数据表T中属性Ai的区分度，distinct(A_i,T)表示数据表T中属性Ai不同值的个数，即可表示数据表T中属性Ai的值的分布，|T|表示数据表T中的实体数目。

在本申请中，需要对实体的每一个非主属性进行计算其属性区分度。

S102：根据两个待处理实体的非主属性的值计算得到两个待处理实体的属性相似度。

具体的，属性相似度的计算公式为：

Similarity(A)＝sim(t_i[A],s_i[A])

其中，Similarity(A)表示两个待处理实体中属性A的相似度，t_i[A]表示实体t_i中属性A的值，s_i[A]表示实体s_i中属性A的值。

需要说明的是，需要对实体的每个属性都进行相似度计算，sim(·,·)表示字符串相似度算法，如Jacard、Consine、Edit-distance等，本申请中使用的为Edit-distance相似度算法。

S103：将属性区分度和属性相似度加权求和得到两个待处理实体的实体相似度。

具体的，实体相似度的计算公式为：

$F_{baseline}(t,s)=\frac{{\mathrm{\Σ}}_{A\∈S_{NK}}(difScore\left(A\right)*Similarity\left(A\right))}{{\mathrm{\Σ}}_{A\∈S_{NK}}difScore\left(A\right)}$

其中，F_baseline(t,s)表示实体t和实体s的实体相似度，S_NK表示实体的非主属性构成的集合，difScore(A)表示实体t中属性A的区分度与实体s中属性A的区分度的平均值。

该公式中的求和部分其限制条件为A∈S_NK，即表示了对实体的每个非主属性都进行运算，其中S_NK是由非主属性组成的集合。

S104：将实体相似度与相似度阈值进行对比，判断两个待处理实体的相似性。

具体的，当实体相似度大于或等于相似度阈值时，可以判定两个待处理的实体为实例对。

在我们的实验当中方案一能够识别出近一半的实例对，其召回率为45-55％，准确率为80％左右，具有较高的准确率和召回率。该方案的时间复杂度为O(pnm)，其中|T₁|＝n,|T₂|＝m,|S_NK|＝p，其中，n、m、p取值范围没有限制，是由具体的数据集所决定的。

由以上技术方案可知，本申请实施例一提供了一种用于实体匹配的方法，该方法包括：根据两个待处理实体的属性值分布分别确定各自的属性区分度；根据所述两个待处理实体的非主属性的值计算得到所述两个待处理实体的属性相似度；将所述属性区分度和所述属性相似度加权求和得到所述两个待处理实体的实体相似度；将所述实体相似度与相似度阈值进行对比，判断所述两个待处理实体的相似性。该方法能够通过利用非主属性的值以及属性分布求得实体相似度，进而进行实体匹配，较好的识别出相同的实体，节约了时间提高了效率。

实施例二

在实施例一的基础上，本申请实施例二提供了一种用于实体匹配的系统，如图2所示，图2为本申请实施例二提供的一种用于实体匹配的系统的结构示意图。该系统包括：确定单元201、计算单元202、求和单元203和判断单元204，其中，

确定单元201，用于根据两个待处理实体的属性值分布分别确定各自的属性区分度。

其中，属性区分度的计算公式为：

$difScore(A_i,T)=\frac{distinct(A_i,T)}{\left|T\right|}$

其中，difScore(A_i,T)表示数据表T中属性A_i的区分度，distinct(A_i,T)表示数据表T中属性A_i不同值的个数，即可表示数据表T中属性Ai的值的分布，|T|表示数据表T中的实体数目。

在本申请中，需要对实体的每一个非主属性进行计算其属性区分度。

计算单元202，用于根据两个待处理实体的非主属性的值计算得到两个待处理实体的属性相似度。

其中，属性相似度的计算公式为：

Similarity(A)＝sim(t_i[A],s_i[A])

其中，Similarity(A)表示两个待处理实体中属性A的相似度，t_i[A]表示实体t_i中属性A的值，s_i[A]表示实体s_i中属性A的值。

需要说明的是，需要对实体的每个属性都进行相似度计算，sim(·,·)表示字符串相似度算法，如Jacard、Consine、Edit-distance等，本申请中使用的为Edit-distance相似度算法。

求和单元203，用于将属性区分度和属性相似度加权求和得到两个待处理实体的实体相似度。

其中，实体相似度的计算公式为：

$F_{baseline}(t,s)=\frac{{\mathrm{\Σ}}_{A\∈S_{NK}}(difScore\left(A\right)*Similarity\left(A\right))}{{\mathrm{\Σ}}_{A\∈S_{NK}}difScore\left(A\right)}$

其中，F_baseline(t,s)表示实体t和实体s的实体相似度，S_NK表示实体的非主属性构成的集合，difScore(A)表示实体t中属性A的区分度与实体s中属性A的区分度的平均值。

该公式中的求和部分其限制条件为A∈S_NK，即表示了对实体的每个非主属性都进行运算，其中S_NK是由非主属性组成的集合。

判断单元204，用于将实体相似度与相似度阈值进行对比，判断两个待处理实体的相似性。

具体的，当实体相似度大于或等于相似度阈值时，可以判定两个待处理的实体为实例对。

需要说明的是，在本实施例中，其他内容不再赘述，详细可参见实施例一的描述。

由以上技术方案可知，本申请实施例二提供的该用于实体匹配的系统，能够通过利用非主属性的值以及属性分布求得实体相似度，进而进行实体匹配，较好的识别出相同的实体，节约了时间提高了效率。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种用于实体匹配的方法，其特征在于，该方法包括：

根据两个待处理实体的属性值分布分别确定各自的属性区分度；

根据所述两个待处理实体的非主属性的值计算得到所述两个待处理实体的属性相似度；

将所述属性区分度和所述属性相似度加权求和得到所述两个待处理实体的实体相似度；

将所述实体相似度与相似度阈值进行对比，判断所述两个待处理实体的相似性。

2.根据权利要求1所述的方法，其特征在于，所述属性区分度的计算公式为：

$difScore(A_i,T)=\frac{distinct(A_i,T)}{\left|T\right|}$

其中，difScore(A_i,T)表示数据表T中属性A_i的区分度，distinct(A_i,T)表示数据表T中属性A_i不同值的个数，|T|表示数据表T中的实体数目。

3.根据权利要求1所述的方法，其特征在于，所述属性相似度的计算公式为：

Similarity(A)＝sim(t_i[A],s_i[A])

其中，Similarity(A)表示两个待处理实体中属性A的相似度，t_i[A]表示实体t_i中属性A的值，s_i[A]表示实体s_i中属性A的值。

4.根据权利要求1所述的方法，其特征在于，所述实体相似度的计算公式为：

$F_{baseline}(t,s)=\frac{{\mathrm{\Σ}}_{A\∈S_{NK}}(difScore\left(A\right)*Similarity\left(A\right))}{{\mathrm{\Σ}}_{A\∈S_{NK}}difScore\left(A\right)}$

其中，F_baseline(t,s)表示实体t和实体s的实体相似度，S_NK表示实体的非主属性构成的集合，difScore(A)表示实体t中属性A的区分度与实体s中属性A的区分度的平均值。

5.一种用于实体匹配的系统，其特征在于，该系统包括：

确定单元，用于根据两个待处理实体的属性值分布分别确定各自的属性区分度；

计算单元，用于根据所述两个待处理实体的非主属性的值计算得到所述两个待处理实体的属性相似度；

求和单元，用于将所述属性区分度和所述属性相似度加权求和得到所述两个待处理实体的实体相似度；

判断单元，用于将所述实体相似度与相似度阈值进行对比，判断所述两个待处理实体的相似性。

6.根据权利要求5所述的系统，其特征在于，所述属性区分度的计算公式为：

$difScore(A_i,T)=\frac{distinct(A_i,T)}{\left|T\right|}$

其中，difScore(A_i,T)表示数据表T中属性A_i的区分度，distinct(A_i,T)表示数据表T中属性A_i不同值的个数，|T|表示数据表T中的实体数目。

7.根据权利要求5所述的系统，其特征在于，所述属性相似度的计算公式为：

Similarity(A)＝sim(t_i[A],s_i[A])

其中，Similarity(A)表示两个待处理实体中属性A的相似度，t_i[A]表示实体t_i中属性A的值，s_i[A]表示实体s_i中属性A的值。

8.根据权利要求5所述的系统，其特征在于，所述实体相似度的计算公式为：

$F_{baseline}(t,s)=\frac{{\mathrm{\Σ}}_{A\∈S_{NK}}(difScore\left(A\right)*Similarity\left(A\right))}{{\mathrm{\Σ}}_{A\∈S_{NK}}difScore\left(A\right)}$

其中，F_baseline(t,s)表示实体t和实体s的实体相似度，S_NK表示实体的非主属性构成的集合，difScore(A)表示实体t中属性A的区分度与实体s中属性A的区分度的平均值。