CN107436878A - 相同信息点的判定方法及装置、信息点的去重方法及设备 - Google Patents

Abstract

本发明提供了一种相同信息点的判定方法及装置、信息点的去重方法及设备，该相同信息点的判定方法包括：获取第一信息点的数据和第二信息点的数据；根据所述第一信息点的数据和第二信息点的数据，获取所述第一信息点和所述第二信息点的物理距离和编辑距离；通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点。本发明使得地理位置非常接近，集中于同一区域内，且两个信息点的语义代表同一地点即指向同一实体的信息点判定为相同信息点，为信息点的合并提供了依据，进而使得合并后的信息点数据库的存储容量减少，提高了获取信息点数据的效率，也为信息点在应用中的输入规范化垫定了基础。

Description

相同信息点的判定方法及装置、信息点的去重方法及设备

技术领域

本发明涉及信息点合并技术领域，尤其涉及一种相同信息点的判定方法及装置、信息点的去重方法及设备。

背景技术

随着地理信息系统的发展和完善，电子地图的设计开发技术也日趋成熟。电子地图中，有一类数据被称为信息点(Point of Interest，POI)，是指人们感兴趣的数据，如餐馆、公园、商场等建筑物信息，或是一些街道信息等等。通常，POI数据主要包括名称、类别、坐标(如经纬度)、地址、电话、邮编等等信息。POI数据是电子地图中最重要的元素之一，也是人们使用电子地图时最为关注的信息。电子地图通常包含很多的POI数据，这些POI数据涵盖了该地图范围内的绝大部分地理信息，在汽车导航、生活搜索等领域具有广泛的应用。

目前，由于在信息点采集时，有的信息点的名称采用简化名称，例如“北京八中”，而有的信息点的名称为完整名称，例如“北京市第八中学”，实际上这两个信息点为相同信息点，但是由于名称不同，人们在信息点搜索，如导航搜索时可能会出现很多关于与搜索关键词对应的信息点的名称，大量的信息点数据降低了搜索效率。

发明内容

针对现有技术中的缺陷，本公开提供了一种相同信息点的判定方法及装置、信息点的去重方法及设备，通过判定相同信息点以及将相同信息点进行合并，减少了信息点数据库的存储容量，提高了获取信息点数据的效率。

第一方面，本公开提供了一种相同信息点的判定方法，包括：

获取第一信息点的数据和第二信息点的数据；

根据所述第一信息点的数据和第二信息点的数据，获取所述第一信息点和所述第二信息点的物理距离和编辑距离；

通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点。

可选的，在获取所述第一信息点和所述第二信息点的物理距离和编辑距离之后，所述方法还包括：

将所述编辑距离进行归一化处理，归一化的范围为[0,1]。

可选的，通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点，包括：

将所述物理距离与预设第一距离进行比较，归一化后的所述编辑距离与预设第二距离进行比较，根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点。

可选的，所述根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点，包括：

在所述物理距离小于等于预设第一距离，且归一化后的所述编辑距离小于等于预设第二距离时，判定所述第一信息点和所述第二信息点为相同信息点。

第二方面，本公开还提供了一种相同信息点的判定装置，包括：

数据获取模块，用于获取第一信息点的数据和第二信息点的数据；

距离获取模块，用于根据所述第一信息点的数据和第二信息点的数据，获取所述第一信息点和所述第二信息点的物理距离和编辑距离；

判定模块，用于通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点。

可选的，所述装置还包括：

归一化模块，用于在获取所述第一信息点和所述第二信息点的物理距离和编辑距离之后，将所述编辑距离进行归一化处理，归一化的范围为[0,1]。

可选的，所述判定模块，用于：

将所述物理距离与预设第一距离进行比较，归一化后的所述编辑距离与预设第二距离进行比较，根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点。

可选的，所述判定模块，具体用于：

在所述物理距离小于等于预设第一距离，且归一化后的所述编辑距离小于等于预设第二距离时，判定所述第一信息点和所述第二信息点为相同信息点。

第三方面，本公开还提供了一种信息点的去重方法，包括：

遍历多个信息点；

根据上述的方法判断所述信息点中是否有相同信息点；

根据判断结果，将所述多个信息点进行去重。

第四方面，本公开还提供了一种信息点的去重设备，包括：

遍历模块，用于遍历多个信息点；

如上述的判定装置，用于判断所述信息点中是否有相同信息点；

去重模块，用于根据判断结果，将所述多个信息点进行去重。

由上述技术方案可知，本公开提供一种相同信息点的判定方法及装置、信息点的去重方法及设备，使得地理位置非常接近，集中于同一区域内，且两个信息点的语义代表同一地点即指向同一实体的信息点判定为相同信息点，为信息点的合并提供了依据，进而使得合并后的信息点数据库的存储容量减少，提高了获取信息点数据的效率，也为信息点在应用中的输入规范化垫定了基础。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本公开一实施例提供的寻相同信息点的判定方法的流程示意图；

图2为本公开一实施例提供的相同信息点的判定装置的结构示意图；

图3为本公开一实施例提供的信息点的去重方法的流程示意图；

图4为本公开一实施例提供的信息点的去重系统的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1示出了本公开一实施例提供的一种相同信息点的判定方法的流程示意图，如图1所示，该方法包括以下步骤：

101、获取第一信息点的数据和第二信息点的数据；

需要说明的是，本实施例中的第一信息点的数据和第二信息点的数据包括信息点的位置信息，该位置信息包括经度和纬度等信息。

102、根据所述第一信息点的数据和第二信息点的数据，获取所述第一信息点和所述第二信息点的物理距离和编辑距离；

其中，物理距离可以根据第一信息点的纬度和第二信息点的纬度获取；编辑距离(Edit Distance)，又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。例如，poi1＝“北京市第八中学”，poi2＝“北京八中”，两者的编辑距离EditDis＝3。

103、通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点。

本实施例中相同信息点的判定策略可以理解为需要满足两个条件，第一个条件是两个信息点的地理位置上非常接近，集中于同一区域内；第二个条件是语义上代表同一地点，指向同一实体。判定策略必须同时满足上述两个要求，例如北京大学(东门)和北京大学(西门)，地理上相距较远，不能合并；数字山谷和中关村软件园-6号门，虽相距很近但是代表不同的位置，也不能合并；北京市第八中学和北京八中，地理位置非常接近，且两者的语义相同，因此可以认为是相同的信息点。

上述方法使得地理位置非常接近，集中于同一区域内，且两个信息点的语义代表同一地点即指向同一实体的信息点判定为相同信息点，为信息点的合并提供了依据，进而使得合并后的信息点数据库的存储容量减少，提高了获取信息点数据的效率，也为信息点在应用中的输入规范化垫定了基础。

下面对上述方法的实施细节进行详细说明。

在上述步骤102中获取所述第一信息点和所述第二信息点的物理距离和编辑距离之后，为了便于后续比较，所述方法还包括：

将所述编辑距离进行归一化处理，归一化的范围为[0,1]。

即

其中，poi1和poi2代表两个信息点，NormEditDis(poi1,poi2)代表poi1和poi2的编辑距离归一化的结果，EditDis(poi1,poi2)表示poi1和poi2的实际编辑距离，max(len(poi1),len(poi2))代表poi1和poi2字符串长度的最大值。

在上述步骤103中通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点，包括：

将所述物理距离与预设第一距离进行比较，归一化后的所述编辑距离与预设第二距离进行比较，根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点。

具体的，所述根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点，进一步包括：

在所述物理距离小于等于预设第一距离，且归一化后的所述编辑距离小于等于预设第二距离时，判定所述第一信息点和所述第二信息点为相同信息点。

本实施例中的第一距离和第二距离可以为预先设定或者是通过历史数据训练后得到的，其中物理距离临界值为θ_g，编辑距离的临界值为θ_e，一般取θ_g＝200,θ_e＝0.5。

对于两个Ppoi，如果通过上述方法判断为相同的poi，则为了信息点数据库的存储容量减少，提高了获取信息点数据的效率，需要将判断为相同的poi进行合并，合并后，减少了信息点数据库的存储容量。

其合并过程可以表述为：

其中，canMerge(poi1,poi2)代表poi1和poi2是否可以合并，Ture代表可以合并，False代表不可以合并，GeoDis代表物理距离，NormEditDis代表编辑距离。

图2示出了本公开实施例提供的一种相同信息点的判定装置的结构示意图，如图2所示，该装置包括：

数据获取模块21，用于获取第一信息点的数据和第二信息点的数据；

距离获取模块22，用于根据所述第一信息点的数据和第二信息点的数据，获取所述第一信息点和所述第二信息点的物理距离和编辑距离；

判定模块23，用于通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点。

在本实施例的一个优选的实施方式中，所述装置还包括图2中未示出的：

归一化模块，用于在获取所述第一信息点和所述第二信息点的物理距离和编辑距离之后，将所述编辑距离进行归一化处理，归一化的范围为[0,1]。

在本实施例的一个优选的实施方式中，所述判定模块，用于：

将所述物理距离与预设第一距离进行比较，归一化后的所述编辑距离与预设第二距离进行比较，根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点。

在本实施例的一个优选的实施方式中，所述判定模块，具体用于：

在所述物理距离小于等于预设第一距离，且归一化后的所述编辑距离小于等于预设第二距离时，判定所述第一信息点和所述第二信息点为相同信息点。

需要说明的是，上述相同信息点的判定装置与上述相同信息点的判定方法是一一对应的关系，上述相同信息点的判定方法的实施细节同样适用于上述相同信息点的判定装置，本实施例不再对相同信息点的判定装置的实施细节进行详细说明。

图3示出了本公开实施例提供的一种信息点的去重方法的流程示意图，如图3所示，该方法包括以下步骤：

301、遍历多个信息点；

302、根据上述的方法判断所述信息点中是否有相同信息点；

可理解的是，上述步骤302可以通过以下方式来实现，例如根据多个信息点的频度按照预设顺序对多个信息点进行排序。

信息点的拼读可以理解为某一信息点的名称在所有信息点出现的个数占所有待合并信息点的名称的个数的百分比；预设顺序可以理解按照信息点的频度由大到小的顺序或者由小到大的顺序等，本实施例不对其进行限定。

303、根据判断结果，将所述多个信息点进行去重。

例如，为了避免重复计算，一方面将按照频度排序后的多个信息点，选取两个信息点通过上述相同信息点的判定方法判定两个信息点是否相同，另一方面对判定后的信息点做标记。

上述方法通过合并相同的信息点，即去掉重复的信息点，使得去重后的信息点数据库的存储容量减少，提高了获取信息点数据的效率，也为信息点在应用中的输入规范化垫定了基础。例如，在导航搜索某一目的地时，不会出现同一目的地不同名称的情况，这样在搜索过程中由于数据库内信息点数据的减少，提高了搜索效率。

例如：

给定一组poi，其合并过程可以表述为：

[1]遍历所有的poi，记录其频度，可理解的是，本实施例中在步骤[1]中，首先遍历所有的poi，根据所有破地名称进行筛选，将相同名称的poi进行合并，并根据相同名称poi的个数占所有poi个数的百分比，记录其频度。

[2]按照频度从高到低的顺序对所有的POI进行排序。

[3]初始化标记数组，tag_i＝False表示poi_i未被合并。

[4]两两之间计算距离，判断是否可以合并，伪代码如下：

输出所有未被合并的poi(tag_i＝＝False)，作为最终结果。

其中，poi_i表示第i个poi，poi_j表示第j个poi，表示待合并的poi数组，其中poi的个数为N个，表示N个poi的频度排序数组，表示第i个信息点已标记且未被合并，i和j表示不同信息点的序号，freq_i表示第i个信息点的频度，freq_j表示第j个信息点的频度。

图4示出了本公开实施例提供的一种信息点的去重设备的结构示意图，如图4所示，该设备包括：

遍历模块41，用于遍历多个信息点；

如上述的判定装置42，用于判断所述信息点中是否有相同信息点；

去重模块43，用于根据判断结果，将所述多个信息点进行去重。

需要说明的是，上述信息点的去重设备与上述信息点的去重方法是一一对应的关系，上述信息点的去重方法的实施细节同样适用于上述信息点的去重装置，本实施例不再对信息点的去重装置的实施细节进行详细说明。

本公开的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在于该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是互相排斥之处，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的一种浏览器终端的设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围，其均应涵盖在本公开的权利要求和说明书的范围当中。

Claims (10)

1.一种相同信息点的判定方法，其特征在于，包括：

获取第一信息点的数据和第二信息点的数据；

根据所述第一信息点的数据和第二信息点的数据，获取所述第一信息点和所述第二信息点的物理距离和编辑距离；

通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点。

2.根据权利要求1所述的方法，其特征在于，在获取所述第一信息点和所述第二信息点的物理距离和编辑距离之后，所述方法还包括：

将所述编辑距离进行归一化处理，归一化的范围为[0,1]。

3.根据权利要求2所述的方法，其特征在于，通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点，包括：

将所述物理距离与预设第一距离进行比较，归一化后的所述编辑距离与预设第二距离进行比较，根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点。

4.根据权利要求3所述的方法，其特征在于，所述根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点，包括：

在所述物理距离小于等于预设第一距离，且归一化后的所述编辑距离小于等于预设第二距离时，判定所述第一信息点和所述第二信息点为相同信息点。

5.一种相同信息点的判定装置，其特征在于，包括：

数据获取模块，用于获取第一信息点的数据和第二信息点的数据；

距离获取模块，用于根据所述第一信息点的数据和第二信息点的数据，获取所述第一信息点和所述第二信息点的物理距离和编辑距离；

判定模块，用于通过所述物理距离、编辑距离以及预设判定策略判定所述第一信息点与所述第二信息点是否为相同信息点。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

归一化模块，用于在获取所述第一信息点和所述第二信息点的物理距离和编辑距离之后，将所述编辑距离进行归一化处理，归一化的范围为[0,1]。

7.根据权利要求6所述的方装置，其特征在于，所述判定模块，用于：

将所述物理距离与预设第一距离进行比较，归一化后的所述编辑距离与预设第二距离进行比较，根据比较结果，判定所述第一信息点与所述第二信息点是否为相同信息点。

8.根据权利要求7所述的装置，其特征在于，所述判定模块，具体用于：

在所述物理距离小于等于预设第一距离，且归一化后的所述编辑距离小于等于预设第二距离时，判定所述第一信息点和所述第二信息点为相同信息点。

9.一种信息点的去重方法，其特征在于，包括：

遍历多个信息点；

根据如权利要求1-4中任一项所述的方法判断所述信息点中是否有相同信息点；

根据判断结果，将所述多个信息点进行去重。

10.一种信息点的去重设备，其特征在于，包括：

遍历模块，用于遍历多个信息点；

如权利要求5-8中任一项所述的判定装置，用于判断所述信息点中是否有相同信息点；

去重模块，用于根据判断结果，将所述多个信息点进行去重。