CN113704574B - 地址标准化的方法及装置 - Google Patents

Abstract

本发明公开了一种地址标准化的方法及装置，将地址库中的地址数据进行数据清洗，将数据中的“省市县乡镇、特别行政区、自治区”数据进行去除，通过获取地址库中的省、市、县、乡镇级别的名称及简称，创建拼装成一个Trie(前缀树或字典树)形式的数据结构。将调用地址标准化方法的入参参数通过多模字符串匹配算法，在Trie数据结构中匹配出对应的数据集。遍历数据集将相同键值的数据进行组合成集合，使得长地址覆盖短地址。最后，将形成的新的数据集合通过地址库中的父子集关系将不属于要求的地址层级分支数据剔除，并将所属父级补充完成，形成标准的地址数据并返回。使得地址统一了标准，给人们的生活和工作带来了便利。

Description

地址标准化的方法及装置

技术领域

本发明涉及计算机科学技术领域，具体涉及一种地址标准化的方法及装置。

背景技术

在当今社会信息化高速发展中，地址标准化的运用越来越广泛，而且计算机科学技术的应用与人们的生活息息相关。例如物流快递的配送地址提取、智能汽车导航、银行卡信息填写地址校验等涉及到各个领域。地址不规范或者不标准，将会给人们带来诸多不便。例如：快递员在派送快递时，有些地址本身存在一地多名的情况，就会导致派送地址不明确，导致错误派送及重复派送的情况，随着快递行业不断发展，配送地址数据不断增长，这种不规范的地址将会给快递行业造成的影响将是不可承受的。当我们使用汽车导航去目的地时，不规范的地址会导致导航偏差甚至错误导航，造成不必要的时间浪费。在办理银行相关业务的时，经常会被工作人员要求填写住址信息，在填写住址信息中存在行政区划缺、错、漏、假的现象，对于地址不全、错误、虚假等非标准化地址数据，无法进行智能的预警提醒，提高了银行业务风险。诸如上述所述问题，将地址标准化处理是非常必要的。

发明内容

为此，本发明实施例提供一种地址标准化的方法及装置，以解决现有技术存在的地址不规范或者不标准，给人们带来诸多不便的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

第一方面，一种地址标准化的方法，包括：

将地址库中的数据进行数据清洗形成Trie数据结构集合；

调用地址标准化方法的入参参数在Trie数据结构中匹配对应的数据集；

遍历Trie数据集将相同键值的数据进行组合成集合，形成新的数据集合；

将形成的新的数据集合通过地址库中的父子集关系将不属于要求的地址层级从集合中剔除，并将所属父级补充完成，最终形成标准的地址数据。

进一步的，将地址库中的数据进行数据清洗时，具体包括：

对带有“省市县乡镇、特别行政区、自治区”数据通过正则表达式“([省市县乡镇区]|特别行政区|自治区)$”对地址标准数据进行定位关键字，再用库中地址名称去进行覆盖替换；根据地址库中的地址名称和简称组装成Trie结构数据集合。

进一步的，调用地址标准化方法的入参参数是通过多模字符串匹配算法，在Trie数据结构中匹配对应的数据集。

进一步的，遍历Trie数据集将相同键值的数据组合成集合时是将数据进行完善和重组来形成新的数据集合。

更进一步的，数据完善是完善Trie数据的“值”列，数据重组是将返回的数据遍历进行重新组合数据结构，将父节点相同的节点进行合并操作，将父节点不同的节点用长地址覆盖短地址操作。

进一步的，经过将Trie数据遍历处理后得到的数据为无重复父级的详细节点数据。

更进一步的，数据详细结构为：地址节点名称、起始和结束字符位置以及当前地址节点的基础信息。

进一步的，所述数据结构集合形成分三种数据：地址库中的地址名称数据、通过正则匹配替换形成的地址名称数据、地址名称简称数据。

第二方面，一种地址标准化的装置，包括：

数据清洗模块，用于将地址库中的数据进行数据清洗形成Trie数据结构集合；

数据匹配模块，用于将调用地址标准化方法的入参参数在Trie数据结构中匹配对应的数据集；

数据组合模块，用于遍历Trie数据集将相同键值的数据进行组合成集合，形成新的数据集合；

标准地址数据处理模块，用于将形成的新的数据集合通过地址库中的父子集关系将不属于要求的地址层级从集合中剔除，并将所属父级补充完成，最终形成标准的地址数据。

进一步的，所述数据组合模块包括：

数据完善模块，用于完善Trie数据的“值”列；

数据重组模块，用于将返回的数据遍历进行重新组合数据结构，将父节点相同的节点进行合并操作，将父节点不同的节点用长地址覆盖短地址操作。

本发明至少具有以下有益效果：本发明提供的地址标准化的方法及装置，将地址库中的地址数据进行数据清洗，将数据中的“省市县乡镇、特别行政区、自治区”数据进行去除，通过获取地址库中的省、市、县、乡镇级别的名称及简称，创建拼装成一个Trie(前缀树或字典树)形式的数据结构。将调用地址标准化方法的入参参数通过多模字符串匹配算法，在Trie数据结构中匹配出对应的数据集。遍历数据集将相同键值的数据进行组合成集合，使得长地址覆盖短地址。最后，将形成的新的数据集合通过地址库中的父子集关系将不属于要求的地址层级分支数据剔除，并将所属父级补充完成，形成标准的地址数据并返回。使得地址统一了标准，给人们的生活和工作带来了便利。

附图说明

为了更清楚地说明现有技术以及本发明，下面将对现有技术以及本发明实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本发明实施例提供的地址标准化的整体方法流程图；

图2为本发明实施例提供的Trie的数据结构图；

图3为本发明实施例提供的Trie数据结构集合流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)旨在区别指代的对象。对于具有时序流程的方案，这种术语表述方式不必理解为描述特定的顺序或先后次序，对于装置结构的方案，这种术语表述方式也不存在对重要程度、位置关系的区分等。

此外，术语“包括”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包括了一系列步骤或单元的过程、方法、系统、产品或设备不必限于已明确列出的那些步骤或单元，而是还可包含虽然并未明确列出的但对于这些过程、方法、产品或设备固有的其它步骤或单元，或者基于本发明构思进一步的优化方案所增加的步骤或单元。

本发明提供一种地址标准化的方法，包括以下步骤：

S1：将地址库中的数据进行数据清洗，对“省市县乡镇、特别行政区、自治区”数据进行去除，结合地址库中对应的名称及简称拼接Trie数据结构。

数据结构集合的形成分三种数据：地址库中的地址名称数据、通过正则匹配替换形成的地址名称数据、地址名称简称数据。

具体的，在对地址库中的数据进行数据清洗时，针对带有“省市县乡镇、特别行政区、自治区”数据通过运用正则“([省市县乡镇区]|特别行政区|自治区)$”对地址标准数据进行定位关键字，在用库中地址名称进行覆盖替换；根据地址库中的地址名称和简称组装成Trie结构数据。

请参阅图2，图2以具体地址数据展示了Trie的数据结构，Trie又称字典树或前缀树，在计算机科学中是一种有序树，用于保存关联数组，其特点为一个节点的所有子孙都有相同的前缀，也就是这个节点对应的字符串，而根节点对应空字符串。Trie数据结构一般包含“键”和“值”，“键”为节点名称，“值”为具体实体结构。Trie中的键值就是地址名称或其简称。

请参阅图3，更为具体的：

S101：将地址库中的完整地址名称数据添加到Trie数据结构集合中；

S102：判断改地址库中该条地址名称是否存在简称，若存在，将该条地址数据的简称添加到Trie数据结构集合中(如果简称存在多种情况，拆分遍历添加)；

S103：通过正则表达式“([省市县乡镇区]|特别行政区|自治区)$”匹配该条地址完整地址名称中带有关键字的值，然后替换为空，将新值添加到Trie数据结构中。最终形成“一条地址三条数据的添加”。

以“X夏X族自治区”为例：

S101：将“X夏X族自治区”添加到Trie数据结构集合中；

S102：查询到地址库中“X夏X族自治区”的简称数据为“X夏”，则将“X夏”这条数据也添加到Trie数据结构集合中；

S103:通过正则将“X夏X族自治区”中匹配到的“自治区”字样替换为空，则数据变为“X夏X族”，将此数据也添加到Trie数据结构集合中，这样“X夏X族自治区”一条地址数据在Trie数据结构集合中就形成了三条枚举数据。

S2：将调用地址标准化方法的入参参数通过多模字符串匹配算法，在Trie数据结构中匹配对应的数据集。

具体的，将调用方法的参数通过多模字符串匹配算法在Trie数据结构中匹配对应的数据集。多模字符串匹配算法(Aho–Corasick)也叫AC自动机，是一种计算机科学中，用于在输入的一串字符串中(对应我们方法的入参参数)匹配有限组“字典”(Trie数据结构集合)中的子串。该算法与普通字符串匹配不同的是可以同时与所有字典串进行匹配，显著的提升了匹配速度。

更为具体的，多模字符串匹配算法(Aho–Corasick)原理是在开始时先通过词表，对以下三种情况进行缓存：

按照字符转移进行跳转

按照字符转移失败进行跳转

匹配成功输出表

因此在匹配过程中，无需从新从文档的开始进行匹配，而是通过缓存直接进行跳转，从而实现近似于线性的时间复杂度。

S3：遍历Trie数据集将相同键值的数据进行组合成集合，如“键”值不同，会将长地址的“键”值覆盖短地址的“键”值，不同“键”值进行集合添加形成新的数据集合。

具体的，步骤S3中对S2中返回的数据进行完善和重组。数据完善体现在完善Trie数据的“值”列，“键”为地址的名称或简称，“值”为该地址下对应的具体信息，如：地址编码、所属父级、地址级别等。数据重组会将S2中返回的数据遍历进行重新组合数据结构，将节点相同的值进行“长地址覆盖短地址”的操作，也就是，不同类型的“键”值依照“长地址覆盖短地址”逻辑进行操作。比如“X原市”和“X原”，“X原市”这条数据就会在列表中将“X原”这条数据覆盖。再比如：“X店”的父级有“X原市”，也有“X庆直辖市”，那么此时“X店”就需要进行添加操作。

经过将Trie数据再次遍历处理后得到的数据为无重复父级的详细节点数据。其数据详细结构为：地址节点名称、起始和结束字符位置以及当前地址节点的基础信息(地址编码、地址名称、地址层级、当前地址的所有父级ID、简称)。

S4：将形成的新的数据集合通过地址库中的父子集关系将不属于要求的地址层级从集合中剔除，并将所属父级补充完成，最终形成标准的地址数据。

步骤S4是对上述数据进行形成表转化地址前的最后一次数据处理。遍历数据结构,根据每条数据结构中的AllParentId(当前地址的所有父级ID)，补全符合条件集合的每条数据的父级，最终形成满足条件的所有标准化地址集合。

本发明的实施例提供一种地址标准化的装置，包括：

数据清洗模块，用于将地址库中的数据进行数据清洗形成Trie数据结构集合；

数据匹配模块，用于将调用地址标准化方法的入参参数在Trie数据结构中匹配对应的数据集；

数据组合模块，用于遍历Trie数据集将相同键值的数据进行组合成集合，形成新的数据集合；

标准地址数据处理模块，用于将形成的新的数据集合通过地址库中的父子集关系将不属于要求的地址层级从集合中剔除，并将所属父级补充完成，最终形成标准的地址数据。

数据组合模块包括数据完善模块和数据重组模块，数据完善模块用于完善Trie数据的“值”列；数据重组模块用于将返回的数据遍历进行重新组合数据结构，将父节点相同的节点进行合并操作，将父节点不同的节点用长地址覆盖短地址操作。

以上实施例的各技术特征可以进行任意的组合(只要这些技术特征的组合不存在矛盾)，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述；这些未明确写出的实施例，也都应当认为是本说明书记载的范围。

上文中通过一般性说明及具体实施例对本发明作了较为具体和详细的描述。应当指出的是，在不脱离本发明构思的前提下，显然还可以对这些具体实施例作出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种地址标准化的方法，其特征在于，包括：

将地址库中的数据进行数据清洗形成Trie数据结构集合；

调用地址标准化方法的入参参数在Trie数据结构中匹配对应的数据集；

遍历Trie数据集将相同键值的数据进行组合成集合，形成新的数据集合；

将形成的新的数据集合通过地址库中的父子集关系将不属于要求的地址层级从集合中剔除，并将所属父级补充完成，最终形成标准的地址数据；

将地址库中的数据进行数据清洗时，具体包括：

对带有“省市县乡镇、特别行政区、自治区”数据通过正则表达式“([省市县乡镇区]|特别行政区|自治区)$”对地址标准数据进行定位关键字，再用库中地址名称去进行覆盖替换；根据地址库中的地址名称和简称组装成Trie结构数据集合；

调用地址标准化方法的入参参数是通过多模字符串匹配算法，在Trie数据结构中匹配对应的数据集。

2.根据权利要求1所述的地址标准化的方法，其特征在于，遍历Trie数据集将相同键值的数据组合成集合时是将数据进行完善和重组来形成新的数据集合。

3.根据权利要求2所述的地址标准化的方法，其特征在于，数据完善是完善Trie数据的“值”列，数据重组是将返回的数据遍历进行重新组合数据结构，将父节点相同的节点进行合并操作，将父节点不同的节点用长地址覆盖短地址操作。

4.根据权利要求1所述的地址标准化的方法，其特征在于，经过将Trie数据遍历处理后得到的数据为无重复父级的详细节点数据。

5.根据权利要求4所述的地址标准化的方法，其特征在于，数据详细结构为：地址节点名称、起始和结束字符位置以及当前地址节点的基础信息。

6.根据权利要求1所述的地址标准化的方法，其特征在于，所述数据结构集合形成分三种数据：地址库中的地址名称数据、通过正则匹配替换形成的地址名称数据、地址名称简称数据。

7.一种地址标准化的装置，其特征在于，包括：

数据清洗模块，用于将地址库中的数据进行数据清洗形成Trie数据结构集合；

数据匹配模块，用于将调用地址标准化方法的入参参数在Trie数据结构中匹配对应的数据集；

数据组合模块，用于遍历Trie数据集将相同键值的数据进行组合成集合，形成新的数据集合；

标准地址数据处理模块，用于将形成的新的数据集合通过地址库中的父子集关系将不属于要求的地址层级从集合中剔除，并将所属父级补充完成，最终形成标准的地址数据；

将地址库中的数据进行数据清洗时，具体包括：

对带有“省市县乡镇、特别行政区、自治区”数据通过正则表达式“([省市县乡镇区]|特别行政区|自治区)$”对地址标准数据进行定位关键字，再用库中地址名称去进行覆盖替换；根据地址库中的地址名称和简称组装成Trie结构数据集合；

调用地址标准化方法的入参参数是通过多模字符串匹配算法，在Trie数据结构中匹配对应的数据集。

8.根据权利要求7所述地址标准化的装置，其特征在于，所述数据组合模块包括：

数据完善模块，用于完善Trie数据的“值”列；

数据重组模块，用于将返回的数据遍历进行重新组合数据结构，将父节点相同的节点进行合并操作，将父节点不同的节点用长地址覆盖短地址操作。