CN109145169A - 一种基于统计分词的地址匹配方法 - Google Patents

Abstract

本发明公开了一种基于统计分词的地址匹配方法，包括以下步骤：S1,基于省/市/县/街区、乡、镇、/村、社区5级行政区划建立行政区划本底库；S2,使用包括道路街巷地名、片区地名、自然村地名、小区地名、建筑物地名、其他自然地名在内的地名模型建立地名本底库；S3,使用标准地址模型建立地址本底库；S4,基于行政区划本地库、地名本地库和地址本地库构建地理编码索引库；S5,利用分词技术和搜索引擎，建立地址匹配算法。有益效果：能够解决地址信息数据量大，现有地址匹配技术中对未登录词匹配成功率较低的问题；以及地址匹配规则复杂，现有匹配算法的检索速度和准确性不高，地址匹配效率较低的问题。

Description

一种基于统计分词的地址匹配方法

技术领域

本发明涉及计算机、搜索引擎和地理信息技术领域，具体来说，涉及一种基于统计分词的地址匹配方法。

背景技术

常用的中文分词算法有以下三种：

1、基于词典分词算法

也称字符串匹配分词算法。该算法是按照一定的策略将待匹配的字符串和一个已建立好的“充分大的”词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。

2、基于语法和规则的分词算法

其基本思想就是在分词的同时进行句法、语义分析, 利用句法信息和语义信息来进行词性标注, 以解决分词歧义现象。因为现有的语法知识、句法规则十分笼统、复杂, 基于语法和规则的分词法所能达到的精确度远远还不能令人满意, 目前这种分词系统还处在试验阶段。

3、基于统计的分词算法

这类目前常用的是算法是HMM、CRF、SVM、深度学习等算法，比如stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果。

地址匹配，是将文字性的描述地址与其空间的地理位置坐标建立起对应关系的过程，其目的是要根据用户输入的待检索地址快速查找到匹配的地址，并以在线服务的形式返回用户检索结果。在电子地图领域中，地址检索、查询服务是网络地图在线服务的重要功能。通过地址匹配将用户输入的待匹配地址转化为地理位置，以便于在电子地图上显示该待匹配地址，方便用户了解该待匹配地址所处的地理位置。

目前，地址匹配的具体实现如下：首先，对用户输入的文字性描述地址进行分词；其次，针对每一个分词，将该分词与分词库中预存的分词进行匹配，得到与该分词匹配的至少一个预存分词；再其次，按照各分词在待匹配地址中的语序，对各分词对应的预存分词进行组合，得到多个组合；将各种组合结果展示给用户以便用户进行选择，根据用户选择的组合结果进行地址匹配。

传统的地址匹配方法通常采用基于关键词的精确或模糊匹配方法，这对于大规模或大范围的地名地址数据，匹配速度慢，很难满足电子地图在线服务的需要，再加上歧义词和未登录词较多，导致匹配的准确性比较低，匹配结果多种多样且往往不是用户所需要的结果。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于统计分词的地址匹配方法，能够解决：地址信息数据量大，现有地址匹配技术中对未登录词匹配成功率较低的问题；以及地址匹配规则复杂，现有匹配算法的检索速度和准确性不高，地址匹配效率较低的问题。

本发明主要通过对地址匹配中使用的分词算法及匹配算法进行优化来解决以上问题。本发明采用的技术方案包括以下内容：

1、建立行政区划本底库：使用行政区划模型建立五级行政区划本底库，包括省/市/县/街区、乡、镇、/村、社区；

2、建立地名本地库：使用地名模型建立地名本底库，包括道路街巷地名、片区地名、自然村地名、小区地名、建筑物地名、其他自然地名等；

3、建立地址本底库：使用标准地址模型建立地址本底库，标准地址分三段描述，第一段为行政区域地名，由四级行政区域地名的组合构成，第二段为自然村或街巷/小区名；第三段为兴趣点名/标志物名/门（楼）址；

4、构建地理编码索引库：基于行政区划本地库、地名本地库和地址本地库构建地理编码索引库；

5、地址分词算法：采用词典与统计相结合的分词算法对匹配地址进行分词处理。考虑到地名和地址元素词条的特殊性，主要采用词典方式进行分词，同时考虑到一个省包含的地址信息较多，通常有上亿的记录数，无法对每条记录的每个地址元素都登记到词典中，对于未登录到词典中的未识别词，采用基于统计的分词算法进行中文分词。

6、地址匹配算法：利用分词技术和搜索引擎，建立地址匹配算法。在地理编码索引库中对待匹配地址进行检索，在地址匹配过程中，根据地址数据表达的特点，建立灵活的地址匹配的规则，通过适当的匹配算法提高地址检索的速度和准确性。

本发明的有益效果：

1、在索引构建的时候使用细粒度的分词以保证召回。对于在索引库中没有完全匹配结果的情况，可以提供近似的匹配结果作为候选项，从而提高地址匹配结果的成功率；

2、在地址匹配的时候使用粗粒度的分词以保证精度。提高地址匹配的查准率，减少待匹配结果的数量，从少量的待匹配结果中选取最终匹配结果，从而提高地址匹配的处理效率；

3、无需人工选择自动返回最佳匹配结果。在得到多个匹配结果后，基于设置好的打分规则自动从匹配结果中选取一个作为最终的地址匹配结果，从而实现自动化地址匹配，降低人工干预的程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的一种基于统计分词的地址匹配方法的地名数据结构示意；

图2是根据本发明实施例所述的一种基于统计分词的地址匹配方法的地址数据结构示意

图3是根据本发明实施例所述的一种基于统计分词的地址匹配方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1至3所示，根据本发明实施例所述的一种基于统计分词的地址匹配方法，包括以下步骤：

S1 基于省/市/县/街区、乡、镇、/村、社区5级行政区划建立行政区划本底库；

S2 使用包括道路街巷地名、片区地名、自然村地名、小区地名、建筑物地名、其他自然地名在内的地名模型建立地名本底库；

S3 使用标准地址模型建立地址本底库；

S4 基于行政区划本地库、地名本地库和地址本地库构建地理编码索引库；

S5 利用分词技术和搜索引擎，建立地址匹配算法。

进一步的，S3中所述标准地址模型的地名地址编码规则为：自然地名的描述用标志性自然地物名称直接表示；人文地名分三段描述，第一段为行政区域地名，由四级行政区域地名的组合构成，第二段为自然村或街巷/小区名；第三段为兴趣点名/标志物名/门（楼）址。

进一步的，所述四级行政区域地名包括：市、区/县、街道/乡镇、社区/行政村。

进一步的，所述人文地名地址的组合包括：行政区域地名/街巷名/门（楼）址、行政区域地名/街巷名/标志物名、行政区域地名/街巷名/兴趣点名、行政区域地名/小区名/楼址、行政区域地名/小区名/标志物名、行政区域地名/小区名/兴趣点名。

进一步的，S5中采用词典和统计相结合的分词算法对匹配地址进行分词处理，采用基于solr的搜索引擎进行地址匹配。

进一步的，所述地址匹配的具体步骤为：

S51 在地理编码索引库中对匹配地址进行检索，如果有匹配结果则返回给用户，否则进行下一步；

S52 采用词典与统计相结合的分词算法对匹配地址进行分词处理；

S53 若分词结果中存在多个道路地址要素，则进行道路交叉口查询，首先在地理编码索引库中查询每条道路，然后根据查询结果中的道路空间数据计算道路交叉点位置并返回，当道路没有匹配记录或道路交叉点计算结果为空，则进行下一步；

S54 若分词结果中没有门楼址号或标志性建筑物等信息，则进行地名查询，若不为空则进行地址查询；

S55 若分词结果中存在道路街巷元素和门址号要素，则根据街巷地址模型进行匹配，首先根据门址号码在地理编码索引库中进行精确匹配，如果有匹配记录则返回，否则根据该条街巷上其他门址号近似插值求出目标门址号码的坐标，如果插值成功则返回，否则返回道路或街巷的地名查询结果；

S56 若分词结果中存在自然村小区元素和门址号要素，则根据小区地址模型进行匹配，首先根据门址号码在地理编码索引库中进行精确匹配，如果有匹配记录则返回，否则根据该自然村或小区内的其他门址号近似插值求出目标门址号码的坐标，如果插值成功则返回，否则返回自然村或小区的地名查询结果；

S57 若分词结果中存在标志性建筑物要素，则查询地理编码索引库中对应的建筑物信息。

进一步的，S54中地址查询中匹配模型的优先级是：门址号匹配优先于标志性建筑物匹配，道路街巷匹配优先于自然村小区匹配。

进一步的，S57中在地理编码索引库中对匹配地址进行模糊查询，根据匹配地址的分词结果构造规范化地址并在地理编码索引库中进行检索。

为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。

在具体使用时，根据本发明所述的一种基于统计分词的地址匹配方法，总体流程步骤如下：

步骤一：建立5级行政区划本底库，包括省/市/县/街区、乡、镇、/村、社区；

步骤二：使用地名模型建立地名本底库，包括道路街巷地名、片区地名、自然村地名、小区地名、建筑物地名、其他自然地名等；

步骤三：使用标准地址模型建立地址本底库，标准地址模型如下：

其中，地名地址编码规则为：

地名地址中自然地名的描述用标志性自然地物名称直接表示；人文地名分三段描述，第一段为行政区域地名，由四级行政区域地名的组合构成，第二段为自然村或街巷/小区名；第三段为兴趣点名/标志物名/门（楼）址。编码结构如下所示：

XXXX市XX区XXX街道XX社区 + XXX街巷/小区名 + 门（楼）址/标志物/兴趣点

第一段：行政区域地名（市+区/县+街道/乡镇+社区/行政村）；

第二段：街巷/小区名；

第三段：门（楼）址/标志物/兴趣点。

同时，地名地址的组合描述按以下六种规则进行：

1)行政区域地名/街巷名/门（楼）址组合示例：

XX市××区××街道××社区 ××路 ××号

第一段：行政区域地名 第二段：街巷名 第三段：门（楼）址。

2)行政区域地名/街巷名/标志物名组合示例：

XX市××区××街道××社区 ××路 ××大厦

第一段：行政区域地名 第二段：街巷名 第三段：标志物名。

3)行政区域地名/街巷名/兴趣点名组合示例：

XX市××区××街道××社区 ××路 ××餐厅

第一段：行政区域地名 第二段：街巷名 第三段：兴趣点名。

4)行政区域地名/小区名/楼址组合示例：

XX市××区××街道××社区 ××小区 ××号楼（栋）

第一段：行政区域地名 第二段：小区名 第三段：门（楼）址。

5)行政区域地名/小区名/标志物名组合示例：

XX市××区××街道××社区 ××小区 ××大厦

第一段：行政区域地名 第二段：小区名 第三段：标志物名。

6)行政区域地名/小区名/兴趣点名组合示例：

XX市××区××街道××社区 ××小区 ××餐厅

第一段：行政区域地名 第二段：小区名 第三段：兴趣点。

步骤四：基于行政区划本地库、地名本地库和地址本地库构建地理编码索引库；

步骤五：采用词典和统计相结合的分词算法对匹配地址进行分词处理；采用基于solr的搜索引擎进行地址匹配。其中，地址匹配算法的详细流程如下：

1.在地理编码索引库中对匹配地址进行检索，如果有匹配结果则返回给用户，否则进入后续步骤；

2.采用词典与统计相结合的分词算法对匹配地址进行分词处理；

3.若分词结果中存在多个道路地址要素，则进行道路交叉口查询，首先在地理编码索引库中查询每条道路，然后根据查询结果中的道路空间数据计算道路交叉点位置并返回，当道路没有匹配记录或道路交叉点计算结果为空，则进入后续步骤。例如匹配地址为“浙江省杭州市文一西路/高教路”，地址分词之后包含“文一西路”和“高教路”两个道路要素，然后去地理编码索引库中查询对应的记录，并返回道路空间位置相交点；

4.若分词结果中没有门楼址号或标志性建筑物等信息，则进行地名查询，若不为空则进行地址查询，即进入下一步。例如匹配地址为“浙江省杭州市西湖区灵隐街道智泉路”，分词结果没有门址号信息，则经地名查询返回“智泉路”相关信息；

5.地址查询中匹配模型的优先级是：门址号匹配优先于标志性建筑物匹配，道路街巷匹配优先于自然村小区匹配；

6.若分词结果中存在道路街巷元素和门址号要素，则根据街巷地址模型进行匹配，首先根据门址号码在地理编码索引库中进行精确匹配，如果有匹配记录则返回，否则根据该条街巷上其他门址号近似插值求出目标门址号码的坐标，如果插值成功则返回，否则返回道路或街巷的地名查询结果。例如匹配地址为“浙江省金华市东阳市吴宁街道卢宅社区东景路83号”，地址分词结果存在“东景路”道路要素和“83号”门址号要素，则在地理编码索引库中对该道路和门址号进行精确匹配，当精确匹配没有匹配结果时，则查询该条道路上的所有地址信息，并根据这些地址上的门址号插值计算出目标门址号的坐标；

7.若分词结果中存在自然村小区元素和门址号要素，则根据小区地址模型进行匹配，首先根据门址号码在地理编码索引库中进行精确匹配，如果有匹配记录则返回，否则根据该自然村或小区内的其他门址号近似插值求出目标门址号码的坐标，如果插值成功则返回，否则返回自然村或小区的地名查询结果。例如匹配地址为“浙江省金华市东阳市南马镇花园小区金勾小区X2号”，地址分词结果存在“金勾小区”小区要素和“X2号”门址号要素，则在地理编码索引库中对该小区和门址号进行精确匹配，当精确匹配没有匹配结果时，则查询该小区内的所有地址信息，并根据这些地址上的门址号插值计算出目标门址号的坐标；

8.若分词结果中存在标志性建筑物要素，则查询地理编码索引库中对应的建筑物信息。例如匹配地址为“浙江省杭州市滨江区中南国际商城”，分词结果包含“中南国际商城”标志物要素，则在地理编码索引库中对建筑物字段进行匹配检索；

9.在地理编码索引库中对匹配地址进行模糊查询，即根据匹配地址的分词结果构造规范化地址并在地理编码索引库中进行检索。

综上所述，借助于本发明的上述技术方案，可获得以下有益效果：

1、在索引构建的时候使用细粒度的分词以保证召回。对于在索引库中没有完全匹配结果的情况，可以提供近似的匹配结果作为候选项，从而提高地址匹配结果的成功率；

2、在地址匹配的时候使用粗粒度的分词以保证精度。提高地址匹配的查准率，减少待匹配结果的数量，从少量的待匹配结果中选取最终匹配结果，从而提高地址匹配的处理效率；

3、无需人工选择自动返回最佳匹配结果。在得到多个匹配结果后，基于设置好的打分规则自动从匹配结果中选取一个作为最终的地址匹配结果，从而实现自动化地址匹配，降低人工干预的程度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于统计分词的地址匹配方法，其特征在于，包括以下步骤：

S1 基于省或市或县或街区、乡、镇、或村、社区5级行政区划建立行政区划本底库；

S2 使用包括道路街巷地名、片区地名、自然村地名、小区地名、建筑物地名、其他自然地名在内的地名模型建立地名本底库；

S3 使用标准地址模型建立地址本底库；

S4 基于行政区划本地库、地名本地库和地址本地库构建地理编码索引库；

S5 利用分词技术和搜索引擎，建立地址匹配算法。

2.根据权利要求1所述的基于统计分词的地址匹配方法，其特征在于，S3中所述标准地址模型的地名地址编码规则为：自然地名的描述用标志性自然地物名称直接表示；人文地名分三段描述，第一段为行政区域地名，由四级行政区域地名的组合构成，第二段为自然村或街巷或小区名；第三段为兴趣点名或标志物名或门址或门楼址。

3.根据权利要求2所述的基于统计分词的地址匹配方法，其特征在于，所述四级行政区域地名包括：市、区或县、街道或乡镇、社区或行政村。

4.根据权利要求2所述的基于统计分词的地址匹配方法，其特征在于，所述人文地名地址的组合包括：行政区域地名或街巷名或门址或门楼址、行政区域地名或街巷名或标志物名、行政区域地名或街巷名或兴趣点名、行政区域地名或小区名或楼址、行政区域地名或小区名或标志物名、行政区域地名或小区名或兴趣点名。

5.根据权利要求1所述的基于统计分词的地址匹配方法，其特征在于，S5中采用词典和统计相结合的分词算法对匹配地址进行分词处理，采用基于solr的搜索引擎进行地址匹配。

6.根据权利要求5所述的基于统计分词的地址匹配方法，其特征在于，所述地址匹配的具体步骤为：

S51 在地理编码索引库中对匹配地址进行检索，如果有匹配结果则返回给用户，否则进行下一步；

S52 采用词典与统计相结合的分词算法对匹配地址进行分词处理；

S53 若分词结果中存在多个道路地址要素，则进行道路交叉口查询，首先在地理编码索引库中查询每条道路，然后根据查询结果中的道路空间数据计算道路交叉点位置并返回，当道路没有匹配记录或道路交叉点计算结果为空，则进行下一步；

S54 若分词结果中没有门楼址号或标志性建筑物等信息，则进行地名查询，若不为空则进行地址查询；

S55 若分词结果中存在道路街巷元素和门址号要素，则根据街巷地址模型进行匹配，首先根据门址号码在地理编码索引库中进行精确匹配，如果有匹配记录则返回，否则根据该条街巷上其他门址号近似插值求出目标门址号码的坐标，如果插值成功则返回，否则返回道路或街巷的地名查询结果；

S56 若分词结果中存在自然村小区元素和门址号要素，则根据小区地址模型进行匹配，首先根据门址号码在地理编码索引库中进行精确匹配，如果有匹配记录则返回，否则根据该自然村或小区内的其他门址号近似插值求出目标门址号码的坐标，如果插值成功则返回，否则返回自然村或小区的地名查询结果；

S57 若分词结果中存在标志性建筑物要素，则查询地理编码索引库中对应的建筑物信息。

7.根据权利要求6所述的基于统计分词的地址匹配方法，其特征在于，S54中地址查询中匹配模型的优先级是：门址号匹配优先于标志性建筑物匹配，道路街巷匹配优先于自然村小区匹配。

8.根据权利要求6所述的基于统计分词的地址匹配方法，其特征在于，S57中在地理编码索引库中对匹配地址进行模糊查询，根据匹配地址的分词结果构造规范化地址并在地理编码索引库中进行检索。