CN105224622A - 面向互联网的地名地址提取与标准化方法 - Google Patents

Abstract

本发明公开了一种面向互联网的地名地址提取与标准化方法，该方法针对互联网网页中地名地址的存在方式及结构特征，利用地名地址的识别规则及动态关系，以国家行政区划信息、全国基础地名地址库为基础进行识别，研究多级地名地址表达模型与提取方法，再通过地名地址在文中的上下级语义关系，参考地名地址标准模型，实现互联网网页文本信息中文地名地址的自动识别、提取与标准化，为地理实体、事件等相关地理信息的空间定位提供技术基础。

Description

面向互联网的地名地址提取与标准化方法

技术领域

本发明涉及一种地名地址提取与标准化方法，具体涉及一种面向互联网、基于互联网信息文本信息的特征、对地名地址信息进行提取与标准化的方法，该方法能够为地理实体、互联网事件等地理信息的空间定位提供技术基础。

背景技术

随着互联网技术的迅速发展，网络成为地理信息的最大聚集处，互联网地理信息已经进入大数据时代，未来10年至少80％以上的人机交互文本数据涉及地理信息，互联网将成为不断更新的大型地理信息数据库，如何将这些地理信息挖掘出并利用到地理信息服务中是主要问题。

地名地址数据是最常用的社会公共信息资源，与大众的日常生活紧密相关，同时，地名地址信息也是政府基础行政管理的基础资源。将地名地址信息提取并标准化，使其转化为地理信息服务的基础成果，为大众的生产生活提供支撑，已成为一项迫切的需要。

现有的地理位置信息挖掘算法主要是利用关键字匹配的方法，由于在互联网环境下文本中的地名地址信息存在描述错误、不准确、同音字、不够标准等问题，所以基于关键字匹配的位置信息挖据算法准确率较低，不足以满足各行各业对地理信息的要求。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种对地名地址信息进行提取与标准化的方法，该方法能够大大提升互联网地名地址信息提取及标准化的准确性，从而为基于地名地址信息的地址匹配过程及地理实体、事件等相关地理信息的空间定位提供技术基础。

为了实现上述目标，本发明采用如下的技术方案：

一种面向互联网的地名地址提取与标准化方法，其特征在于，包括以下步骤：

一、建立地名地址基础资源库、形成地名表达模型和结构化地名词典；

二、自动解析及提取网页信息；

三、切分文本信息，将文字描述的地名地址切分为结构化的多个地址要素；

四、匹配识别地名地址信息；

五、基于认知度提取地名地址信息；

六、标准化处理地名地址信息。

前述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤一中，

对标注的基础地名地址样本数据进行多级地址的关联分析以及各级地址及其描述信息的结构化处理，通过建立关系数据库形成用于地名地址识别的基础资源库以及地名表达模型和结构化地名词典，

前述标注的基础地名地址样本数据包括：地名数据、国家基础地名数据和国家行政区划数据，

前述用于地名地址识别的基础资源库包括：规则库、模型库和关联关系库。

前述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤二中，

利用元搜索引擎技术进行Web网页的自动收录，并根据HTML结构和解析规则进行Web网页的自动解析和信息提取。

前述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤三中，

利用步骤一建立的地名地址基础资源库，在中文自动分词词典的基础上进行扩充，对互联网文本信息数据进行切分，将文字描述的地名地址切分为结构化的多个地址要素。

前述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤四中，

利用地名地址以关键词结尾的规律，构建地名地址识别规则和表达模型，对已切分的数据结果进行文本环境下的地名地址识别匹配，前述地名地址识别匹配包括：基于篇幅的地名地址识别和匹配、基于局部的地名地址识别和匹配。

前述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤五中，

利用地名地址标准化表达方式和结构化地名词典进行基于认知度的地名地址提取，从而实现面向Web的中文地名地址自动识别和提取，提取的地名地址信息包括：地标信息、著名景点、商圈。

前述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤六中，

利用标准化地名地址模型，对提取的地名地址信息进行标准化处理，最终输出符合既定标准的地名地址结果。

本发明的有益之处在于：实现了互联网网页文本信息中文地名地址的自动识别、提取与标准化，提升了互联网地名地址信息提取及标准化的准确性，为基于地名地址信息的地址匹配过程及地理实体、事件等相关地理信息的空间定位提供了技术基础。

附图说明

图1是本发明的地名地址提取与标准化方法的流程图；

图2是地名地址数据模型关系图；

图3是地址表达模型图；

图4是标准化地名地址模型图。

具体实施方式

本发明针对互联网网页中地名地址的存在方式及结构特征，利用地名地址的识别规则及动态关系，以国家行政区划信息、全国基础地名地址库为基础进行识别，研究多级地名地址表达模型与提取方法，再通过地名地址在文中的上下级语义关系，参考地名地址标准模型，实现互联网网页文本信息中文地名地址的自动识别、提取与标准化，从而提升了互联网地名地址信息提取及标准化的准确性，为基于地名地址信息的地址匹配过程及地理实体、事件等相关地理信息的空间定位提供了技术基础。

为了使本发明的技术方案更加清楚、易于理解，以下结合附图和具体实施例对本发明作进一步详细的介绍。

参照图1，本发明的面向互联网的地名地址提取与标准化方法，其包括以下步骤：

步骤一：建立地名地址基础资源库、地名表达模型和结构化地名词典

对标注的地名数据、国家基础地名数据、国家行政区划数据等基础地名地址样本数据进行多级地址的关联分析以及各级地址及其描述信息的结构化处理，形成用于地名地址识别的规则库、模型库和关联关系库等基础资源库以及地名表达模型和结构化地名词典。

1、样本训练

通过训练样本库，建立地名地址信息的规则模型，同时抽取各级地名地址关联关系，形成地名地址识别规则库及动态的地名关联关系库。

地名地址识别规则库：从真实文本语料库抽取训练样本，通过统计及分析得到统计结果以及针对地名地址信息特点总结出来的规则，形成地名地址识别规则库。

动态地名关联关系库：从训练样本库中依据地名地址的概念决策方法，抽取地名地址的关系信息，参据如图2所示的地名地址数据模型关系图，形成动态的地名关联关系库。

2、模型构建

通过对国家基础地名数据和国家行政区划数据进行结构化分析和关系处理，形成地名表达模型和结构化地名词典。

地名表达模型：从地名地址提取的应用需求出发，设计一个地名类型本体模型，该模型表达了地名类型之间的继承关系以及对空间关系的约束依据地址编码规则，结合地名数据的实际情况及规律，建立地名表达模型，为地名匹配地名提取做参考。

结构化地名词典：地名词典是一个具有地理意义的字典或名录，是一定区域内的地理要素及其相互联系的数据集合，主要描述地名的名称、要素类型、空间位置等重要参考信息，编制结构化的地名词典，为后续基于认知显著度的地名提取打下基础。

步骤二：自动解析及提取网页信息

利用元搜索引擎技术进行Web网页的自动收录，并根据HTML结构和解析规则进行Web网页的自动解析和信息提取。

元搜索引擎：一种调用其它独立搜索引擎的引擎。在这里，“元”为“总的”、“超越”之意，元搜索引擎就是对多个独立搜索引擎的整合、调用、控制和优化利用。元搜索引擎像是一个过滤通道，以多个独立搜索引擎的输出结果作为输入，经过一番提取、剔除、萃取等操作，形成最终结果，然后将最终结果输出给用户。通过元搜索技术进行信息解析和提取元搜索引擎就是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的搜索引擎来实现检索操作，是对分布于网络的多种检索工具的全局控制机制。元搜索引擎一般没有自己独立的数据库,却更多地提供统一连接界面，形成一个由多个分布的、具有独立功能的搜索引擎构成的虚拟整体。用户通过元搜索引擎的功能实现对这个虚拟整体中各独立搜索引擎数据库的查询显示等一切操作。元搜索引擎中各独立搜索引擎被称为“目标搜索引擎”，或者“成员搜索引擎”，它们各自保持其原来的局部数据模式和自己的检索指令，元搜索引擎给出一个全局外部模式，用以接受用户检索输入和结果输出。

Web网页自动解析及信息提取：Web上的信息很多存储在HTML页面上，针对网页信息的结构特点及其在HTML层次结构中的体现方式，建立具有普遍使用性的提取信息判断规则以及干扰信息判断规则，进行网页主体信息的自动解析和信息提取。

步骤三：切分文本信息

利用样本训练提取建立的地名识别规则库和动态地名关系数据库以及地名表达模型等能够参考的基础资源，在中文自动分词词典的基础上进行扩充，对Web网页上解析并提取的文本信息进行切分，将文字描述的地名地址切分为结构化的多个地址要素。

步骤四：匹配识别地名地址信息

地名地址具有一定的规律性，一般以省、市、区、县、镇、社区等关键词结尾，利用这个已形成的地名地址识别规律，如图3所示，构建地名地址识别规则和表达模型，对已切分的数据结果进行文本环境下的地名地址模糊识别匹配，该地名地址模糊识别匹配包括基于篇幅和局部的地名识别和匹配。对待识别匹配的分词后的地名地址信息进行相似度计算，从低级别地址开始匹配可减少计算量，根据不同权值得出的相似度结果进行地名地址模糊识别匹配。

步骤五：基于认知度提取地名地址信息

利用地名地址标准化表达方式和结构化地名词典进行基于认知度的地名地址提取，从而实现面向Web的中文地名地址自动识别和提取方法。

提取的地名地址信息包括：地标信息、著名景点、商圈等信息。

步骤六：标准化处理地名地址信息

利用标准化地名地址模型，对提取的地名地址信息进行标准化处理，最终输出符合既定标准的地名地址结果。

地址标准化的过程是根据标准化地址表达方式将一个具体的地址表达出来，并根据地址编码模型中各要素的从属关系自动填补上级缺失部分的过程。使得其能够形成以该地址的最低端为结尾，前面各部分都填充满的标准化地址表达式。利用分词技术提取出来的地名地址信息，参考《中华人民共和国国家标准GB/T23705-2009数字城市地理信息公共平台地名/地址编码规则》的规定，结合最终标准化地名地址信息的预期目标进行标准化处理。

参照图3，根据设计的地址编码模型，可以得出标准地址表达式：

<标准地址>::＝<[国家名][省名][市名][区|县名]><[基础地址][扩展地址]><[基础子地址][扩展子地址]>。

参考《中华人民共和国国家标准GB/T23705-2009数字城市地理信息公共平台地名/地址编码规则》可以得到如图4所示的标准化地名地址模型。

考虑到三级行政区划标准化难度较低，先参考图3的模型进行标准化，保证地名地址信息的前三级信息完整标准，并将其余信息规范为基础地址及其扩展地址和基础子地址及其扩展子地址，再对基础地址及其扩展地址和基础子地址及其扩展子地址。

综上所述，因为本发明的提取及标准化的方法是基于结构化地名词典并结合大量样本训练得出的，所以本发明的方法大大提升了互联网地名地址信息提取及标准化的速度及准确性。

需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (7)

1.一种面向互联网的地名地址提取与标准化方法，其特征在于，包括以下步骤：

一、建立地名地址基础资源库、形成地名表达模型和结构化地名词典；

二、自动解析及提取网页信息；

三、切分文本信息，将文字描述的地名地址切分为结构化的多个地址要素；

四、匹配识别地名地址信息；

五、基于认知度提取地名地址信息；

六、标准化处理地名地址信息。

2.根据权利要求1所述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤一中，

对标注的基础地名地址样本数据进行多级地址的关联分析以及各级地址及其描述信息的结构化处理，通过建立关系数据库形成用于地名地址识别的基础资源库以及地名表达模型和结构化地名词典，

所述标注的基础地名地址样本数据包括：地名数据、国家基础地名数据和国家行政区划数据，

所述用于地名地址识别的基础资源库包括：规则库、模型库和关联关系库。

3.根据权利要求1所述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤二中，

利用元搜索引擎技术进行Web网页的自动收录，并根据HTML结构和解析规则进行Web网页的自动解析和信息提取。

4.根据权利要求1所述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤三中，

利用步骤一建立的地名地址基础资源库，在中文自动分词词典的基础上进行扩充，对互联网文本信息数据进行切分，将文字描述的地名地址切分为结构化的多个地址要素。

5.根据权利要求1所述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤四中，

利用地名地址以关键词结尾的规律，构建地名地址识别规则和表达模型，对已切分的数据结果进行文本环境下的地名地址识别匹配，所述地名地址识别匹配包括：基于篇幅的地名地址识别和匹配、基于局部的地名地址识别和匹配。

6.根据权利要求1所述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤五中，

利用地名地址标准化表达方式和结构化地名词典进行基于认知度的地名地址提取，从而实现面向Web的中文地名地址自动识别和提取，提取的地名地址信息包括：地标信息、著名景点、商圈。

7.根据权利要求1所述的面向互联网的地名地址提取与标准化方法，其特征在于，在步骤六中，

利用标准化地名地址模型，对提取的地名地址信息进行标准化处理，最终输出符合既定标准的地名地址结果。