CN114896353A - 一种地理编码方法、存储介质及系统 - Google Patents

Abstract

本发明涉及一种地理编码方法，包括步骤：基于本地或开源的地理环境数据构建地理图谱；基于知识图谱嵌入技术及向量存储技术进行地理表征的建立；基于自然语言处理技术，生成文本语义图；基于向量化检索技术进行地理空间实体链接；进行空间范围推理及边界切割；及进行多尺度编码。本发明还提供一种存储介质及一种地理编码系统，采用本发明所述的地理编码方法、存储介质及系统可适用于警用地名地址的地理解析场景。

Description

一种地理编码方法、存储介质及系统

技术领域

本发明属于地理解析领域，具体涉及一种地理编码方法、存储介质及系统。

背景技术

地理解析(Geoparsing)是识别并将地名地址解析成对应的地理坐标，此处的地理坐标并不是单个坐标，而是泛指地名对应的地理空间几何对象所有的坐标。地理解析技术包括两个阶段，一个是地理标记(Geotagging)，即将文本通过自然语言处理技术解析成待映射到地理空间的地名实体；另一个是地理编码(Geocoding)，即将对应的地名实体通过消歧和实体链接等技术，映射到地理空间的地理实体。

现有地理解析技术的应用中，大部分场景假设用户输入为一个确定的地点，基于该假设，文本中依次出现的地名一定存在着隶属关系，因此最终可以快速将地名地址解析成单个经纬度点。

虽然这一场景可以解决大部分用户查询需求明确的的兴趣点(Point ofInterests)检索问题，但并不适用于警用地名地址的地理解析场景。警务工作中会产生大量的地名地址数据，这其中包括地理空间地名地址数据也包括虚拟空间地名地址数据，针对地理空间地名地址数据，在该类数据中编码难度最大的为警情地址、发案地址这类日增量大、结构化难度高、数据噪声多的数据。此类地址数据产生于报警(案)人对事发所在处所的描述，分为三种情况：①对于地点明确且报警(案)人可以明确描述位置的，一般按标准地址记录，但也存在很多地点明确而录入格式不标准的情况；②对于地点明确但报警(案)人无法明确表述位置的，一般会采用“标志性建筑物+模糊方位描述”的方式记录；③对于地点不明确的，一般会记录报警(案)人事发时期经过的“关键地点+模糊方位描述”形成的路线。对于情况①，可以使用现有的地理解析技术解决；对于情况②③，现有的地理解析技术并不能很好解决，一方面无法将地名地址分解独立编码，另一方面无法返回模糊描述对应的地理空间拓扑范围。若无法将此类警用地名地址结构化编码，将对后续的数据分析及可视化等下游任务造成较大的难度，而使用现有地理解析技术产生的错误地理解析也将会给后续的研判、分析造成较大的影响。

发明内容

针对现有技术中存在的缺陷，本发明的目的是提供一种地理编码方法、存储介质及系统以实现警用地名地址的地理解析。

为达到以上目的，本发明采用的技术方案是：一种地理编码方法，包括步骤：基于本地或开源的地理环境数据构建地理图谱；基于知识图谱嵌入技术及向量存储技术进行地理表征的建立；基于自然语言处理技术，生成文本语义图；基于向量化检索技术进行地理空间实体链接；进行空间范围推理及边界切割；及进行多尺度编码。

进一步，所述地理图谱构建完成后，再对警用地面地址标注数据进行索引。

进一步，所述地理环境数据分为核心索引数据及辅助索引数据，所述核心索引数据从宏观尺度、中观尺度及微观尺度构建整个所述地理图谱。

进一步，所述进行空间范围推理及边界切割还包括步骤：确定区域数量；确定各区域中标志性建筑物或地点数量；确定标志性建筑物或地点对应模糊范围数量；构建融合规则。

进一步，所述构建融合规则包括步骤：标志性建筑物或地点及其对应模糊范围融合；标志性建筑或地点融合；区域融合，完成输出。

进一步，所述多尺度编码从宏观、中观、微观分别进行编码。

进一步，所述表征的建立包括完成实体及关系的向量化存储检索。

进一步，所述基于向量化检索技术进行地理空间实体链接还包括：使用警用地名地址的上下文信息进行索引筛选；使用地名在向量数据库中按筛选的索引进行检索，取匹配分数最高的三个进一步合并进行实体链接；对实体链接后的地理实体依据地理图谱进一步丰富上下文信息以及实体间空间关联，形成最终进行空间范围推理及边界切割的地理语义图。

本发明还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述的地理编码方法。

本发明还提供一种地理编码系统，包括：地理图谱构建模块，用于根据索引数据库，完成地理图谱的构件；地理表征模块，完成实体及关系的向量化及存储检索，以完成地理表征的建立；地面地址解析模块，用于生成文本语义图；地面地址映射模块，用于进行地理空间实体链接；空间关系推理模块，用于进行空间范围推理及边界切割；地理编码生成模块，用于进行多尺寸编码。

本发明的效果在于：通过向量化检索可以减小因同一地名由于表述文本差异较大而召回率较低，或召回结果质量较差的问题，扩展了当前地名解析的编码类型，提升了地名地址文本结构化的能力。

附图说明

图1是本发明一种地理编码方法的步骤流程图；

图2是图1中步骤S5的子步骤流程图；

图3是图2中步骤S54的子步骤流程图；

图4是本发明一种地理编码方法中空间范围推理示意图；

图5是本发一种地理编码方法中空间边界切割示意图；

图6是图5中训练目标样本的示意图；

图7是本发明一种地理编码系统的模块结构示意图；

图8是本发明一种地理编码方法中地名间语义关系示意图；

图9是本发明一种地理编码方法中地名实体分类示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。

如图1-9所示，本发明提供的一种地理编码方法，其包括步骤：

S1,基于本地或开源的地理环境数据构建地理图谱；

具体的，基于本地各个地名已知或者利用开源地理环境数据的前提下，可以构建出对应的地理图谱，其中，地理环境数据分为核心索引数据以及辅助索引数据两种，核心索引数据从不同尺度架构整个地理图谱。

在一个具体实施例中，不同尺度分为宏观尺度、中观尺度及微观尺度，宏观尺度的索引使用行政区划、派出所辖区等，中观尺度的索引使用基础路网、公共交通线路等，微观尺度的索引则使用POI、建筑轮廓等。

需说明的是，地理图谱构建模块通过调用索引数据库中的数据构建地理图谱，在构建完成后再对警用地名地址标注数据进行索引。

辅助索引数据则是一些可选择的数据，根据数据粒度不同也可以归到宏观/中观/微观三种尺度中，进一步增加各数据项空间上的关系，便于后续训练过程中模型对输入数据的空间语义获取。定义距离、方位、路径等算子，通过采样的方式完成丰富已有地理实体间的空间关联，最终完成地理图谱的构建。

需说明的是，辅助索引数据仅负责构建微观尺度的地理实体索引，属于非必须数据，一般可选街景数据、集市数据、高程数据等。此后更新的数据都将归到这两大类数据中。

S2，基于知识图谱嵌入技术及向量存储技术进行地理表征的建立；

具体的，在构建地理图谱后，将通过基于知识图谱的嵌入技术学习地理实体的表征以及地理实体间空间关联的表征，对于已构建索引的警用地名地址标注数据，也会经过嵌入技术学习警用地名地址文本中地名之间的语义关系，最终将得到向量化的语义表征，用于之后的推理过程。最后，通过支持向量存储及检索的数据库按不同索引存储所有实体、关系的表征。

在一个具体实施例中，表征的建立需要完成实体及关系的向量化及存储检索。首先是多尺度联合表征学习，尺度分为宏观、中观及微观，宏观尺度的学习目标是学习到各地理实体之间的上下位关系，中观尺度的学习目标是学习到地理实体之间的全局时空关联关系，微观尺度是为了学习到地理实体之间的局部时空关联关系，是一个多任务联合优化的表征学习。

在训练前，首先需要使用预训练语言模型对地理实体的地名进行编码，为了增强编码的鲁棒性，将对实体对应的地名进行数据增强。具体的，语言模型将基于预训练语言模型，采用对比学习的方式。由于同一地理实体可以使用多条不同路径表示，对应了实体链接任务中对实体的文本描述信息，因此，这种方式天然适合使用对比学习进行正负样例的训练。首先在地理图谱上节点V为锚点进行有限制的随机游走，获取V的K条最大长度为L的路径(本方法取K为10，L为5)，其中L中的相邻节点只能是相同等级尺度或后添加节点的尺度等级高于先添加节点，将所有路径的次序转置为以V为终点的路径，并按照{v_0，e_0，v_1,e_1…,v_L-2,e_L-2}的方式拼接为序列S，其中v_n为路径第n-1个节点，e_n为路径第n-1条边，v_L-1为V。将S中对应的文本和关系转换为文本并拼接为T，使用预训练语言模型提取T的文本语义特征，再通过对比学习的方式对预训练语言模型的参数进行微调，其中正样本为同一节点的所有采样路径，负样本为该节点等视域外的节点的采样路径。同时为了让地理实体保留原始的相对空间位置，对每个实体引入了多种地理位置编码(H3、S2、GeoHash等)。对于宏观尺度，使用基于Box Embedding的方法，对地理实体和上下位有关的索引关系进行联合训练；对于中观尺度，将该场景视为一个异构信息网上的多类别链路预测问题，使用基于异构图神经网络的方法对地理实体及不同全局时空关联关系的索引进行联合训练；对于微观尺度，将抵达同一地理实体的不同多条路径视为一个等变问题，即，对同一目标实体而言，不同路径的语义是一致的，因此本方法使用基于等变图神经网络的方法对实体进行表征学习，最后将实体及关系表征进行向量化的存储。

联合优化仅实现了地理实体和空间关联的空间语义，但尚未构建文本语义与地理语义之间的关联，即，还需要进一步训练一个实体链接模型。实体链接模型将输入的文本实体使用通用的预训练语言模型向量化，为了防止因地名表述不同造成的向量化结果差异较大，将对输入地名进行一定的数据增强，具体包括全称/缩写替换、随即增删行政区划级别信息、随机增删字符、同音字替换等，最后在向量数据库中获取同一地名所有输入样本匹配分数最高的Top N(此处N取3)实体作为候选集，之后，将候选集与实体拼接送入排序模型(此处使用通用的多分类模型)选取最小排序值作为最终链接实体。

S3,基于自然语言处理技术，生成文本语义图；

具体的，通过命名实体识别技术识别文本中不同类别的地名，通过关系抽取技术捕获不同地名之间的不同语义关系，经过句法分析构建地名之间的句法关联，最终生成地名文本语义图，实现对待检索地名地址文本的结构化、语义化。

S4，基于向量化检索技术进行地理空间实体链接；

具体的，在生成文本语义图后，将语义图中的地名与地理图谱中的地理实体在向量数据库中基于不同索引进行检索匹配。

在一个具体实施例中，首先使用警用地名地址的上下文信息(一般包含所属派出所、所属分局、处所类型、处所部位等)进行索引筛选。之后使用地名在向量数据库中按筛选的索引进行检索，取匹配分数最高的Top K(本处取Top 3)进一步合并进行实体链接。对实体链接后的地理实体依据地理图谱进一步丰富上下文信息以及实体间空间关联，形成最终进行空间范围推理及边界切割的地理语义图。

S5，进行空间范围推理及边界切割；

具体的，空间范围推理将限定地名的空间范围，逐个地名比较其所属类别的空间尺度级别，按顺序生成解析图，再根据顺序解析图生成反向推理图。对于解析过程中涉及到以地名为锚点的模糊范围，需要进行空间边界切割，依据不同类型的模糊范围对锚点形成的等视域进行进一步切割，即将边界切割视为一个图像分割问题，使用模糊范围的类型引导等视域的切割过程。

S6，进行多尺度编码；

具体的，为了方便下游任务中对结构化数据的应用，编码结果不再局限于单一尺度单一对象的编码，将从尺度和对象两个方面进行编码。尺度上，将从宏观、中观、微观分别进行编码，便于后续索引。宏观上将通过地名地址涉及的主题区域按解析次序依次编码，中观上将通过地名地址涉及的数据库中有的标志性建筑/地点(即关键地点)按解析次序依次编码，微观上将通过标志性建筑/地点涉及的以地名为锚点的模糊范围按标志性建筑/地点解析次序依次编码；对象上，本模块将按照解析次序对每个编码进行时空两个维度赋权，空间维度权重越大表示粒度越细，解析次序维度权重越大表示越靠近图4中的输入。

进一步地，步骤S5包括子步骤：

S51，确定区域数量；

具体的，警用地名地址相比一般地名地址数据的区别在于，其可能存在跨地区的过程性描述。因此，首先需要明确地名地址中涉及到的宏观区域数量，将区域级地名分别按粒度大小进行组织，最后，以一个栈(记为S)存储区域级地名间关系。

S52，确定各区域中标志性建筑物或地点数量；

在组织完成的区域级地名后，按文本解析次序依次组织各区域地名对应的标志性建筑物或地点的地名，将标志性建筑物或地点的地名间关系送入S。

S53，确定标志性建筑物或地点对应模糊范围数量；

对于存在模糊范围地名的，需要进一步组织各标志性建筑物或地点对应的模糊范围，最终将模糊范围的地名间关系送入S。

S54，构建融合规则；

将S中的元素依次输出，组织到已构建的反向推理图上，形成各地名之间融合计算单元，完成反向推理图的构建。

进一步地，步骤S54包括子步骤：

S541，标志性建筑物或地点及其对应模糊范围融合；

S542，标志性建筑物或地点融合；

依据不同地名间关系采取不同的融合措施，如交叉路口类，采用路段交点并取一定范围缓冲区的方式。

S543，区域融合，完成输出；

对融合完标志性建筑物或地点的各区域进行最后的融合，如，对于路线涉及多个区域的，将采用路线结合缓冲区的方式进行融合。

可以理解，图5中多边形中的“AOI/POI/Road”表示“兴趣面/兴趣点/道路”，下划线后的数字表示对应地理实体的id号，当前的待切割边界地名的锚点为POI_0，待切割的空间关系为“西方”。由图可见，首先以POI_0为锚点绘制缓冲区(以POI_0为圆心，R为半径的圆形区域)，在缓冲区范围内计算等视域(浅灰色部分，虚线为计算等视域的辅助线)。本方法采用了基于数据驱动的等视域切割方法，将等视域切割视为一个图像分割问题，考虑到等视域的生成过程，对输入样本采用极坐标的方式对缓冲区进行极坐标变换，变换后的图像包含三个通道，一个通道为二值化的等视域，即等视域范围的像素点的值均为1，其余为0；另一个通道中包含缓冲区中的核心索引数据，其所在位置均由对应的类别值表示，其余位置置0；最后一个通道包含缓冲区中的辅助索引数据，其所在位置均由对应的类别值表示，其余位置置0。

可以理解，训练输出目标样本中，实际输出并无等视域。

本发明还提供一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法步骤。存储介质可以包括如软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、XD卡等。

计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可以是个人计算机设备、服务器或其他网络设备等)用以执行本发明方法的全部或部分步骤。

本发明还提供一种地理编码系统，其包括地理图谱构建模块、地理表征模块、地面地址解析模块、地面地址映射模块、空间关系推理模块及地理编码生成模块，其中，地理图谱构建模块，用于根据索引数据库，完成地理图谱的构件；地理表征模块，完成实体及关系的向量化及存储检索，以完成地理表征的建立；地面地址解析模块，用于生成文本语义图；地面地址映射模块，用于进行地理空间实体链接；空间关系推理模块，用于进行空间范围推理及边界切割；地理编码生成模块，用于进行多尺寸编码。

可以理解，索引数据库将数据划分为两大类，一类为核心索引数据，一类为辅助索引数据。核心索引数据将重点负责构建对地理实体多尺度的索引，分为宏观、中观、微观三个尺度的数据，宏观索引数据主要包括行政区划数据、派出所辖区数据，中观索引数据主要包括基础路网数据、公共交通线路数据，微观索引数据主要包括POI、建筑轮廓数据。辅助索引数据仅负责构建微观尺度的地理实体索引，属于非必须数据，一般可选街景数据、集市数据、高程数据等，此后更新的数据都将归到这两大类数据中。

可以理解，地理图谱构建模块分别使用核心索引数据的三个尺度的索引数据构建地理实体的索引，若有辅助索引数据则进一步丰富地理实体间的微观索引。构建完成现有的地理实体之间的索引之后，对已经标注的警用地名地址数据在现有数据基础上进行索引。索引的构建明确了数据之间静态、显式的空间关联，但这种空间关联是粗粒度的，相比于警用地名地址数据来说，有很多的动态、隐式空间关联尚未被挖掘。因此，还需要进一步定义细粒度空间关联算子挖掘动态、隐式的空间关联，这些算子包括但不限于相对距离算子、相对方向计算、相对方向角计算、相对路线计算、等视域计算。由于这种动态、隐式空间关联数量庞大，因此，对于空间跨度较大的算子(如相对路线)，将依据基于全局空间上的时空流数据的有效距离进行采样计算；对于空间跨度较小的算子(如等视域)，将在局部空间进行采样计算。最终，基于构建完成的地理图谱，将现有的警用地名地址标注数据依据不同尺度建立索引，并通过细粒度空间关联算子对数据采样动态、隐式空间关联。

在本实施例中，待抽取的实体类型分为行政区划级别、地点级别以及公共交通级别三大类，使用基于预训练语言模型的实体关系联合抽取模型进行实体关系联合抽取，对抽取完成的文本进一步进行成分句法分析、依存句法分析等自然语言处理中常见的文法分析，尽可能多地捕捉实体间的文本语义关联关系，最终将实体、关系以及语义关系共同组织成语义解析图。

可以理解，索引数据库、地理图谱构建模块以及地理表征模块同属于系统的预处理及预训练阶段，该阶段将采用离线方式进行，定期使用新数据增量更新模型；地名地址解析模块、地名地址映射模块、空间关系推理模块以及地理编码生成模块同属于解析映射及检索编码阶段，该部分以线上方式实时运行；地理图谱构建模块通过调用索引数据库中的数据构建地理图谱，在构建完成后再对警用地名地址标注数据进行索引；地理表征模块使用地理图谱中的实体及关系数据进行多尺度联合表征学习，将实体及关系数据按照不同主题索引存储进向量数据库，并训练实体链接模型。地名地址解析模块负责对输入的待检索警用地名地址进行实体关系联合抽取，并生成语义解析图；地名地址映射模块将把语义解析图中的地名与地理图谱中的地理实体使用地理表征模块的实体链接模型进行链接映射，同时用链接完成的地理实体在地理图谱中的局部子图来丰富语义解析图的空间语义关联关系；空间关系推理模块将变换语义解析图，完成空间范围的推理，同时使用语义解析图中的空间语义关联关系完成细粒度的空间边界分割，输出警用地名地址的空间范围以及空间边界；地理编码生成模块将使用空间关系推理模块输出的空间范围及空间边界完成多尺度多对象的编码

通过上述实施例可以看出，本发明通过向量化检索可以减小因同一地名由于表述文本差异较大而召回率较低，或召回结果质量较差的问题，扩展了当前地名解析的编码类型，提升了地名地址文本结构化的能力。

本发明所述的方法及系统并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (10)

1.一种地理编码方法，其特征在于，包括：

基于本地或开源的地理环境数据构建地理图谱；

基于知识图谱嵌入技术及向量存储技术进行地理表征的建立；

基于自然语言处理技术，生成文本语义图；

基于向量化检索技术进行地理空间实体链接；

进行空间范围推理及边界切割；及

进行多尺度编码。

2.如权利要求1所述的一种地理编码方法，其特征在于：

所述地理图谱构建完成后，再对警用地面地址标注数据进行索引。

3.如权利要求1所述的一种地理编码方法，其特征在于：

所述地理环境数据分为核心索引数据及辅助索引数据，所述核心索引数据从宏观尺度、中观尺度及微观尺度构建整个所述地理图谱。

4.如权利要求1所述的一种地理编码方法，其特征在于，所述进行空间范围推理及边界切割还包括步骤：

确定区域数量；

确定各区域中标志性建筑物或地点数量；

确定标志性建筑物或地点对应模糊范围数量；

构建融合规则。

5.如权利要求4所述的一种地理编码方法，其特征在于，所述构建融合规则包括步骤：

标志性建筑物或地点及其对应模糊范围融合；

标志性建筑或地点融合；

区域融合，完成输出。

6.如权利要求1所述的一种地理编码方法，其特征在于：

所述多尺度编码从宏观、中观、微观分别进行编码。

7.如权利要求1所述的一种地理编码方法，其特征在于：

所述表征的建立包括完成实体及关系的向量化存储检索。

8.如权利要求1所述的一种地理编码方法，其特征在于，所述基于向量化检索技术进行地理空间实体链接还包括：

使用警用地名地址的上下文信息进行索引筛选；

使用地名在向量数据库中按筛选的索引进行检索，取匹配分数最高的三个进一步合并进行实体链接；

对实体链接后的地理实体依据地理图谱进一步丰富上下文信息以及实体间空间关联，形成最终进行空间范围推理及边界切割的地理语义图。

9.一种存储介质，其特征在于：

所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-8中任一项中所述的地理编码方法。

10.一种地理编码系统，其特征在于，包括：

地理图谱构建模块，用于根据索引数据库，完成地理图谱的构件；

地理表征模块，完成实体及关系的向量化及存储检索，以完成地理表征的建立；

地面地址解析模块，用于生成文本语义图；

地面地址映射模块，用于进行地理空间实体链接；

空间关系推理模块，用于进行空间范围推理及边界切割；

地理编码生成模块，用于进行多尺寸编码。

Images