CN116050429A - 基于多模态数据关联的地理环境实体构建系统及方法 - Google Patents

Abstract

本发明涉及一种基于多模态数据关联的地理环境实体构建系统及方法，属于地理空间数据组织与建模技术领域，该系统包括地理环境原始数据提供模块、地理空间实体构建模块、地理知识实体构建模块、地理环境实体模型、地理环境实体属性融合模块、地理环境实体存储模块、地理环境实体元数据、地理环境实体搜索引擎模块以及地理知识服务应用模块。本申请提供的系统及方法通过构建地理空间实体以及地理知识实体，并将地理空间实体以及地理知识实体进行融合，获取地理环境实体信息，并在获取地理环境实体信息过程中抽取地理文本数据中的地理知识、关联地理媒体数据，实现地理环境实体属性的极大丰富，可以更真实的平行映射现实世界事物。

Description

基于多模态数据关联的地理环境实体构建系统及方法

技术领域

本发明涉及地理空间数据组织与建模技术领域，尤其涉及一种基于多模态数据关联的地理环境实体构建系统及方法。

背景技术

多模态数据中蕴含有丰富的地理环境信息，基于图元方式进行组织的地理空间数据精度高，易于进行空间计算分析，但缺乏丰富的地理环境对象属性信息；基于文件、网页等方式进行组织的文本、图片、音视频等半结构、非结构化数据中拥有大量的隐式地理环境属性信息，易于进行语义关联分析与实景呈现，但位置坐标等空间信息相对模糊，精准性不强，从而无法有效利用蕴含在文本、音视频等多模态数据中丰富的实体空间信息和语义信息。

知识图谱技术通过将结构化和非结构化的海量数据建立连接，并以结构化的形式描述现实世界中的实体以及实体间的复杂关系，从而成为用于解决跨模态数据组织关联和智能运用的技术路径，但是现有通用知识图谱的空间知识覆盖程度低，基于维基百科、百度百科等开源知识库构建的地理知识图谱存在实体地理坐标、空间关系、地理属性信息缺乏、失准、矛盾等问题；面向行业应用，特别是军事应用，通用知识图谱构建技术的可迁移性相对薄弱，需要面向特定行业领域实现满足业务需要的跨模态地理知识库构建方法、技术及工具手段，从而，通用知识图谱构建技术很难满足军事领域地理知识服务的应用需求。

此外，目前新型基础测绘体系的建立还比较缓慢，地理环境实体的构建主要还是依托基础地理空间信息，并以图元要素数据重组的方式落地实施，地理信息服务主要还是以地图叠加多层要素信息为主。因此，在多比例尺、多分辨率、多图层的数据模块中，同一地理环境实体的空间信息冲突、实体属性信息有限，缺少对实体间复杂语义关联关系的表达。

发明内容

本发明意在提供一种基于多模态数据关联的地理环境实体构建系统及方法，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。

本发明提供的基于多模态数据关联的地理环境实体构建系统包括：

地理环境原始数据提供模块，用于提供包括基础地理空间数据、地理文本数据以及地理媒体数据的地理环境原始数据；

地理空间实体构建模块，用于根据地理环境原始数据提供模块提供的地理环境原始数据构建地理空间实体；

地理知识实体构建模块，用于根据地理环境原始数据提供模块提供的地理环境原始数据构建地理知识实体；

地理环境实体模型，用于描述地理环境实体的特征属性；

地理环境实体属性融合模块，用于根据实体名称、空间位置及实体属性信息对将构建的地理空间实体和地理知识实体进行融合，获取地理环境实体信息；

其中，地理环境实体模型对获取的地理环境实体信息进行逻辑封装；

地理环境实体存储模块，用于根据地理环境实体属性融合模块获取的地理环境实体信息的数据特点分模态进行地理环境数据的存储；

地理环境实体元数据，用于对地理环境实体信息的逻辑封装结果进行注册登记管理；

地理环境实体搜索引擎模块，用于根据数据搜索条件实现地理环境实体信息的检索；

以及地理知识服务应用模块，用于实现地理知识的服务应用。

在上述的方案中，所述地理环境实体模型包括实体时空特征、实体基础特征和实体语义特征，实体基础特征包括实体编码、实体类型以及实体名称；实体时空特征包括实体所处的时间特征、空间位置、空间形态、空间属性、空间关系以及相关空间图元数据；实体语义特征包括实体的时间语义描述、状态特征、组成结构、非空间属性、语义关系以及多媒体数据。

在上述的方案中，所述地理知识实体构建模块包括地理环境知识本体，所述地理环境知识本体用于对地理文本数据进行实体化处理。

本发明提供的基于多模态数据关联的地理环境实体构建方法，采用如上所述的基于多模态数据关联的地理环境实体构建系统进行基于多模态数据关联的地理环境实体构建，包括：

步骤S1：通过地理空间实体构建模块读取基础地理空间数据，将基础地理空间数据的属性字段内容与地理环境实体对象的空间要素属性字段进行关系映射，遍历并抽取构建地理环境实体对应的空间属性特征的图元空间信息，对抽取的空间属性特征的图元空间信息进行实体化转换处理，对实体化转换处理结果重组整合，生成时空域下的地理空间实体；

步骤S2：通过地理知识实体构建模块读取地理文本数据，建立地名库、字典库、同义词库与地理文本数据之间的映射关系，根据映射关系抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息，并根据抽取信息识别并建立多个地理环境实体间的语义关联关系，通过地理知识实体构建模块中的地理环境知识本体对地理文本数据进行实体化处理，以及建立地理知识实体以及地理知识实体间的语义网关系；

步骤S3：将地理空间实体、地理知识实体以及地理媒体数据作为地理环境实体属性融合模块的输入信息，通过地理环境实体属性融合模块进行实体数据匹配、实体命名对齐、实体属性对齐、实体属性整合补全、实体关系对齐、实体关系整合补全、实体对象编码以及实体数据封装处理，获取包括实体时空属性、语义属性以及实体多媒体属性的地理环境实体信息；

步骤S4：通过地理环境实体模型对获取的地理环境实体信息进行逻辑封装；

步骤S5：通过地理环境实体存储模块根据获取的地理环境实体信息的数据特点分模态进行地理环境数据的存储，其中，地理环境实体存储模块包括实体库、关系数据库、图数据库和文件数据库，实体库用于存储地理空间实体与地理知识实体，关系数据库用于存储实体时空属性，图数据库用于存储语义属性，文件数据库用于以文件方式存储实体多媒体属性；

步骤S6：通过地理环境实体元数据对地理环境实体信息的逻辑封装结果进行注册登记管理；

步骤S7：通过地理环境实体搜索引擎模块根据数据搜索条件实现地理环境实体信息的检索。

在上述的方案中，抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息包括：

将地理文本数据输入至构建的Embedding层中获取多个one-hot词向量，通过one-hot词向量获取字向量矩阵W1与词向量矩阵W2，并引入外部的通用字向量矩阵W3与词向量矩阵W4,通过将字向量矩阵W1、词向量矩阵W2、字向量矩阵W3和词向量矩阵W4拼接在一起得到混合词向量矩阵【W1,W2,W3,W4】；

通过优化目标函数对得到的混合词向量矩阵【W1,W2,W3,W4】进行优化处理，得到相应的优化词向量矩阵；

将得到的优化词向量矩阵输入至RoBERTa模型中，通过自注意力机制对优化词向量矩阵中不同的词分配不同的权重得到权重矩阵，并通过softmax函数对权重矩阵处理得到自注意力矩阵，通过多头机制将自注意力矩阵输入至注意力层输出多个词向量，对部分词进行掩码，从注意力层输出的多个词向量中提取出相应的特征C，并对提取的特征C进行拼接形成拼接向量矩阵；

将拼接向量矩阵输入至Bi-LSTM模型中，通过Bi-LSTM模型对拼接向量矩阵进行前向运算以及后向运算，分别得到隐藏状态ht1与隐藏状态ht2，将隐藏状态ht1与隐藏状态ht2进行拼接，得到隐藏状态Ht，并将得到的隐藏状态Ht与通过RoBERTa模型提取的特征C拼接在一起得到特征矩阵[C,Ht]；

将获取的特征矩阵[C,Ht]输入至CRF模型中进行序列标注，并通过维特比算法获取地理文本数据中的地理环境命名实体及其相关的语义属性信息。

在上述的方案中，步骤S3包括：

选取实体名称相同或同义的地理空间实体、地理知识实体以及地理媒体数据作为地理环境实体属性融合模块的输入信息，根据地理空间实体的类别对输入信息进行预处理，获取地理空间实体属性信息以及地理知识实体属性信息；

根据地理空间实体的类别，通过地理环境实体模型对地理空间实体、地理知识实体以及地理媒体数据进行匹配；

根据地理空间实体属性信息以及地理知识实体属性信息，按照同义词库的标准词规则对输入信息中的地理空间实体与地理知识实体之间进行实体命名对齐；

对输入信息中地理空间实体与地理知识实体之间的对齐关系进行实体属性对齐；

基于地理环境实体模型，建立地理空间实体原型、地理知识实体原型与多模态数据之间的关联映射关系，并通过地理知识实体构建模块中的地理环境知识本体从多模态数据中识别地理实体，进行实体属性整合补全，其中，多模态数据为蕴含在文本、音视频中的地理数据；

基于实体最小粒度要素间的空间关系进行地理空间实体与地理知识实体之间的空间关系对齐；

对地理空间实体与地理知识实体进行空间范围、拓扑关系以及语义关系的融合处理，进行空间关系整合补全；

根据实体编码规则，对地理空间实体与地理知识实体进行实体编码赋值；

根据地理空间实体与地理知识实体的实体编码赋值，通过地理知识图谱建立地理空间实体与地理知识实体之间的空间信息与语义信息的关联关系，对地理空间实体与地理知识实体进行封装；

获取包括实体时空属性、语义属性以及实体多媒体属性的地理环境实体信息。

在上述的方案中，步骤S7包括：

获取用户通过数据搜索条件得到的搜索结果集；

将用户通过数据搜索条件得到的搜索结果集取并集，获取复合查询结果集；

在复合查询结果集中选取指定实体，获取选取的指定实体的关联图谱，根据指定实体的实体类型或关联图谱中的关系名称进行计算筛选，在图数据库中通过检索最短路径计算关联图谱中实体间关联关系及类型属性，获取与指定实体有关系的一级关系实体，将一级关系实体作为关系筛选结果集；

对关系筛选结果集进行可视化展示。

在上述的方案中，获取用户通过数据搜索条件得到的搜索结果集包括：

获取用户通过可视化地图交互拉框方式选取的用于进行空间计算的经纬度范围；

对经纬度范围进行投影转换，获得投影坐标系下的经纬度范围对应的矩形范围，对地理环境实体存储模块中实体库中的实体地理位置和矩形的空间几何关系进行匹配计算，获取矩形范围内的全部实体，将矩形范围内的全部实体作为空间计算搜索结果集。

在上述的方案中，获取用户通过数据搜索条件得到的搜索结果集包括：

获取用户输入的实体名称、实体类型、实体属性或属性过滤条件；

在地理环境实体存储模块中的图数据库中将实体属性的含义进行细化，并对实体属性的含义分类，根据实体属性的含义对图数据库中语义属性逐一进行模糊查询，获取属性含义计算搜索结果集。

在上述的方案中，对关系筛选结果集进行可视化展示包括：

以关联拓扑图形式展示关系筛选结果集对应的关联图谱信息，以表格列表形式展示关系筛选结果集对应的多种属性信息，以图片显示和视频播放形式展示关系筛选结果集对应的多媒体信息；

对关系筛选结果集中的多个地理实体在地图上进行点标注，显示地图上各个地理实体中心位置，根据用户对指定地理实体的选取信息，在地图上显示该指定地理实体的空间矢量信息。

本发明实施例包括以下优点：

本发明实施例提供的基于多模态数据关联的地理环境实体构建系统及方法，通过构建地理空间实体以及地理知识实体，并将地理空间实体以及地理知识实体进行融合，获取地理环境实体信息，并在获取地理环境实体信息过程中抽取地理文本数据中的地理知识、关联地理媒体数据，实现地理环境实体属性的极大丰富，可以更真实的平行映射现实世界事物；同时，根据地理环境实体信息的数据特点分模态进行地理环境数据的存储，提升了非结构化数据的有效利用；相较于传统地理信息技术，本发明基于现实世界理解来刻画地理环境，让地理环境数据使用起来更加易于理解、维护更新更加一致、信息服务更加便捷；此外，本发明基于空间计算与语义计算的融合检索，可有效提升地理知识服务的精准度和计算效率，满足地理信息服务多样性的需求；本发明可以有效解决地理环境实体生产过程中存在的信息不完整、语义重复、关系缺失等问题，从而提高地理环境实体化的一致化、知识化水平，为地理环境实体设计、生产、数据整合及管理提供了支撑，同时建设面向军事领域的地理知识图谱，可以有效提升军事领域的知识智能化应用水平。

附图说明

图1是本发明的一种基于多模态数据关联的地理环境实体构建系统的架构图。

图2是本发明的地理环境实体模型的组成示意图。

图3是本发明的一种基于多模态数据关联的地理环境实体构建系统方法的步骤图。

图4是本发明的抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息的流程图。

图5是本发明的步骤S3的流程图。

图6是本发明的步骤S7的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本发明提供的一种基于多模态数据关联的地理环境实体构建系统，包括：

地理环境原始数据提供模块，用于提供包括基础地理空间数据、地理文本数据以及地理媒体数据的地理环境原始数据，其中，基础地理空间数据包括矢量、栅格、高程、地形以及地名等，地理文本数据包括地理百科、地缘研究、知识年鉴以及文献资料等，地理媒体数据包括图片、视频以及音频等；

地理空间实体构建模块，用于根据地理环境原始数据提供模块提供的地理环境原始数据构建地理空间实体，其中，地理空间实体构建模块读取基础地理空间数据，对基础地理空间数据中的地名地址进行清洗、并对基础地理空间数据进行多尺度转换，将基础地理空间数据的属性字段内容与地理环境实体对象的空间要素属性字段进行关系映射，遍历并抽取构建地理环境实体对应的空间属性特征的图元空间信息，对抽取的空间属性特征的图元空间信息进行实体化转换处理，对实体化转换处理结果重组整合，生成时空域下的地理空间实体以及根据空间剖分编码规则对地理空间实体进行编码，以及将重组整合结果封装成时空域下的实体实例化对象；

地理知识实体构建模块，用于根据地理环境原始数据提供模块提供的地理环境原始数据构建地理知识实体，其中，地理知识实体构建模块读取地理文本数据，建立地名库、字典库、同义词库与地理文本数据之间的映射关系，根据映射关系抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息，并根据抽取信息识别并建立多个地理环境实体间的语义关联关系，通过地理知识实体构建模块包括的地理环境知识本体对地理文本数据进行实体化处理，以及建立地理知识实体以及地理知识实体间的语义网关系，并将实体化处理封装成语义域下的实体实例化对象，根据唯一编码要求对地理知识实体进行编码，其中，抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息包括对地理文本数据进行分词处理、命名地理实体识别、地理实体属性抽取以及地理实体关系抽取；

地理环境实体模型，用于描述地理环境实体的特征属性；

地理环境实体属性融合模块，用于根据实体名称、空间位置及实体属性信息对将构建的地理空间实体和地理知识实体进行融合，获取地理环境实体信息，其中，将地理空间实体、地理知识实体以及地理媒体数据作为地理环境实体属性融合模块的输入信息，通过地理环境实体属性融合模块进行实体数据匹配、实体命名对齐、实体属性对齐、实体属性整合补全、实体关系对齐、实体关系整合补全、实体对象编码以及实体数据封装处理，获取包括实体时空属性、语义属性以及实体多媒体属性的地理环境实体信息，在将地理媒体数据作为地理环境实体属性融合模块的输入信息时，通过地理空间实体和地理知识实体与地理媒体数据的元数据进行对比或通过人机交互方式对相关的多媒体数据进行链接，并按照地理环境实体模型进行逻辑封装，支撑地理环境实体搜索引擎的工作；

其中，地理环境实体模型对获取的地理环境实体信息进行逻辑封装；

地理环境实体存储模块，用于根据地理环境实体属性融合模块获取的地理环境实体信息的数据特点分模态进行地理环境数据的存储，其中，地理环境实体存储模块包括实体库、关系数据库、图数据库和文件数据库，实体库用于存储地理空间实体与地理知识实体，关系数据库用于存储实体时空属性，图数据库用于存储语义属性，文件数据库用于以文件方式存储实体多媒体属性；

地理环境实体元数据，用于对地理环境实体信息的逻辑封装结果进行注册登记管理；

地理环境实体搜索引擎模块，用于根据数据搜索条件实现地理环境实体信息的检索；

以及地理知识服务应用模块，用于实现地理知识的服务应用。

如图2所示，所述地理环境实体模型包括实体时空特征、实体基础特征和实体语义特征，实体基础特征记录地理环境实体的通用信息，实体基础特征包括实体编码、实体类型以及实体名称，其中，实体名称包括实体标准名称和实体同义名称；实体时空特征包括实体所处的时间特征、空间位置、空间形态、空间属性、空间关系以及相关空间图元数据；实体语义特征包括实体的时间语义描述、状态特征、组成结构、非空间属性、语义关系以及多媒体数据。

在本实施例中，在地理环境实体模型的基础上，本发明对获得的各类实体数据按其特征进行映射存储，实现地理环境实体对象类的构造，地理环境实体模型是面向开发和操作用户的地理环境实体对象数据视图，一方面它为用户提供了地理环境实体对象的访问方式，另一方面它通过特征映射适配多种数据源，提供对各个特征数据源的访问能力。

如图3所示，本发明提供的一种基于多模态数据关联的地理环境实体构建方法，采用如上所述的基于多模态数据关联的地理环境实体构建系统进行基于多模态数据关联的地理环境实体构建包括：

步骤S1：通过地理空间实体构建模块读取基础地理空间数据，将基础地理空间数据的属性字段内容与地理环境实体对象的空间要素属性字段进行关系映射，遍历并抽取构建地理环境实体对应的空间属性特征的图元空间信息，对抽取的空间属性特征的图元空间信息进行实体化转换处理，对实体化转换处理结果重组整合，生成时空域下的地理空间实体。

在本实施例中，实体化转换处理包括分类转换、编码转换、坐标系统一、数据格式转化等。

步骤S2：通过地理知识实体构建模块读取地理文本数据，建立地名库、字典库、同义词库与地理文本数据之间的映射关系，根据映射关系抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息，并根据抽取信息识别并建立多个地理环境实体间的语义关联关系，通过地理知识实体构建模块中的地理环境知识本体对地理文本数据进行实体化处理，以及建立地理知识实体以及地理知识实体间的语义网关系。

在本实施例中，采用图谱技术建立地理知识实体以及地理知识实体间的语义网关系。

如图4所示，基于RoBERTa+Bi-LSTM+CRF混合抽取模型抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息，从非结构化数据源中获取地地理环境命名实体，在此过程中，将文本语句通过RoBERTa模型转化为词向量，然后以词向量作为输入，再连接深度学习模型Bi-LSTM，最后将Bi-LSTM输出向量放入条件随机场CRF进行序列标注，找到最优的标签以达到地理环境命名实体的目的，抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息包括：

将地理文本数据输入至构建的Embedding层中获取多个one-hot词向量，通过one-hot词向量获取字向量矩阵W1与词向量矩阵W2，并引入外部的通用字向量矩阵W3与词向量矩阵W4,通过将字向量矩阵W1、词向量矩阵W2、字向量矩阵W3和词向量矩阵W4拼接在一起得到混合词向量矩阵【W1,W2,W3,W4】，其中，获取N-1个one-hot词向量，基于Fasttext模型通过one-hot词向量获取N×V字向量矩阵W1的矩阵，基于Word2Vec模型通过one-hot词向量获取N×V词向量矩阵W2的矩阵，N为设定的维度，V是词典的大小，这里指定了不同的字向量与词向量维度，基于字的词向量矩阵弥补了特定领域中专业词汇较少的特点，而基于词的词向量矩阵中的词是特定领域的词，所以能提供更精确的先验知识；

通过优化目标函数对得到的混合词向量矩阵【W1,W2,W3,W4】进行优化处理，得到相应的优化词向量矩阵，其中，利用对抗训练优化混合词向量矩阵，

引入扰动因子，其中 g=L(θ,x,y)，优化目标函数为：，内部的max函数找到扰动，外部的min函数找到最佳鲁棒参数，公式中L为损失函数，ε是扰动范围，D是样本的范围，通过投影梯度下降方法，即来把内部max的非凸约束优化问题解决，最后得到相应的优化词向量矩阵；

将得到的优化词向量矩阵输入至RoBERTa模型中，通过自注意力机制对优化词向量矩阵中不同的词分配不同的权重得到权重矩阵，并通过softmax函数对权重矩阵处理得到自注意力矩阵，通过多头机制将自注意力矩阵输入至注意力层输出多个词向量，对部分词进行掩码，从注意力层输出的多个词向量中提取出相应的特征C，并对提取的特征C进行拼接形成拼接向量矩阵；

将拼接向量矩阵输入至Bi-LSTM模型中，通过Bi-LSTM模型对拼接向量矩阵进行前向运算以及后向运算，分别得到隐藏状态ht1与隐藏状态ht2，将隐藏状态ht1与隐藏状态ht2进行拼接，得到隐藏状态Ht，并将得到的隐藏状态Ht与通过RoBERTa模型提取的特征C拼接在一起得到特征矩阵[C,Ht]，具体地，把拼接好的向量矩阵输入到Bi-LSTM模型中，拼接好的向量经过遗忘门f_t=σ*[h_t-1,x_t+b_f]来判断是否遗忘的旧信息，经过遗忘门后的输出信息通过输入门i_t=σ*[h_t-1,x_t+b_i]，利用sigmoid函数来更新值，并构建新的候选值C_t=tanh*[h_t-1,x_t+b_C]，其中tanh为函数，接着经过输入门后的输出信息通过更新门C_t=f_t*C_t-1+i_t*C_t来决定是否更新的状态，最后通过输出门o_t=σ*[h_t-1,x_t+b_o,h_t]=o_t*tanhC_t来得到相应的概率分布，公式中x_t为依次输入的字或词向量矩阵，h_t-1为上一时刻的隐藏状态，b为偏置项，W为权重矩阵，C_t-1为上一个记忆状态，C_t为当前记忆状态，经过前向运算以及后向运算构建得到隐藏状态ht1与隐藏状态ht2，拼接隐藏状态ht1与隐藏状态ht2为Ht，将通过RoBERTa模型提取到的特征C与Bi-LSTM模型得到的隐藏状态Ht拼接在一起得到特征矩阵[C,Ht]，这一过程解决了RoBERTa模型带来的独立假设检验问题，并对因RoBERTa模型字数限制带来的特征损失进行了补充；

将获取的特征矩阵[C,Ht]输入至CRF模型中进行序列标注，并通过维特比算法获取地理文本数据中的地理环境命名实体及其相关的语义属性信息。

步骤S3：将地理空间实体、地理知识实体以及地理媒体数据作为地理环境实体属性融合模块的输入信息，通过地理环境实体属性融合模块进行实体数据匹配、实体命名对齐、实体属性对齐、实体属性整合补全、实体关系对齐、实体关系整合补全、实体对象编码以及实体数据封装处理，获取包括实体时空属性、语义属性以及实体多媒体属性的地理环境实体信息。

如图5所示，步骤S3包括：

选取实体名称相同或同义的地理空间实体、地理知识实体以及地理媒体数据作为地理环境实体属性融合模块的输入信息，根据地理空间实体的类别对输入信息进行预处理，获取地理空间实体属性信息以及地理知识实体属性信息；

根据地理空间实体的类别，通过地理环境实体模型对地理空间实体、地理知识实体以及地理媒体数据进行匹配；

根据地理空间实体属性信息以及地理知识实体属性信息，按照同义词库的标准词规则对输入信息中的地理空间实体与地理知识实体之间进行实体命名对齐；

对输入信息中地理空间实体与地理知识实体之间的对齐关系进行实体属性对齐；

基于地理环境实体模型，建立地理空间实体原型、地理知识实体原型与多模态数据之间的关联映射关系，并通过地理知识实体构建模块中的地理环境知识本体从多模态数据中识别地理实体，进行实体属性整合补全，其中，多模态数据为蕴含在文本、音视频中的地理数据；

基于实体最小粒度要素间的空间关系进行地理空间实体与地理知识实体之间的空间关系对齐；

对地理空间实体与地理知识实体进行空间范围、拓扑关系以及语义关系的融合处理，进行空间关系整合补全；

根据实体编码规则，对地理空间实体与地理知识实体进行实体编码赋值；

根据地理空间实体与地理知识实体的实体编码赋值，通过地理知识图谱建立地理空间实体与地理知识实体之间的空间信息与语义信息的关联关系，对地理空间实体与地理知识实体进行封装，具体地，根据基本图元数据、实体图元关系、实体特征属性数据、实体关联属性、实体多媒体属性等多个维度进行地理空间实体与地理知识实体的封装；

获取包括实体时空属性、语义属性以及实体多媒体属性的地理环境实体信息。

在本实施例中，在获取了包括实体时空属性、语义属性以及实体多媒体属性的地理环境实体信息后，综合采用地理环境实体存储模块中的实体库、关系数据库、图数据库和文件数据库对地理环境实体信息中的时空信息、非结构化的文本、音视频信息以及关联关系，进行存储管理。

在本实施例中，步骤S3综合利用多模态的地理环境数据，基于结构化的时空信息、非结构化的文本/音视频信息提取，通过地理知识图谱建立地理空间实体与地理知识实体之间的空间信息与语义信息的关联关系，地理环境实体信息，解决地理环境实体属性补充完善问题。

步骤S4：通过地理环境实体模型对获取的地理环境实体信息进行逻辑封装。

步骤S5：通过地理环境实体存储模块根据获取的地理环境实体信息的数据特点分模态进行地理环境数据的存储，其中，地理环境实体存储模块包括实体库、关系数据库、图数据库和文件数据库，实体库用于存储地理空间实体与地理知识实体，关系数据库用于存储实体时空属性，图数据库用于存储语义属性，文件数据库用于以文件方式存储实体多媒体属性。

步骤S6：通过地理环境实体元数据对地理环境实体信息的逻辑封装结果进行注册登记管理。

步骤S7：通过地理环境实体搜索引擎模块根据数据搜索条件实现地理环境实体信息的检索。

如图6所示，步骤S7包括：

获取用户通过数据搜索条件得到的搜索结果集，其中用户通过空间搜索与语义搜索两种搜索条件进行搜索，用户通过空间搜索时，获取用户通过数据搜索条件得到的搜索结果集包括：获取用户通过可视化地图交互拉框方式选取的用于进行空间计算的经纬度范围，其中经纬度范围包括南北纬度以及东西经度；对经纬度范围进行投影转换，获得投影坐标系下的经纬度范围对应的矩形范围，对地理环境实体存储模块中实体库中的实体地理位置和矩形的空间几何关系进行匹配计算，获取矩形范围内的全部实体，将矩形范围内的全部实体作为空间计算搜索结果集；用户通过语义搜索时，获取用户通过数据搜索条件得到的搜索结果集包括：获取用户输入的实体名称、实体类型、实体属性或属性过滤条件；在地理环境实体存储模块中的图数据库中将实体属性的含义进行细化，并对实体属性的含义分类，根据实体属性的含义对图数据库中语义属性逐一进行模糊查询，获取属性含义计算搜索结果集；

将用户通过数据搜索条件得到的搜索结果集取并集，获取复合查询结果集，具体地，将空间计算搜索结果集和属性含义计算搜索结果集取并集，结果集中以实体的UUID为唯一标识，将重合的实体标识取并集，计算获得复合查询结果集；

在复合查询结果集中选取指定实体，获取选取的指定实体的关联图谱，根据指定实体的实体类型或关联图谱中的关系名称进行计算筛选，在图数据库中通过检索最短路径计算关联图谱中实体间关联关系及类型属性，获取与指定实体有关系的一级关系实体，将一级关系实体作为关系筛选结果集；

对关系筛选结果集进行可视化展示。

在本实施例中，例如获取用户通过可视化地图交互拉框方式选取的用于进行空间计算的经纬度范围时，例如实体中心点X坐标在矩形的左边x0右边x1范围内[x0,x1]；实体中心点Y坐标在矩形的下边y0上边y1范围内[y0,y1]，从而计算获取投影坐标系下，矩形范围内的全部实体，获得空间计算搜索结果集。

在本实施例中，用户可输入的实体名称、实体类型、实体属性或属性过滤条件等进行语义搜索，例如，实体类型为城市，实体属性为人口，属性过滤条件为人口大于100万。

在本实施例中，可通过图谱信息展示以及地图态势展示对关系筛选结果集进行可视化展示，其中图谱信息展示过程为：以关联拓扑图形式展示关系筛选结果集对应的关联图谱信息，以表格列表形式展示关系筛选结果集对应的多种属性信息，以图片显示和视频播放形式展示关系筛选结果集对应的多媒体信息；

其中地图态势展示过程为：对关系筛选结果集中的多个地理实体在地图上进行点标注，显示地图上各个地理实体中心位置，根据用户对指定地理实体的选取信息，在地图上显示该指定地理实体的空间矢量信息，例如，道路以线状矢量在地图中进行显示，湖泊以面状矢量在地图中显示其空间范围。

在本实施例中，还可实现地理环境实体的图谱展示与地图展示的联动，在图谱展示窗口中任意选取关联实体时，支持在地图展示窗口中联动呈现关联实体的地图态势。

应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。

在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态数据关联的地理环境实体构建系统，其特征在于，所述系统包括：

地理环境原始数据提供模块，用于提供包括基础地理空间数据、地理文本数据以及地理媒体数据的地理环境原始数据；

地理空间实体构建模块，用于根据地理环境原始数据提供模块提供的地理环境原始数据构建地理空间实体；

地理知识实体构建模块，用于根据地理环境原始数据提供模块提供的地理环境原始数据构建地理知识实体；

地理环境实体模型，用于描述地理环境实体的特征属性；

地理环境实体属性融合模块，用于根据实体名称、空间位置及实体属性信息对将构建的地理空间实体和地理知识实体进行融合，获取地理环境实体信息；

其中，地理环境实体模型对获取的地理环境实体信息进行逻辑封装；

地理环境实体存储模块，用于根据地理环境实体属性融合模块获取的地理环境实体信息的数据特点分模态进行地理环境数据的存储；

地理环境实体元数据，用于对地理环境实体信息的逻辑封装结果进行注册登记管理；

地理环境实体搜索引擎模块，用于根据数据搜索条件实现地理环境实体信息的检索；

以及地理知识服务应用模块，用于实现地理知识的服务应用。

2.根据权利要求1所述的基于多模态数据关联的地理环境实体构建系统，其特征在于，所述地理环境实体模型包括实体时空特征、实体基础特征和实体语义特征，实体基础特征包括实体编码、实体类型以及实体名称；实体时空特征包括实体所处的时间特征、空间位置、空间形态、空间属性、空间关系以及相关空间图元数据；实体语义特征包括实体的时间语义描述、状态特征、组成结构、非空间属性、语义关系以及多媒体数据。

3.根据权利要求1所述的基于多模态数据关联的地理环境实体构建系统，其特征在于，所述地理知识实体构建模块包括地理环境知识本体，所述地理环境知识本体用于对地理文本数据进行实体化处理。

4.一种基于多模态数据关联的地理环境实体构建方法，其特征在于，采用如权利要求1-3任意一项所述的基于多模态数据关联的地理环境实体构建系统进行基于多模态数据关联的地理环境实体构建，所述方法包括：

步骤S1：通过地理空间实体构建模块读取基础地理空间数据，将基础地理空间数据的属性字段内容与地理环境实体对象的空间要素属性字段进行关系映射，遍历并抽取构建地理环境实体对应的空间属性特征的图元空间信息，对抽取的空间属性特征的图元空间信息进行实体化转换处理，对实体化转换处理结果重组整合，生成时空域下的地理空间实体；

步骤S2：通过地理知识实体构建模块读取地理文本数据，建立地名库、字典库、同义词库与地理文本数据之间的映射关系，根据映射关系抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息，并根据抽取信息识别并建立多个地理环境实体间的语义关联关系，通过地理知识实体构建模块中的地理环境知识本体对地理文本数据进行实体化处理，以及建立地理知识实体以及地理知识实体间的语义网关系；

步骤S3：将地理空间实体、地理知识实体以及地理媒体数据作为地理环境实体属性融合模块的输入信息，通过地理环境实体属性融合模块进行实体数据匹配、实体命名对齐、实体属性对齐、实体属性整合补全、实体关系对齐、实体关系整合补全、实体对象编码以及实体数据封装处理，获取包括实体时空属性、语义属性以及实体多媒体属性的地理环境实体信息；

步骤S4：通过地理环境实体模型对获取的地理环境实体信息进行逻辑封装；

步骤S5：通过地理环境实体存储模块根据获取的地理环境实体信息的数据特点分模态进行地理环境数据的存储，其中，地理环境实体存储模块包括实体库、关系数据库、图数据库和文件数据库，实体库用于存储地理空间实体与地理知识实体，关系数据库用于存储实体时空属性，图数据库用于存储语义属性，文件数据库用于以文件方式存储实体多媒体属性；

步骤S6：通过地理环境实体元数据对地理环境实体信息的逻辑封装结果进行注册登记管理；

步骤S7：通过地理环境实体搜索引擎模块根据数据搜索条件实现地理环境实体信息的检索。

5.根据权利要求4所述的基于多模态数据关联的地理环境实体构建方法，其特征在于，抽取地理文本数据中的地理环境命名实体及其相关的语义属性信息包括：

将地理文本数据输入至构建的Embedding层中获取多个one-hot词向量，通过one-hot词向量获取字向量矩阵W1与词向量矩阵W2，并引入外部的通用字向量矩阵W3与词向量矩阵W4,通过将字向量矩阵W1、词向量矩阵W2、字向量矩阵W3和词向量矩阵W4拼接在一起得到混合词向量矩阵【W1,W2,W3,W4】；

通过优化目标函数对得到的混合词向量矩阵【W1,W2,W3,W4】进行优化处理，得到相应的优化词向量矩阵；

将得到的优化词向量矩阵输入至RoBERTa模型中，通过自注意力机制对优化词向量矩阵中不同的词分配不同的权重得到权重矩阵，并通过softmax函数对权重矩阵处理得到自注意力矩阵，通过多头机制将自注意力矩阵输入至注意力层输出多个词向量，对部分词进行掩码，从注意力层输出的多个词向量中提取出相应的特征C，并对提取的特征C进行拼接形成拼接向量矩阵；

将拼接向量矩阵输入至Bi-LSTM模型中，通过Bi-LSTM模型对拼接向量矩阵进行前向运算以及后向运算，分别得到隐藏状态ht1与隐藏状态ht2，将隐藏状态ht1与隐藏状态ht2进行拼接，得到隐藏状态Ht，并将得到的隐藏状态Ht与通过RoBERTa模型提取的特征C拼接在一起得到特征矩阵[C,Ht]；

将获取的特征矩阵[C,Ht]输入至CRF模型中进行序列标注，并通过维特比算法获取地理文本数据中的地理环境命名实体及其相关的语义属性信息。

6.根据权利要求4所述的基于多模态数据关联的地理环境实体构建方法，其特征在于，步骤S3包括：

选取实体名称相同或同义的地理空间实体、地理知识实体以及地理媒体数据作为地理环境实体属性融合模块的输入信息，根据地理空间实体的类别对输入信息进行预处理，获取地理空间实体属性信息以及地理知识实体属性信息；

根据地理空间实体的类别，通过地理环境实体模型对地理空间实体、地理知识实体以及地理媒体数据进行匹配；

根据地理空间实体属性信息以及地理知识实体属性信息，按照同义词库的标准词规则对输入信息中的地理空间实体与地理知识实体之间进行实体命名对齐；

对输入信息中地理空间实体与地理知识实体之间的对齐关系进行实体属性对齐；

基于地理环境实体模型，建立地理空间实体原型、地理知识实体原型与多模态数据之间的关联映射关系，并通过地理知识实体构建模块中的地理环境知识本体从多模态数据中识别地理实体，进行实体属性整合补全，其中，多模态数据为蕴含在文本、音视频中的地理数据；

基于实体最小粒度要素间的空间关系进行地理空间实体与地理知识实体之间的空间关系对齐；

对地理空间实体与地理知识实体进行空间范围、拓扑关系以及语义关系的融合处理，进行空间关系整合补全；

根据实体编码规则，对地理空间实体与地理知识实体进行实体编码赋值；

根据地理空间实体与地理知识实体的实体编码赋值，通过地理知识图谱建立地理空间实体与地理知识实体之间的空间信息与语义信息的关联关系，对地理空间实体与地理知识实体进行封装；

获取包括实体时空属性、语义属性以及实体多媒体属性的地理环境实体信息。

7.根据权利要求4所述的基于多模态数据关联的地理环境实体构建方法，其特征在于，步骤S7包括：

获取用户通过数据搜索条件得到的搜索结果集；

将用户通过数据搜索条件得到的搜索结果集取并集，获取复合查询结果集；

在复合查询结果集中选取指定实体，获取选取的指定实体的关联图谱，根据指定实体的实体类型或关联图谱中的关系名称进行计算筛选，在图数据库中通过检索最短路径计算关联图谱中实体间关联关系及类型属性，获取与指定实体有关系的一级关系实体，将一级关系实体作为关系筛选结果集；

对关系筛选结果集进行可视化展示。

8.根据权利要求7所述的基于多模态数据关联的地理环境实体构建方法，其特征在于，获取用户通过数据搜索条件得到的搜索结果集包括：

获取用户通过可视化地图交互拉框方式选取的用于进行空间计算的经纬度范围；

对经纬度范围进行投影转换，获得投影坐标系下的经纬度范围对应的矩形范围，对地理环境实体存储模块中实体库中的实体地理位置和矩形的空间几何关系进行匹配计算，获取矩形范围内的全部实体，将矩形范围内的全部实体作为空间计算搜索结果集。

9.根据权利要求7所述的基于多模态数据关联的地理环境实体构建方法，其特征在于，获取用户通过数据搜索条件得到的搜索结果集包括：

获取用户输入的实体名称、实体类型、实体属性或属性过滤条件；

在地理环境实体存储模块中的图数据库中将实体属性的含义进行细化，并对实体属性的含义分类，根据实体属性的含义对图数据库中语义属性逐一进行模糊查询，获取属性含义计算搜索结果集。

10.根据权利要求7所述的基于多模态数据关联的地理环境实体构建方法，其特征在于，对关系筛选结果集进行可视化展示包括：

以关联拓扑图形式展示关系筛选结果集对应的关联图谱信息，以表格列表形式展示关系筛选结果集对应的多种属性信息，以图片显示和视频播放形式展示关系筛选结果集对应的多媒体信息；

对关系筛选结果集中的多个地理实体在地图上进行点标注，显示地图上各个地理实体中心位置，根据用户对指定地理实体的选取信息，在地图上显示该指定地理实体的空间矢量信息。

Images