CN115712667A - 一种图数据融合分析方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种图数据融合分析方法，用于对数据进行融合分析。本申请方法包括：获取多源异构数据，并将所述多源异构数据映射至CIEM数据模型中，得到结构化数据；将所述结构化数据输入至图数据库中；在所述图数据库中确定备选实体，并提取所述备选实体的地理信息；在所述备选实体中确定目标实体，并通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索；将搜索到的关联实体在地图上标记出来；生成所述关联实体与所述目标实体的关联关系，并将所述关联关系更新至所述图数据库中，所述关联关系为结构化的数据。

Description

一种图数据融合分析方法、装置及存储介质

技术领域

本申请涉及数据处理领域，尤其涉及一种图数据融合分析方法、装置及存储介质。

背景技术

图数据库属于非关系型数据库(NoSQL)。图数据库对数据的存储、查询以及数据结构都和关系型数据库有很大的不同。图数据结构直接存储了节点之间的依赖关系，而关系型数据库和其他类型的非关系型数据库则以非直接的方式来表示数据之间的关系。图数据库把数据间的关联作为数据的一部分进行存储，关联上可添加标签、方向以及属性，而其他数据库针对关系的查询必须在运行时进行具体化操作，这也是图数据库在关系查询上相比其他类型数据库有巨大性能优势的原因。

在数字政府社会治理、数字情报分析、智慧城市综合管理、公安政法案件分析等领域，进行数据分析时，经常会涉及地理信息与人员、车辆、船舶等实体的关联分析需求，但传统分析方式缺乏统一的方法和工具，主要靠分析人员手工进行例如白板分析、粘贴各种信息贴纸、手工连接关联线或者需要同时使用多种不同的辅助软件进行，这种方式不仅过程繁琐，并且分析效率低下，亟需一种高效的融合式数据分析方法。

发明内容

为了解决上述技术问题，本申请提供了一种图数据融合分析方法、装置及存储介质。

本申请第一方面提供了一种图数据融合分析方法，所述方法包括：

获取多源异构数据，并将所述多源异构数据映射至CIEM数据模型中，得到结构化数据；

将所述结构化数据输入至图数据库中；

在所述图数据库中确定备选实体，并提取所述备选实体的地理信息；

在所述备选实体中确定目标实体，并通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索；

将搜索到的关联实体在地图上标记出来；

生成所述关联实体与所述目标实体的关联关系，并将所述关联关系更新至所述图数据库中，所述关联关系为结构化的数据。

可选的，所述将所述多源异构数据映射至CIEM数据模型中，得到结构化数据包括：

若所述多源异构数据不符合所述CIEM数据模型所规定的格式，则设定相应的转换规则，并通过所述转换规则对所述多源异构数据进行映射。

可选的，所述通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索包括：

通过GIS引擎，以所述目标实体为中心，搜索预设半径内的圆形范围内的实体。

可选的，在所述搜索预设半径内的圆形范围内的实体之前，所述方法还包括：

通过GIS引擎，以所述目标实体为中心绘制预设半径的圆形；

绘制所述圆形的外切正方形；

先搜索位于所述外切正方形内的实体，再进一步搜索位于所述圆形内的实体。

可选的，在所述并提取所述备选实体的地理信息之后，所述方法还包括：

根据所述地理信息在地图上生成标记，并进行展示。

可选的，所述实体包括山川、河流、高速公路或城市建筑，所述根据所述地理信息进行范围性搜索包括：

执行遥感图像识别算法进行范围性搜索。

可选的，所述关联关系包括所述关联实体与所述目标实体之间的距离范围以及各个实体的实体名称、地理信息以及编号。

本申请第二方面提供了一种图数据融合分析装置，包括：

获取单元，用于获取多源异构数据，并将所述多源异构数据映射至CIEM数据模型中，得到结构化数据；

输入单元，用于将所述结构化数据输入至图数据库中；

第一确定单元，用于在所述图数据库中确定备选实体，并提取所述备选实体的地理信息；

第二确定单元，用于在所述备选实体中确定目标实体，并通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索；

标记单元，用于将搜索到的关联实体在地图上标记出来；

生成单元，用于生成所述关联实体与所述目标实体的关联关系，并将所述关联关系更新至所述图数据库中，所述关联关系为结构化的数据。

本申请第三方面提供了一种图数据融合分析装置，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种图数据融合分析方法，该方法首先将多源异构数据映射至CIEM数据模型中，从而得到结构化数据，并导入至图数据库中，通过GIS引擎和图数据库的结合，当确定目标实体后，可以在地图上进行范围性的搜索，从而得到相关联的其它实体，并进行可视化，方便分析人员查看和分析，同时还会根据搜索的结果来生成目标实体和关联实体之间的结构化的关联关系并更新至CIEM数据模型中，从而方便下一次在图数据库中搜索查询时进行数据的关联显示。通过本申请提供的方法极大程度提高了数据的融合分析能里，有效提高数据的分析效率，解决了分析人员需要多个辅助软件或者借助多种工具来进行数据分析的痛点问题，使得图数据库的数据连通性得到了极大的扩展。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请中提供的图数据融合分析方法的一个实施例流程示意图；

图2为本申请中进行范围性搜索的一个示意图；

图3为本申请中提供的图数据融合分析装置的一个实施例结构示意图；

图4为本申请中提供的图数据融合分析装置的另一个实施例结构示意图。

具体实施方式

基于此，本申请提供了一种图数据融合分析方法，用于对数据进行融合分析。

需要说明的是，本申请提供的图数据融合分析方法，可以应用于终端也可以应用于系统，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。

本申请方案中在数据融合分析的建图阶段通过引入CIEM数据模型，通过建立要分析的数据目标及CIEM数据类型的映射关系，使得带有地理信息的实体数据格式符合统一的规范要求。实体数据进入图数据库形成知识图谱以后，通过GIS引擎将实体在卫星地图上进行展示出来，方便分析人员进行可视化分析。随后，通过将地理信息转换为图数据库搜索语句，对实体进行基于地理信息的搜索。实体搜索结果同样在卫星地图上展示，还可以通过遥感图像识别算法，将地理实体与人员实体进行关联，并隐式地将数据导入图数据库中，以便进行后续分析。

下面对该方法的实施例进行详细描述：

请参阅图1，图1为本申请提供的图数据融合分析方法一个实施例流程示意图，该图数据融合分析方法包括：

101、获取多源异构数据，并将所述多源异构数据映射至CIEM数据模型中，得到结构化数据；

首先获取到需要进行分析的数据，这些数据可能是来源于不同的部门，可能不具备统一的数据结构，因此需要对这些多源异构数据进行重新的数据结构规整，具体为先罗列要分析的带地理信息的多源异构数据例如数据库表、非结构化文件等，并将这些数据映射到CIEM数据模型中的相应数据类型，这个过程中，如果是非结构化的数据，那么可以人为的定义数据的转换规则，并根据该转换规则来进行数据的映射。

102、将所述结构化数据输入至图数据库中；

将步骤101中得到的结构化数据导入图数据库中。

103、在所述图数据库中确定备选实体，并提取所述备选实体的地理信息；

在进行分析时，首先在图数据库中确定备选实体，备选实体即即将需要分析的实体，本申请中所述的实体可以是人员、建筑、地形，还可以是车辆、船舶等，在地图中将图数据库中的备选实体的地理信息提取出来，该过程可以借助各种开放地图平台的API来实现，例如将地址的文字在地图中进行搜索得到相应的经纬度坐标信息，经纬度坐标信息就是所需要提取的地理信息。

104、在所述备选实体中确定目标实体，并通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索；

在分析时，通过GIS引擎来进行搜索，搜索规则为先在备选实体中确定目标实体，目标实体的数量可以是一个也可以是多个，在进行搜索时，以目标实体为中心进行范围性的搜索，具体的范围性搜索可以有多种实现方式，例如：

以目标实体为中心，绘制一个预设半径的圆形，并利用步骤103中所获得的目标实体的地理信息，生成查询语句，使用该查询语句在图数据库中进行查询，从而得到位于该圆形区域内的实体，这些实体就是与目标实体相关联的实体，本申请定义为关联实体。该方式的好处是分析人员能够自定所需要进行搜索的规则以及所需要搜索的实体的类型。

参阅图2，在另一个实施例中，搜索的方式还可以是，以目标实体为中心，先绘制一个预设半径的圆形，在绘制一个该圆形的外切正方形，在进行搜索时，首先搜索位于该外切正方形内的实体，再进一步搜索位于该圆形内的实体，这样一来，就可以做一些简单的加减判断，首先判断一个点是否在此正方形范围，再判断是否位于圆形内，先使用外切正方形的搜索能够通过简单的加减判断来过滤掉位于外切正方形外的其它实体，这样在使用圆形进行搜索时就可以大幅度减少计算量，能够有效提高计算效率。

105、将搜索到的关联实体在地图上标记出来；

当搜索到关联实体之后，根据其地理信息将该关联实体在地图上可视化标记出来，方便分析人员查看分析。

106、生成所述关联实体与所述目标实体的关联关系，并将所述关联关系更新至所述图数据库中，所述关联关系为结构化的数据。

当所有关联实体被搜索出来，本申请方法还需要生成这些关联实体与目标实体之间的关联关系，该关联关系可以包括关联实体与目标实体之间的距离范围，例如位于XXX米范围内，该距离由地理信息计算得到，还可以包括各个实体的实体名称、地理信息以及编号等信息，并将这些关联关系转换为结构化的数据更新至CIEM数据模型中，在后续使用图数据库进行搜索时，这些关联关系将直接被应用起来，使得数据之间的连通性被大幅扩展。

本申请提供了一种图数据融合分析方法，该方法首先将多源异构数据映射至CIEM数据模型中，从而得到结构化数据，并导入至图数据库中，通过GIS引擎和图数据库的结合，当确定目标实体后，可以在地图上进行范围性的搜索，从而得到相关联的其它实体，并进行可视化，方便分析人员查看和分析，同时还会根据搜索的结果来生成目标实体和关联实体之间的结构化的关联关系并更新至CIEM数据模型中，从而方便下一次在图数据库中搜索查询时进行数据的关联显示。通过本申请提供的方法极大程度提高了数据的融合分析能里，有效提高数据的分析效率，解决了分析人员需要多个辅助软件或者借助多种工具来进行数据分析的痛点问题，使得图数据库的数据连通性得到了极大的扩展。

为了更清楚的对本申请方法进行阐述，下面将通过距离的方式来对本申请方法进行进一步说明，需要理解的是，下述说明仅仅是示例性的：

1、假设有一组已经符合CIEM格式的人员实体数据，已经导入图数据库，有如下属性：

2、将文字【地址】转换为经纬度坐标；

3、将经纬度坐标作为新的属性更新图数据库中的实体属性，如下：

4、上述数据准备完成之后，假设用户此时根据姓名在知识图谱搜索【张三】，则GIS引擎根据搜索结果的经纬度坐标，将上述实体点在可视化地图上绘制相应的点；

5、此时用户选择以张三作为圆心，选择半径(例如5公里)，找出范围内所有其他的实体，这里应用GIS引擎的功能进行搜索。可以将第3步中得到的所有经纬度数据作为输入，调用GIS的工具，就可以判断每一个点是否在我们选定的圆心及半径区域内；

对于第5步，我们还可以进行算法优化，原理如下：

圆心(即张三所在位置)坐标为(12.234,35.343)，我们可以利用GIS引擎先绘制一个以圆心为中心的正方形(即圆形的外切正方形)，边长为5*2＝10公里，然后利用GIS引擎得到正方形四个点的经纬度坐标。这样一来，我们可以做一些简单的加减判断，首先判断一个点是否在此正方形范围内，再利用第5步的工具判断点是否在圆形范围内。

这个优化的原理是加减计算要比调用工具判断是否在圆形范围省时。如下图所示，赵六不在正方形范围直接排除，钱七、王五、李四利用GIS引擎直接判断是否在圆形范围，最终输出王五、钱七的坐标。

7、假设GIS返回了范围内的点清单，如下的两个点：

12.234,35.332
	12.234,35.031

8、根据第7步得到的点，自动生成图数据库查询语句：

MATCH(n)

WHERE(n.精度＝12.234and n.纬度＝35.332)or(n.精度＝12.234and n.纬度＝35.031)

RETURN n

第8步中是以Cypher语言为例的，但不局限于Cypher。此类语言类似于SQL，会根据不同的图数据库有所不同，但结构相似，可以使用一个程序自动将查询条件拼接构造进WHERE语句即可，不需要人工编辑；

9、将查询语句应用于图数据库，即可以将相应的实体信息返回给用户；

另外，与第8步同样的原理，还可以构造一个插入关系的语句，将张三与王五，张三与钱七之间的新增关系：【半径五公里范围内】插入图数据库中。这样图数据库在后续运行路径查询的时候，就可以通过这个关系执行关联查询时直接进行查询。

下面对本申请中的装置及存储介质进行说明：

请参阅图3，本申请提供了一种图数据融合分析装置，包括：

获取单元301，用于获取多源异构数据，并将所述多源异构数据映射至CIEM数据模型中，得到结构化数据；

输入单元302，用于将所述结构化数据输入至图数据库中；

第一确定单元303，用于在所述图数据库中确定备选实体，并提取所述备选实体的地理信息；

第二确定单元304，用于在所述备选实体中确定目标实体，并通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索；

标记单元305，用于将搜索到的关联实体在地图上标记出来；

生成单元306，用于生成所述关联实体与所述目标实体的关联关系，并将所述关联关系更新至所述图数据库中，所述关联关系为结构化的数据。

可选的，第二确定单元304具体用于：

若所述多源异构数据不符合所述CIEM数据模型所规定的格式，则设定相应的转换规则，并通过所述转换规则对所述多源异构数据进行映射。

可选的，第二确定单元304具体用于：

通过GIS引擎，以所述目标实体为中心，搜索预设半径内的圆形范围内的实体。

可选的，第二确定单元304具体用于：

通过GIS引擎，以所述目标实体为中心绘制预设半径的圆形；

绘制所述圆形的外切正方形；

先搜索位于所述外切正方形内的实体，再进一步搜索位于所述圆形内的实体。

可选的，还包括展示单元307，用于：

根据所述地理信息在地图上生成标记，并进行展示。

可选的，第二确定单元304具体用于：

执行遥感图像识别算法进行范围性搜索。

本申请还提供了一种图数据融合分析装置，包括：

处理器401、存储器402、输入输出单元403、总线404；

处理器401与存储器402、输入输出单元403以及总线404相连；

存储器402保存有程序，处理器401调用程序以执行如上任一图数据融合分析方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一图数据融合分析方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种图数据融合分析方法，其特征在于，所述方法包括：

获取多源异构数据，并将所述多源异构数据映射至CIEM数据模型中，得到结构化数据；

将所述结构化数据输入至图数据库中；

在所述图数据库中确定备选实体，并提取所述备选实体的地理信息；

在所述备选实体中确定目标实体，并通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索；

将搜索到的关联实体在地图上标记出来；

生成所述关联实体与所述目标实体的关联关系，并将所述关联关系更新至所述图数据库中，所述关联关系为结构化的数据。

2.根据权利要求1中所述的图数据融合分析方法，其特征在于，所述将所述多源异构数据映射至CIEM数据模型中，得到结构化数据包括：

若所述多源异构数据不符合所述CIEM数据模型所规定的格式，则设定相应的转换规则，并通过所述转换规则对所述多源异构数据进行映射。

3.根据权利要求1中所述的图数据融合分析方法，其特征在于，所述通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索包括：

通过GIS引擎，以所述目标实体为中心，搜索预设半径内的圆形范围内的实体。

4.根据权利要求3中所述的图数据融合分析方法，其特征在于，在所述搜索预设半径内的圆形范围内的实体之前，所述方法还包括：

通过GIS引擎，以所述目标实体为中心绘制预设半径的圆形；

绘制所述圆形的外切正方形；

先搜索位于所述外切正方形内的实体，再进一步搜索位于所述圆形内的实体。

5.根据权利要求1中所述的图数据融合分析方法，其特征在于，在所述并提取所述备选实体的地理信息之后，所述方法还包括：

根据所述地理信息在地图上生成标记，并进行展示。

6.根据权利要求1中所述的图数据融合分析方法，其特征在于，所述实体包括山川、河流、高速公路或城市建筑，所述根据所述地理信息进行范围性搜索包括：

执行遥感图像识别算法进行范围性搜索。

7.根据权利要求1中所述的图数据融合分析方法，其特征在于，所述关联关系包括所述关联实体与所述目标实体之间的距离范围以及各个实体的实体名称、地理信息以及编号。

8.一种图数据融合分析装置，其特征在于，包括：

获取单元，用于获取多源异构数据，并将所述多源异构数据映射至CIEM数据模型中，得到结构化数据；

输入单元，用于将所述结构化数据输入至图数据库中；

第一确定单元，用于在所述图数据库中确定备选实体，并提取所述备选实体的地理信息；

第二确定单元，用于在所述备选实体中确定目标实体，并通过GIS引擎，以所述目标实体为中心，根据所述地理信息进行范围性搜索；

标记单元，用于将搜索到的关联实体在地图上标记出来；

生成单元，用于生成所述关联实体与所述目标实体的关联关系，并将所述关联关系更新至所述图数据库中，所述关联关系为结构化的数据。

9.一种图数据融合分析装置，其特征在于，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至7任一项所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至7中任一项所述方法。

Images