CN112732855B

CN112732855B - 出租车交通数据同构网络可视化方法、系统及其存储介质

Info

Publication number: CN112732855B
Application number: CN202110043385.XA
Authority: CN
Inventors: 张繁; 张煜辉
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2021-01-13
Filing date: 2021-01-13
Publication date: 2022-06-17
Anticipated expiration: 2041-01-13
Also published as: CN112732855A

Abstract

本发明公开了一种出租车交通数据同构网络可视化方法、系统及其存储介质。系统包括数据处理模块、数据存储模块、交互查询模块以及可视化展示模块，出租车的订单记录数据上传至服务器，数据经处理后通过Geohash算法经纬度数据进行编码，把一定范围内的经纬度进行合并作为一个地点，并把结果以不同形式存入MySQL数据库以及Neo4j数据库，通过交互设置查询筛选节点的条件，可以对数据进行可视化。本发明结合了知识图谱技术可以把一定范围内的所有的交通数据展示为图结构，借助图形化的手段使得可视化更加清晰明了，可以更容易的发掘城市地点之间关系。

Description

出租车交通数据同构网络可视化方法、系统及其存储介质

技术领域

本发明涉及知识图谱和数据可视化领域，尤其涉及一种基于知识图谱的出租车交通数据的同构网络可视化方法、系统及其存储介质，该方法结合知识图谱，把出租车的交通数据化为同质网络结构进行存储，并通过用户交互可以对同质网络进行可视化。

背景技术

随着互联网智慧城市的不断推进，越来越多的城市数据可以被使用，我们可以通过使用分析这些数据，来作出更好的决策从而可以改变人们的生活。但于此同时数据的异构性多态性使得储存数据、处理数据、探索数据时会有巨大挑战，这类复杂数据以以往的关系数据库存储就很麻烦。即使存储好了，往后想要探索这类数据往往会出现关系缺失，查询时间长等问题困扰。也正是因为日益增多的数据呈现出的多态性和异构性使得知识图谱技术的出现和发展。

知识图谱旨在通过图的结构描述出真实的实体和实体之间的的关系，在一张图中，图的顶点表示的是实体，可以是一个具体的人也可以是一个地点，图的边就代表了他们之间的关系。这样的图结构存储与以往的关系数据库存储相比多出了很多信息，能发掘出更深层的信息。

数据可视化主要是通过图形的方式让用户更加直观的看到数据了解数据的技术，图结构天然的与数据可视化的目的相符合。

目前在交通数据的数据可视化中，大多都是选择使用关系型数据库作为可视化的数据存储，这样的存储方法往往造成数据冗余，通常需要多个数据表，并且没有办法体现每条行程之间的关系。

发明内容

本发明针对现有技术的不足提供一种基于知识图谱的出租车交通数据的同构网络可视化方法、系统及其存储介质，通过数据处理把交通数据清理合并，并转换成图结构进行储存，解决了以往关系库数据存储无法很好表达行程之间的关系以及数据表冗余的缺点。

本发明采用的技术方案如下：

基于知识图谱的出租车交通数据的同构网络可视化方法，包括如下：

将每个出租车在完成乘客接送后的订单记录数据上传至服务器，包括：上下车时间、上下车经纬度、旅行距离、旅行时长；对服务器中的数据进行整理：删除无效数据，并对数据格式进行统一；通过Geohash算法对整理后数据中的上下车经纬度信息进行编码，对编码后的上下车位置经过去重合并后，将数据对应原有形式存储在MySQL数据库，并把经上述处理的数据以图结构存储进入Neo4j图数据库；用户通过交互界面设置筛选条件对MySQL或者Neo4j数据库进行查询，将查询返回的数据进行可视化展示。

上述技术方案中，进一步的，所述的删除无效数据，并对数据格式进行统一，具体为：

删除无效的脏数据，包括订单记录数据中的旅行时间、旅行距离、上下车时间中的异常值，以及去除经度超出[-180,180]或纬度超出[-90,90]的上下车经纬度数据；并将上下车时间数据按日期格式进行统一。

进一步的，采用geohash算法对整理后数据中的上下车经纬度信息进行编码，获得上车位置编码和下车位置编码，去除上车位置编码与下车位置编码相同的数据，得到编码清理后数据；将编码清理后数据以原有的形式存入MySQL数据库作为行程的详细数据存储，对MySQL数据库设置索引以方面快速查询。

更进一步的，将编码清理后数据以图结构存储进入Neo4j图数据库，图结构包括节点集合和边集合，若在Neo4j图数据库中已经存在节点集合中的节点就不添加，如果不存在节点集合中的节点就添加新节点，再将边集合存入Neo4j图数据库，对Neo4j图数据库的节点设置索引，以方便快速查询。

进一步的，用户通过交互界面设置筛选条件对MySQL或者Neo4j数据库进行查询，将查询返回的数据进行可视化展示，具体如下：

用户通过设置筛选条件进行查询地理节点，从Neo4j图数据库查询出特定图结构返回，并从MySQL数据库中查询特定的行程详细数据返回，通过Echarts关系图依据返回的数据设置其中的nodes选项和edges选项完成关系图可视化。

一种基于知识图谱的出租车交通数据的同构网络可视化系统，基于上述方法实现，包括数据处理模块、数据存储模块、交互查询模块、可视化展示模块；数据处理模块用于实现对数据的整理、以及Geohash算法对整理后数据去重合并；数据存储模块，包括MySQL数据库和Neo4j图数据库；交互查询模块用于供用户设置筛选条件以对MySQL数据库和Neo4j图数据库进行查询，并将结果返回给可视化展示模块进行展示。

进一步的，所述的可视化展示模块中，在图结构展示时，若点击图中的节点，可以完成图的扩展生长，若点击图中的边，可以查询两地点之间的详细行程记录，此外可视化展示模块中还设置有布局按钮，以改变全局状态和重新设置Echarts图结构的状态，包括力学布局，圆形布局，树形布局，方形布局。

本发明还提供一种存储介质，存储有上述的系统或者包括能够被处理器加载执行实现上述方法的程序。

本发明的有益效果是：

本发明基于知识图谱技术可以把一定范围内的所有的出租车交通数据展示为图结构，借助图形化的手段使得可视化更加清晰明了，可以更容易的发掘城市地点之间关系。

附图说明

图1是本发明系统的工作流程示意图。

图2是本发明的步骤2)的具体流程示意图。

图3是本发明的交互查询模块和可视化模块工作流程示意图。

图4是本发明一种具体系统的主界面示意图。

图5是本发明一种具体系统中通过界面交互设置筛选条件示意图。

图6是本发明的图结构展示示意图。

图7是本发明的图中节点信息显示示意图。

图8是本发明的图中边的行程详细信息展示示意图。

图9是本发明的图扩展功能示意图。

图10是本发明的图结构圆形布局示意图。

图11是本发明的图结构树布局示意图。

图12是本发明的图结构方形布局示意图。

图13是本发明的图结构中所有行程的地图展示示意图。

图14是本发明所有行程的地图3D展示示意图。

具体实施方式

下面结合附图和具体实例对本发明进行进一步说明。

参照图1、2、3，本发明的基于知识图谱的出租车交通数据的同构网络可视化系统，包括数据处理模块、数据存储模块、交互查询模块、可视化展示模块；数据处理模块用于实现对数据的整理、以及Geohash算法对整理后数据去重合并；数据存储模块，包括MySQL数据库和Neo4j图数据库；交互查询模块用于供用户设置筛选条件以对MySQL数据库和Neo4j图数据库进行查询，并将结果返回给可视化展示模块进行展示。相应方法包括以下步骤：

1)每个出租车在完成乘客接送后的订单记录都会进行打包上传至大数据服务器，从服务器中获取这部分数据对数据进行整理删除无效的脏数据以及异常值，并对数据格式进行统一；

2)经过步骤1)处理后的数据通过Geohash算法对数据中的经纬度信息进行编码，得到的数据经过合并处理后，输入进数据存储模块，可以在MySQL关系型数据库存储的基础上，再把对应行程数据化为图结构存储进入图数据库Neo4j中。

3)通过用户的交互可以设置筛选条件，可以通过这些条件对Neo4j或者MySQL进行查询，查询返回给可视化展示模块进行展示。

4)由步骤3)中得到的数据通过React框架完成前端的框架，图结构的展示通过Echarts来完成，实现可视化展示。

具体的，通过下述实例进行说明：

步骤1)具体为：

1.1)每个出租车在完成乘客接送后的订单记录都会进行打包上传至大数据服务器，从服务器中获取数据后因为数据的来源复杂，数据中可能存在无效的脏数据，所以对数据中的旅行时间、旅行距离、上下车时间这几项异常值进行处理；其中去除数据中旅行时间大于20或者大于1天的数据，去除数据中旅行距离等于0或者大于100km的数据，去除数据中上车时间反而比下车时间大的数据或者下车时间与上车时间的差值与旅行时间项严重不符的数据。这些数据往往是因为出租车数据上传时出现问题造成的错误数据是没有研究意义的。

1.2)数据中可能存在不合规范的维度数据或者超出实际范围的经纬度坐标，经度的范围在[-180,180]之间，维度的范围在[-90,90]之间。数据中上车位置经度，上车位置纬度，下车位置经度，下车位置纬度这四项要满足在这个范围内，超出这个范围也认定为数据无效进行去除。

1.3)数据中的日期数据存储方式可能不统一需要对数据中的日期格式统一和清理，因为交互系统中需要使用时间条件筛选，我们要保证日期格式相同，把所有数据中的上车时间和下车时间两项的格式统一成“年-月-日时:分:秒”

然后结合采用Geohash的算法对数据进行合并并以此为根据建立图结果并存储，步骤2)具体为：

2.1)对步骤1.3)中得到行程数据中的上车位置经纬度和下车位置经纬度输入进Geohash算法进行编码；

2.2)Geohash编码是把经纬度二维数据转换为一维数据，经过编码后的Geohash已经不是表示一个坐标点了而是一个矩形区域，通过调整编码的精确位数可以合并一定经纬度范围内的地点，把Geohash精确位数确定为7位，即76米之内的所有经纬度算作一个节点。把上车位置经度、上车位置纬度进行一次Geohash编码，并在数据上增加一列上车位置Geohash的数据。把下车位置经度、下车位置经度进行一次Geohash编码，并在数据上增加一列下车位置Geohash的数据，得到编码后数据；

2.3)对数据进行清理，去除上车位置Geohash和下车位置Geohash相同的数据，因为当上车位置Geohash和下车位置Geohash相同时就说明行程小于76米研究意义也不大所有进行数据清理，得到编码清理后数据；

2.4)把编码清理后数据以原有的形式存入MySQL作为行程的详细数据存储，MySQL只用存一张详细数据表用于后续交互系统进行详细情况查询时使用；

2.5)数据中可能有重复的使用某个地点，所以我们把全部数据中的Geohash编码去重得到图结构所有需要的节点集合；

2.6)因为图数据Neo4j的节点是可以重复添加的，所以在添加前需要进行合并，在Neo4j图数据库中合并节点集合，数据库中如果已经存在节点集合中的节点就不添加，如果不存在节点集合中的节点就添加新节点；Neo4j图数据使用的是Cypher语言，MERGE关键字可以完成节点合并，对Neo4j中添加节点CQL为

MERGE(area:Area{name:地区Geohash})

2.7)对步骤2.3)得到的编码清理后相应的行程数据可以作为图结构的边集合，把边集合存入Neo4j图数据库；两地点(节点)之间的行程添加CQL为

MATCH

(a:Area{name:上车位置Geohash}),(b:Area{name:下车位置Geohash})

MERGE(a)-[trip:Trip]->(b)

2.8)对Neo4j图数据库的节点设置索引，方便在大数据环境下完成快速查询；

CREATE INDEX ON:Area(name)

2.9)对MySQL数据库设置索引，方面在大数据环境下完成快速查询；

ALTER TABLE trip add index pickupDatetime(上车时间列)

ALTER TABLE trip add index dropoffDatetime(下车时间列)

ALTER TABLE trip add index pickupGeohash(上车位置Geohash)

ALTER TABLE trip add index dropoffGeohash(下车位置Geohash)

之后通过用户交互可以设置条件进行数据库查询返回至可视化展示模块中，步骤3)具体为：

3.1)用户进入主界面如图4所示，点击进入“图谱”，通过设置筛选条件进行查询地理节点，点击search按钮会跳出弹出层，可以在弹出层中设置查询条件，可以设置地区Geohash、上车时间上限、上车时间下限、下车时间上限、下车时间下限，如图5所示。

3.2)将用户设置的筛选条件转变为Neo4j图数据库查询语句，可以从数据库中取出特定图结构返回给数据可视化模块，转变的查询CQL为，

MATCH p＝(a:Area{name:地区geohash})-[r:Trip]->(b:Area)

WHERE r.pickup_datetime>上车时间下限and r.pickup_datetime<上车时间上限and r.dropoff_datetime>下车时间下限and r.dropoff_datetime<下车时间上限

RETURN p SKIP 0LIMIT 100

3.3)通过与用户的交互还可以在已有查询结果的基础上，再次进行步骤3.2)中的所述的数据库查询操作，对已有查询结果和新查询结构进行合并返回给可视化模块。返回后的数据有节点集合和边集合，对于原有的节点集合和新返回的节点集合采用合并策略是取并集，对于边集合采用的是直接相加合并。

3.4)通过与用户的交互可以从MySQL数据库中查询特定的行程详细数据返回给可视化模块查询SQL语句为，其中的上车位置Geohash和下车位置Geohash由用户点击选择，上车时间下限、上车时间上限、下车时间下限、下车时间上限相同于步骤3.1)的设置。

SELECT*FROM`trip`WHERE

pickup_geohash＝上车位置geohash and dropoff_geohash＝下车位置geohash

AND pickup_datetime BETWEEN上车时间下限AND上车时间上限

AND dropoff_datetime BETWEEN下车时间下限AND下车时间上限

最后将交互模块中传来的数据通过可视化展示模块展示给用户，步骤4)具体为：

4.1)对于步骤3.2)返回了图结构的节点集合和边集合，通过Echarts关系图设置其中的nodes选项和edges选项完成关系图可视化，如图6所示。

4.2)在可视化模块已经有图结构显示的时候，鼠标悬浮可以显示节点的信息，点击图中的节点，可以完成图的扩展生长，当点击事件发生时，可视化模块向交互查询模块提交请求，交互查询模块完成步骤3.3)后返回新数据。如图7、9所示。

4.3)在可视化模块已经有图结构的显示的时候，点击图中的边，可以查询两地点之间的详细行程记录，当点击事件发生时，可视化模块向交互查询模块提交请求，交互查询模块完成步骤3.4)，如图8所示。

4.4)在可视化模块已经有图结构显示的时候，点击特定布局的按钮，会改变全局状态和和重新设置Echarts图结构的状态，并触发重新渲染。在不同的配置下可以完成，力学布局，圆形布局，树形布局，方形布局。如图10、11、12所示。

4.5)用户通过交互系统完成对图的扩展生长后，可以点击导航栏的分析按钮对图结构中的全部行程进行地图展示如图13所示。并且通过拖拽视角可以完成对交通行程数据的3D展示，如图14所示。

Claims

1.基于知识图谱的出租车交通数据的同构网络可视化方法，其特征在于，包括如下：

将每个出租车在完成乘客接送后的订单记录数据上传至服务器，包括：上下车时间、上下车经纬度、旅行距离、旅行时长；对服务器中的数据进行整理：删除无效数据，并对数据格式进行统一；通过Geohash算法对整理后数据中的上下车经纬度信息进行编码，对编码后的上下车位置经过去重合并后，将数据对应原有形式存储在MySQL数据库，并把经上述处理的数据以图结构存储进入Neo4j图数据库；用户通过交互界面设置筛选条件对MySQL或者Neo4j数据库进行查询，将查询返回的数据进行可视化展示；

所述的删除无效数据，并对数据格式进行统一，具体为：

删除无效的脏数据，包括订单记录数据中的旅行时间、旅行距离、上下车时间中的异常值，以及去除经度超出[-180,180]或纬度超出[-90,90]的上下车经纬度数据；并将上下车时间数据按日期格式进行统一；

采用Geohash 算法对整理后数据中的上下车经纬度信息进行编码，获得上车位置编码和下车位置编码，去除上车位置编码与下车位置编码相同的数据，得到编码清理后数据；将编码清理后数据以原有的形式存入MySQL数据库作为行程的详细数据存储，对MySQL数据库设置索引以方面快速查询；

将编码清理后数据以图结构存储进入Neo4j图数据库，图结构包括节点集合和边集合，若在Neo4j图数据库中已经存在节点集合中的节点就不添加，如果不存在节点集合中的节点就添加新节点，再将边集合存入Neo4j图数据库，对Neo4j图数据库的节点设置索引，以方便快速查询；

用户通过交互界面设置筛选条件对MySQL或者Neo4j数据库进行查询，将查询返回的数据进行可视化展示，具体如下：

2.一种基于知识图谱的出租车交通数据的同构网络可视化系统，其特征在于，该系统基于如权利要求1所述的方法实现，包括数据处理模块、数据存储模块、交互查询模块、可视化展示模块；数据处理模块用于实现对数据的整理、以及Geohash算法对整理后数据去重合并；数据存储模块，包括MySQL数据库和Neo4j图数据库；交互查询模块用于供用户设置筛选条件以对MySQL数据库和Neo4j图数据库进行查询，并将结果返回给可视化展示模块进行展示。

3.根据权利要求2所述的基于知识图谱的出租车交通数据的同构网络可视化系统，其特征在于，所述的可视化展示模块中，在图结构展示时，若点击图中的节点，可以完成图的扩展生长，若点击图中的边，可以查询两地点之间的详细行程记录，此外可视化展示模块中还设置有布局按钮，以改变全局状态和重新设置Echarts图结构的状态，包括力学布局，圆形布局，树形布局，方形布局。

4.一种存储介质，其特征在于，包括能够被处理器加载执行实现如权利要求1所述方法的程序。