CN110740160B - 一种多源数据地图网格化及数据状态实时推送系统 - Google Patents

Abstract

本发明提供了一种多源数据地图网格化及数据状态实时推送系统，系统主要包括服务发现与注册模块、网关模块、多源数据模块。多源数据模块和网关模块注册到服务发现与注册模块，所有外部请求先通过网关模块，由网关模块进行各个微服务实例的转发调用。多源数据模块主要功能包括汇聚多源数据到数据库；对多源数据进行不同地图层级下的聚合计算实现网格化，维护聚合点位的聚合信息；推送变化的数据到消息中间件供外部程序实时订阅，同步增量更新数据库中的数据信息；封装业务应用HTTP协议接口供外部程序调用等。应用本发明实施例，能够解决万级及以上规模的多元化大数据量图层在地图上的实时展示及数据状态实时同步更新。

Description

一种多源数据地图网格化及数据状态实时推送系统

技术领域

本发明涉及互联网技术领域，尤其涉及多源数据地图网格化聚合计算及数据状态实时推送系统。

背景技术

微服务架构是一种架构模式，它提倡将单一应用程序划分成一组小的服务，服务之间相互协调、互相配合，为用户提供最终价值。每个服务运行在其独立的进程中，服务和服务之间采用轻量级的通信机制相互沟通(通常是基于HTTP的RestfulAPI)。每个服务都围绕着具体的业务进行构建，并且能够被独立的部署到生产环境、类生产环境等。此外，为了提高应用系统的响应效率，越来越多的应用系统开始采用前后端分离架构，这种架构前端关注页面的样式与动态数据的解析及渲染，后端关注业务逻辑计算，能够提高系统性能进而提升用户的体验度。

现有的解决方案主要基于前端地图相关的Javascript GIS API技术实现的，在一些应用场景下容易出现性能瓶颈，尤其在面对大数据量时极易出现用户终端操作卡顿、响应不及时甚至应用程序崩溃的情况。

基于此，在面对大数据量尤其是万级及以上规模的多源数据实时地图图层渲染，研究一种应用于多源数据地图网格化及数据状态实时推送的系统及方法变得越来越重要。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了多源数据地图网格化及数据状态实时推送的系统及方法，以实现在面对大数据量及复杂业务需求时系统的性能及功能高可扩展性。

本发明是这样实现的：

一种多源数据地图网格化及数据状态实时推送系统，所述系统包括服务发现与注册模块、网关模块、多源数据模块；

所述服务发现与注册模块，用于在服务消费者和服务提供者启动后向为其提供注册服务，监测服务提供者的状态，当某个服务提供者状态为不可用时，将该服务提供者的状态置为下线状态，并把当前服务提供者状态向订阅者发布，供订阅过的服务消费者更新服务提供者的在线状态；还用于当服务消费者要调用服务提供者时，根据服务消费者的请求将服务提供者地址发送给服务消费者；

所述网关模块为介于外部应用程序和所述系统之间的中间层，所有的外部请求都会先经过网关模块这一层，将系统跟外网进行隔离，起到一定的保护作用；

所述多源数据模块，用于将多源数据进行分类网格化计算，并监听数据的变化情况，多源数据模块封装业务应用HTTP协议接口以供外部程序调用。

进一步地，所述服务发现与注册模块，还用于服务提供者在启动后，周期性(默认30秒)向服务发现与注册模块发送心跳包，所述服务发现与注册模块通过所述心跳包确认当前服务是否为可用状态，具体为：如服务发现与注册模块在一定的时间(默认90秒)未收到服务提供者的心跳包，则认为服务宕机，注销该实例。

所述网关模块，还用于系统限流、权限校验和监控，使得业务服务更加专注自身业务。

进一步地，所述多源数据模块，还用于将多源数据汇聚到数据库；对多源数据进行不同地图层级下的地图点位聚合计算实现网格化，维护聚合点位的聚合信息；推送变化的数据到消息中间件供外部程序实时订阅，且同步增量更新数据库中的数据信息。

进一步地，所述多源数据为视频监控设备、人脸设备、WIFI采集设备和车辆卡口对接到多源数据模块需要在地图上展现的的数据，该数据包含基本参数信息和相应的空间地理位置坐标；所述数据库为支持空间检索的关系型数据库或者非关系型数据库。

进一步地，所述地图层级，为地图7到17层级，根据实际数据空间展布范围调整。

进一步地，所述地图层级，还用于确定每一层级下多源数据网格化后单元网格的边长，即网格化聚合精度，所述单元网格边长值越小，网格化聚合精度越高，网格化数量会增大。

一般而言，所述地图层级越小，单元网格边长值应设置越大，网格化数量减少，以符合实际业务场景需求。

进一步地，所述地图层级，还用于确定多源数据模块网格化聚合计算结果存入的聚合层级表，每一层级对应一张聚合层级表，所述聚合层级表应包含有网格编号、网格聚合点空间地理位置坐标(经度、纬度)、聚合数量、聚合地图层级以及聚合多源数据的类型信息。

进一步地，所述地图点位聚合计算实现网格化，维护聚合点位的聚合信息，具体为：

查找或计算出覆盖所有多源数据的空间最小边界，并对此边界作适当扩大，扩大量值设置为1/30≈0.033333度(在经线上，纬度每一分约是1852米)；

落在单元网格内的多源数据点位聚合点为单元网格几何中心坐标点，并在考虑实际多源数据点位分布的合理性，避免出现太大偏差的情况，将落在单元网格内的所有数据点位的质心作为聚合点位，解决不同数据类型聚合点位过度重叠的问题；

通过多源数据模块，自动调度任务并行计算，将所有多源数据进行网格化聚合计算后存入所述聚合层级表中，并将每个聚合层级每个单元网格所聚合的数据关系存入内存数据库中。

进一步地，推送变化的数据到消息中间件供外部程序实时订阅，且同步增量更新数据库中的数据信息，具体为：

在内存数据库中维护多源数据与可变参数信息之间的对应关系，所述可变参数信息包括设备的实时在线或运行状态；

监听多源数据的原始状态，与所述内存数据库中维护的状态对应关系进行比对，若有变动，则执行以下流程：

将最新的数据状态推送到消息中间件，供外部应用程序实时订阅；

增量更新所述多源数据模块数据库中存储的相应的多源数据信息为当前最新状态；

更改所述多源数据模块内存数据库中维护的相应的可变参数信息为最新的状态；

以上流程通过所述多源数据模块的任务调度周期性执行，周期规则根据实际业务需求定义，如每分钟执行一次。

进一步地，封装业务应用HTTP协议接口以供外部程序调用，包含地图视窗范围的多源数据上图查询、矩形、线形缓冲区、圆形、多边形空间查询或者实际业务需求的更复杂的功能。

本发明具有以下有益效果：

应用本发明实施例，多源数据模块和网关模块可以注册到服务发现与注册模块。多源数据模块可以将多源数据汇聚到数据库，对多源数据进行不同地图层级下的地图点位聚合计算实现网格化，维护聚合点位的聚合信息，推送变化的数据到消息中间件供外部程序实时订阅，且同步增量更新数据库中的数据信息，网关模块可以对外提供统一的入口，外部程序发起的请求可以先通过网关模块，由网关模块进行转发调用多源数据模块封装的业务应用HTTP协议接口响应给外部程序调用者，可以实现万级及以上规模的多元化大数据量图层在Web地图上的实时展示，及数据状态实时同步更新。

附图说明

图1为本发明实施例提供的一种多源数据地图网格化及数据状态实时推送系统。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的一种多源数据地图网格化及数据状态实时推送的系统，所述系统包括所述系统包括服务发现与注册模块、网关模块、多源数据模块。

所述服务发现与注册模块，用于在服务消费者和服务提供者启动后向为其提供注册服务，监测服务提供者的状态，当某个服务提供者状态为不可用时，将该服务提供者的状态置为下线状态，并把当前服务提供者状态向订阅者发布，供订阅过的服务消费者更新服务提供者的在线状态；还用于当服务消费者要调用服务提供者时，根据服务消费者的请求将服务提供者地址发送给服务消费者；

所述网关模块，为介于外部应用程序和所述系统之间的中间层，所有的外部请求都会先经过网关模块这一层，将系统跟外网进行隔离，起到一定的保护作用。

所述多源数据模块，用于将多源数据进行分类网格化计算，并监听数据的变化情况，多源数据模块封装业务应用HTTP协议接口以供外部程序调用。

其中，每个模块可以同时包含多个实例，外部应用程序也可以是多个提供不同业务服务的应用程序。每个模块的每个实例可以部署于不同服务器，也可以均部署于同一服务器，可以是单节点方式，也可是支撑高可用、高并发的分布式集群方式，本发明对系统的部署方式不做限定。

其中，所述服务提供者包括网关模块和多元数据模块，所述服务消费者包括外部应用程序。

每个模块均可以采用微服务架构，采用这种架构可以将功能分解到各个离散的服务(模块)中以实现对解决方案的解耦，并提供更加灵活的服务支持。采用松耦合的设计原则，可以最大限度地减少服务与其消费者之间的依赖关系。通过标准化的业务API表达的契约，消费者不会受到服务内部实现变化的影响。这也就允许服务的所有者可以自由实现并更改可能位于API后面的数据处理或者组合服务系统，并在不对下游的API消费者产生任何影响的情况下替换它们。

本发明对系统所在的服务器类型不做限定，例如可以为安装了Linux系统或Windows系统或Unix系统的服务器。

优选地，网关模块和多源数据模块在启动后向服务发现与注册模块注册，并周期性(默认30秒)向服务发现与注册模块发送心跳包，以证明当前服务是可用状态，服务发现与注册模块在一定的时间(默认90秒)未收到网关模块和多源数据模块的心跳包，则认为服务宕机，注销该实例。

网关模块可采用开源的Spring Cloud Gateway、Spring Cloud Zuul、Kong、Nginx等组件，也可以是自建的有特殊业务需求的网关模块。

服务发现与注册模块可采用开源的Spring Cloud Eureka、Consul、Zookeeper、NACOS等组件，也可以是自建的有特殊业务需求的服务发现与注册模块。

多源数据模块，将多源数据汇聚到数据库；对多源数据进行不同地图层级下的地图点位聚合计算实现网格化，维护聚合点位的聚合信息；推送变化的数据到消息中间件供外部程序实时订阅，且同步增量更新数据库中的数据信息。

多源数据可以是例如视频监控设备、人脸设备、WIFI采集设备、车辆卡口等对接到多源数据模块需要在地图上展现的的数据，所述数据除了包含一些基本参数信息外，还要求提供相应的空间地理位置坐标(经度、纬度)。

地图层级，可以是地图7到17层级，也可根据实际所述数据空间展布范围调整。

数据库可以是支持空间检索的关系型数据库MySQL、Oracle或者非关系型数据库MongoDB等。汇聚数据的方式可以采用ETL工具，也可以采用自研的抽取程序。

消息中间件可以是采用开源的ActiveMQ、RabbitMQ、RocketMQ、Kafka等。

地图点位聚合计算实现网格化，维护聚合点位的聚合信息，具体为：

确定地图每一层级下所述多源数据网格化后单元网格的边长(即网格化聚合精度)，所述单元网格边长值越小，网格化聚合精度越高高，网格化数量会增大。一般而言，所述地图层级越小，单元网格边长值应设置越大，网格化数量减少。例如在地图图幅为40km×40km范围，10到17层级单元网格边长可分别划分为5000m、3800m、2750m、1875m、1175m、650m、300m、125m；在地图图幅为160km×160km范围，10到17层级单元网格边长可分别划分为20000m、15200m、11000m、7500m、4700m、2600m、1200m、500m。相应的网格化数量则分别为64、121、225、484、1225、3844、17956、102400。综合考虑到在某些特殊情况下，如所有多源数据点位所覆盖的地图范围很小(如单向跨度只有16km、多源数据点位数量过少、行政区域过小、多源数据点位分布太过集中)，且17层级下地图的比例尺较大(100m)，因此可以设定一个最小单元网格边长(如50m)，再对各层级下总网格化数量做向下调整，以符合实际业务场景需求；

地图每一层级对应一张聚合层级表。所述聚合层级表应包含有网格编号、网格聚合点空间地理位置坐标(经度、纬度)、聚合数量、聚合地图层级、聚合所述多源数据类型等字段信息；

查找或计算出覆盖所有所述多源数据的空间最小边界，并对此边界作适当扩大，扩大量值可设置为1/30≈0.033333度(在经线上，纬度每一分约是1852米)；

落在所述单元网格内的多源数据点位聚合点为单元网格几何中心坐标点，若考虑实际多源数据点位分布的合理性，避免出现太大偏差，可将落在单元网格内的所有数据点位的质心作为聚合点位，同时可以解决不同数据类型聚合点位过度重叠的问题；

通过所述多源数据模块，自动调度任务并行计算，将所有所述多源数据进行网格化聚合计算后存入所述聚合层级表中，并将每个聚合层级每个单元网格所聚合的数据关系存入内存数据库中；

内存数据库可以为Redis、Memcache等。内存数据库是将数据放在内存中直接操作的数据库，相对于磁盘数据库，内存数据库的数据读写速度要高出几个数量级，因此，将数据保存在内存数据库中相比从磁盘数据库上访问能够极大地提高应用的性能，提高了数据读写效率；

在内存数据库中维护所述多源数据与可变参数信息之间的对应关系，所述的可变参数信息可以是例如视频监控设备、人脸设备、WIFI采集设备和车辆卡口等设备的实时在线或运行状态等；

监听所述多源数据的原始状态，与所述内存数据库中维护的状态对应关系进行比对，若有变动，则应：

将最新的数据状态推送到消息中间件，供外部应用程序实时订阅；

增量更新所述多源数据模块数据库中存储的相应的多源数据信息为当前最新状态；

更改所述内存数据库中维护的相应的可变参数信息为最新的状态；

以上所述维护多源数据实时状态流程通过所述多源数据模块的任务调度周期性执行，所述周期规则可以根据实际业务需求定义，如每分钟执行一次。

应用本发明实施例，多源数据模块封装业务应用HTTP协议接口供外部程序调用，可以包含地图视窗范围所述多源数据上图查询，矩形、线形缓冲区、圆形、多边形空间查询或者其他实际业务需求的更复杂的功能。

外部应用程序通过发送HTTP业务请求，由网关模块将所述请求转发到多源数据模块，多源数据模块执行对应的程序处理逻辑，将执行结果响应给网关模块，进而由网关模块响应给外部应用程序调用者。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种多源数据地图网格化及数据状态实时推送系统，其特征在于，所述系统包括服务发现与注册模块、网关模块、多源数据模块；

所述服务发现与注册模块，用于在服务消费者和服务提供者启动后为其提供注册服务，监测服务提供者的状态，当某个服务提供者状态为不可用时，将该服务提供者的状态置为下线状态，并把当前服务提供者状态向订阅者发布，供订阅过的服务消费者更新服务提供者的在线状态；还用于当服务消费者要调用服务提供者时，根据服务消费者的请求将服务提供者地址发送给服务消费者；

所述网关模块为介于外部应用程序和所述系统之间的中间层，所有的外部请求都会先经过网关模块这一层，将系统跟外网进行隔离；

所述多源数据模块，用于将多源数据进行分类网格化计算，并监听数据的变化情况，多源数据模块封装业务应用HTTP协议接口以供外部程序调用；

其中，所述多源数据模块，还用于将多源数据汇聚到数据库；对多源数据进行不同地图层级下的地图点位聚合计算实现网格化，维护聚合点位的聚合信息；推送变化的数据到消息中间件供外部程序实时订阅，且同步增量更新数据库中的数据信息；

其中，所述地图点位聚合计算实现网格化，维护聚合点位的聚合信息，具体为：

查找或计算出覆盖所有多源数据的空间最小边界，并对此边界作适当扩大，扩大量值设置为1/30≈0.033333度；

落在单元网格内的多源数据点位聚合点为单元网格几何中心坐标点；

通过多源数据模块，自动调度任务并行计算，将所有多源数据进行网格化聚合计算后存入聚合层级表中，并将每个聚合层级每个单元网格所聚合的数据关系存入内存数据库中；

其中，推送变化的数据到消息中间件供外部程序实时订阅，且同步增量更新数据库中的数据信息，具体为：

在内存数据库中维护多源数据与可变参数信息之间的对应关系，所述可变参数信息包括设备的实时在线或运行状态；

监听多源数据的原始状态，与所述内存数据库中维护的状态对应关系进行比对，若有变动，则执行以下流程：

将最新的数据状态推送到消息中间件，供外部应用程序实时订阅；

增量更新所述多源数据模块数据库中存储的相应的多源数据信息为当前最新状态；

更改所述多源数据模块内存数据库中维护的相应的可变参数信息为最新的状态；

以上流程通过所述多源数据模块的任务调度周期性执行，周期规则根据实际业务需求定义。

2.根据权利要求1所述的多源数据地图网格化及数据状态实时推送系统，其特征在于，

所述服务发现与注册模块，还用于服务提供者在启动后，周期性向服务发现与注册模块发送心跳包，所述服务发现与注册模块通过所述心跳包确认当前服务是否为可用状态，具体为：如服务发现与注册模块在一定的时间未收到服务提供者的心跳包，则认为服务宕机，注销对应实例；

所述网关模块，还用于系统限流、权限校验和监控，使得业务服务更加专注自身业务。

3.根据权利要求1所述的多源数据地图网格化及数据状态实时推送系统，其特征在于，所述多源数据为视频监控设备、人脸设备、WIFI采集设备和车辆卡口对接到多源数据模块需要在地图上展现的数据，该数据包含基本参数信息和相应的空间地理位置坐标；所述数据库为支持空间检索的关系型数据库或者非关系型数据库。

4.根据权利要求1所述的多源数据地图网格化及数据状态实时推送系统，其特征在于，所述地图层级，为地图7到17层级，根据实际数据空间展布范围调整。

5.根据权利要求4所述的多源数据地图网格化及数据状态实时推送系统，其特征在于，所述地图层级，还用于确定每一层级下多源数据网格化后单元网格的边长，即网格化聚合精度，所述单元网格边长值越小，网格化聚合精度越高，网格化数量会增大。

6.根据权利要求4所述的多源数据地图网格化及数据状态实时推送系统，其特征在于，所述地图层级，还用于确定多源数据模块网格化聚合计算结果存入的聚合层级表，每一层级对应一张聚合层级表，所述聚合层级表包含有网格编号、网格聚合点空间地理位置坐标、聚合数量、聚合地图层级以及聚合多源数据的类型信息。

7.根据权利要求2所述的多源数据地图网格化及数据状态实时推送系统，其特征在于，封装业务应用HTTP协议接口以供外部程序调用，包含地图视窗范围的多源数据上图查询、矩形、线形缓冲区、圆形、多边形空间查询。

Images