CN111353008B - 一种北斗位置流数据实时空间聚合方法 - Google Patents

Abstract

本发明提出一种北斗位置流数据实时空间聚合方法，包括如下步骤：步骤1：实时流数据接入：通过网络通信方式，将由北斗终端生成的实时位置数据以流数据的方式接入；步骤2：数据入库：将接收到实时位置数据以设备Id，即目标Id为主键更新至实时表中，表中包含geohashNum字段，存储该位置坐标对应的Geohash整形值；步骤3：聚合查询：根据输入的地理范围和聚合层级，计算出若干聚合单元父区域，针对每个聚合单元父区域，从实时表中查询geohashNum字段值处于Geohash值区间内的记录数量，作为该单元父区域的聚合结果；步骤4：聚合结果可视化：将聚合结果以<瓦片序号，数据量>列表的形式返给前端，前端根据瓦片序号计算出瓦片范围，将瓦片范围绘制到地图上，并根据数据量作为颜色填充值。

Description

一种北斗位置流数据实时空间聚合方法

技术领域

本发明涉及地理信息技术领域，具体的涉及一种基于流数据的实时空间聚合方法。

背景技术

随着北斗卫星全球组网的提速，国内传感器产品的不断成熟、成本不断地下降，北斗终端能够在各种智能设备上大规模、高密度使用，以北斗为基础的位置服务与云计算、大数据、物联网、人工智能等技术无缝衔接，为各行业的生产和人民的生活提供了极大的便利。

大规模的北斗数量，高密度的定位使用频率，导致每天有海量的北斗位置数据新增，北斗实时位置数据具备时空属性，对时效性和位置准备性都具备较高的要求。一个实时数据管理系统多则承担百万级的北斗终端量级下的数据接入和管理，时空数据可视化是时空大数据重要的应用场景，在一定区域内，如果位置点较多，会大大增加前后端的网络IO开销和客户端绘制时间，造成极差的用户体验。

等边长网格聚合是一种常见的空间聚合方法，根据当前的地图比例尺，确定单元网格的粒度，将屏幕范围分为若干个大小一致的矩形网格，计算出每个内的位置点数量，前端将网格的范围和数量信息可视化，可解决前端的瓶颈。

传统的实时位置数据聚合方案，将连续的数据流从时间维度划分成等长的时间窗口，每个时间窗口内的数据做网格聚合，将聚合数据存储至聚合表中，通过聚合表的不断更新，实现聚合可视化效果的不断更新。该方案需要根据业务需求，提前确定层级范围(minLevel-maxLevel)。前端根据瓦片序号计算出瓦片范围，将瓦片范围绘制到地图上，并根据数据条数作为颜色填充值。现有的流数据实时空间聚合方法实时性不高：采用固定时间窗口方式聚合，聚合结果不是实时更新，而是一个时间窗口周期批次计算，有一定时延。且层级范围固定：必须提前确定聚合层级范围，根据范围计算聚合结果，如果层级范围改变，需要修改配置或者程序结构，灵活性不够。最后，额外存储开销较大：聚合结果存储至聚合表，若数据覆盖的空间范围较大，或者聚合层级范围较大，导致聚合表中会存在大量的聚合结果数据，这个数据规模甚至不小于位置数据本身，造成极大的额外存储开销(数据膨胀最高达100％)。

发明内容

为了解决以上技术问题，本发明提出一种新型的实时位置数据聚合方法，以较低的时间复杂度和空间复杂度，实现海量北斗位置流数据的实时聚合。

本发明提出的一种北斗位置流数据实时空间聚合方法，包括如下步骤：

步骤1：实时流数据接入：通过网络通信方式，将由北斗终端生成的实时位置数据以流数据的方式接入；

步骤2：数据入库：将接收到实时位置数据以设备Id，即目标Id为主键更新至实时表中，表中包含geohashNum字段，存储该位置坐标对应的geohash值；

步骤3：聚合查询：根据输入的地理范围和聚合层级，计算出若干聚合单元区域，针对每个聚合单元区域，从实时表中查询geohashNum字段值处于geohash值区间内的记录数量，作为该单元区域的聚合结果；

步骤4：聚合结果可视化：将聚合结果以<瓦片序号，数据量>列表的形式返给前端，前端根据瓦片序号计算出瓦片范围，将瓦片范围绘制到地图上，并根据数据量作为颜色填充值。

进一步的，所述步骤2的数据入库具体包括：

步骤2.1、创建实时表：在数据库中创建实时表，该表字段包括设备Id，即目标Id、位置时间、位置经度、位置纬度、geohashNum字段；其中，设备Id为主键，保证每个设备即目标在库中不会存在多条记录，为geohashNum创建索引，以方便后续查询；

步骤2.2、对于每条接收到的实时位置数据，以设备id为区分更新至实时表，根据位置经度、位置纬度计算numberOfBits为41的Geohash值，以十进制长整形的格式保存至实时表的geohashNum字段中。

进一步的，所述步骤3的聚合查询具体包括：

步骤3.1、后端接收前端的聚合查询请求，前端传入屏幕的地理范围和瓦片层级；

步骤3.2、基于EPSG4326网格集与Geohash区域的空间范围对应关系，将基于瓦片的空间聚合转换为基于Geohash区域的空间聚合，计算出该瓦片层级对应的Geohash有效长度numberOfBits，进而计算出有效长度为numberOfBits且与地理范围相交的多个Geohash区域的十进制长整形值；

步骤3.3、Geohash父区域的有效长度低于子区域的有效长度，每个实时位置数据的geohashNum代表了该数据所在的有效长度最高的Geohash区域编码。对于与输入空间范围相交的所有父区域R，计算出该区域Geohash编码的长整型值A及与其同有效长度后续区域的长整型值B，若实时表中一条记录的geohashNum的值大于等于A且小于B，则说明该记录的坐标处于区域R。基于以上方法，可通过多个一维整形区间查询实现多个父Geohash区域内位置数据的查询，进一步计算每个与输入范围相交的父区域内的目标数量；

步骤3.4、计算相交的父Geohash区域中对应的瓦片序号；

步骤3.5、将聚合数据以<瓦片序号，目标数量>列表的形式返回给前端。

所述步骤1的实时流数据接入，通过网络通信方式包括通过UDP、TCP、Kafka方式进行通信。

聚合的网格空间划分规则参照EPSG4326网格集，即在不同的层级下，聚合网格单元与该网格集下的单元瓦片范围一致。

numOfBits为奇数的Geohash区域范围与EPSG4326网格集的特定层级单元网格范围完全贴合，Geohash有效长度与网格集层级的换算公式为：层级level*2+1＝numberOfBits。

有益效果

1、本发明采用基于Geohash的实时聚合方案，不要提前确定层级范围，也不需要分批计算聚合结果。

2、提高聚合的实时性：聚合结果基于最新的位置数据实时计算得出，而不再有时延。

3、任意层级范围聚合：可按照任意空间范围、层级范围聚合，不需要提前指定，因为聚合结果是实时计算的；

4、附加存储开销较小：不再需要聚合表，只需在实时表中增加一个长整形字段，数据膨胀率不超过20％。

经实践验证，全球范围内百万设备(目标)下，全球任意层级、任意区域的聚合请求平均相应时间在1秒以内，在保证聚合时效性、存储空间节约性的基础上，表现出了较为优秀的性能。

附图说明

图1：网格聚合可视化效果；

图2：Geohash填充曲线示意图；

图3：不同numberOfBits下Geohash区域划分示意图；

图4：EPSG4326网格集范围与层次划分示意图；

图5：Geohash区域与EPSG4326瓦片的关系示意图；

图6：Geohash父子区域数值编码关系示意图；

图7：本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的一个实施例，提出一种新型的实时位置数据聚合方法，在地理空间维度，通过区域单元获取数据的分布特征和统计特征，并进行数据可视化的过程。其基本原理是基于网格聚合算法，将空间区域划分为形状规则的网格单元，单个网格单元又分为多个层次，高层次的网格单元被分为多个低层次的网格单元，每个网格单元具备位置特性和统计特性。

网格聚合简单说就是一种使用空间聚合方法，表现空间数据的分布特征和统计特征。它的基本原理是基于网格聚合算法，将空间区域划分为规则形状的网格单元，每个网格单元又划分为多个层次，高层次的网格单元被分为多个低层次的网格单元，每个网格单元都具有统计信息，参见图1。

Geohash，是由Gustavo Niemeyer提出对地图坐标进行编码的一种方式，它将一个地理位置编码成一串字母和数字。目的原本是为地球上的每一个点(根据经纬度)确定一条短的URL作为唯一标识。只是后来被广泛的应用到空间检索方面、尤其是POI查询中。GeoHash是一种地址编码方法，他能够把二维的空间经纬度数据编码成一个字符串(或数字)，每个字符串(数字)代表着一个以经纬度划分的矩形区域。它是一种层次化的空间数据结构，将空间细分为网格形状的桶，是一种被称为z-阶空间填充曲线的应用，参见图2是GeoHash算法中常用的Peano曲线，一种四叉树线性编码方式。

Geohash分别从经度和纬度两个方向进行二分编码，左区间编码0，右区间编码1。如北海公园的纬度是39.928167，经度116.389550，对纬度39.928167进行逼近，得到的二进制编码为10111 00011，对经度116.389550进行逼近，得到的二进制编码为11010 01011。根据编码规则，偶数位放经度，奇数位放纬度，经纬度二进制码进行合并，生成新串：1110011101 00100 01111，新串的长度，也就是geohash的精度，即numberOfBits，numberOfBits越长，代表的区域越小。numberOfBits长度为偶数时，geohash代表的区域高宽比为2:1,当numberOfBits长度为奇数时，geohash代表的区域高宽比为1:1，具体参见图3。

Geohash可用base32编码表达。首先将11100 11101 00100 01111转成十进制，对应着28、29、4、15，十进制对应的编码就是wx4g。

Geohash也可用十进制长整形表达。长整形长度为64位，Geohash bit编码若不足64位，右侧补零补齐至64位，这样，使用一个长整形完成bit长度1～64内的GeoHash值的表达，为了表达长整形内有效长度，增加numberOfBits这一辅助项。

电子地图通常由多个尺寸相同(通常是256*256像素)的小图片按照既定规则无缝拼接而成的，这些小图片就是瓦片。瓦片按照金字塔结构组织，每张瓦片都可通过级别、行列号唯一标记。在平移地图、缩放地图时，浏览器根据金字塔规则，计算出所需的瓦片，从瓦片服务器获取并拼接。互联网地图服务商的在线地图都通过瓦片的方式提供，称为瓦片地图服务。

参见图4，EPSG4326是WGS84坐标系下的瓦片地图网格集，常用于三维数字地球影像的承载。EPSG4326第0层(Level＝0)时，全球范围被切成2部分，0层以上，每个父瓦片平均切成4个子瓦片。

Geohash区域与EPSG4326瓦片的关系

参见图5，numOfBits为奇数的Geohash区域范围与EPSG4326网格集的特定层级单元网格范围完全贴合。

因此，可以得出以下换算公式的公式：level*2+1＝numberOfBits，其中：Level为EPSG4326中的层级，numberOfBits为Geohash中的有效长度。

在本发明的方法中，聚合的网格空间划分规则参照EPSG4326网格集，即在不同的层级下，聚合网格单元与该网格集下的单元瓦片范围一致。

前文所示，numOfBits为奇数的Geohash区域范围与EPSG4326网格集的特定层级单元网格范围完全贴合，Geohash有效长度与网格集层级的换算公式为：level*2+1＝numberOfBits。

基于以上基础，本发明可以把基于EPSG4326的网格聚合，等同于基于对该层级对应有效长度的geohash区域聚合。

一个Geohash的numberOfBits越长，其代表的区域越小，同一区域的四个子区域二进制编码具有相同的前缀。如下图所示，A B均为有效长度(numberOfBits)为5的Geohash区域，且在填充曲线中B为A的后序。Aa、Ab、Ac、Ad均为A的四个子区域，其二进制编码均在A的二进制编码基础上在右侧增加了两位，numberOfBits达到7位。可以看出，四个子区域网格码拥有相同的五位前缀。

根据本发明的一个实施例，在十进制长整形表达中，一个Geohash的所有子区域的数值，不小于该Geohash数值，并小于该Geohash的后续Geohash的数值。参见图6，下面举例例说明，假设6个geohash对应的二进制编码为：

A:10101 00000 00000 00000 00000 00000 00000 00000 00000 00000 0000000000 0000

B:10110 00000 00000 00000 00000 00000 00000 00000 00000 00000 0000000000 0000

Aa:10101 00000 00000 00000 00000 00000 00000 00000 00000 00000 0000000000 000

Ab:10101 01000 00000 00000 00000 00000 00000 00000 00000 00000 0000000000 0000

Ac:10101 10000 00000 00000 00000 00000 00000 00000 00000 00000 0000000000 0000

Ad:10101 11000 00000 00000 00000 00000 00000 00000 00000 00000 0000000000 0000

可以看出，Aa、Ab、Ac、Ad的值均在[A,B)区间内。

通过以上分析得出结论，得出一个高有效长度的Geohash区域是否是低有效长度geohash的子区域的计算，可转换为判断高有效长度Geohash的十进制值是否包含在低有效长度Geohash值与其后序Geohash值组成的半开放区间的判断。

本发明聚合的原理为：聚合的对象是实时表里的数据，实时位置数据接入后，目标的最新数据更新至实时表，在实时表中增加一个Geohash字段，存储该位置数据对应有效长度为41的Geohash长整形值，表示该位置数据所在的有效长度为41的geohashNum区域。对于一个任意有效长度小于41的Geohash区域A(其后序区域为B，A区域、B区域的十进制长整形数值分布为an、bn)，统计实时表中geohashNum字段值处于[an,bn)区间的记录数量，即为区域A中位置数据的数量。根据前边的有效长度层级换算公式，有效长度41对应EPSG4326的层级为20层。低于20层的瓦片聚合结果都可以通过统计其20层数据数量得出。

根据本发明的一个实施例，参见图7，本发明提出的一种北斗位置流数据实时空间聚合方法：

步骤1：实时流数据接入：通过网络通信方式，将由北斗终端生成的实时位置数据以流数据的方式接入；

步骤2：数据入库：将接收到实时位置数据以设备Id，即目标Id为主键更新至实时表中，表中包含geohashNum字段，存储该位置坐标对应的geohash值；

步骤3：聚合查询：根据输入的地理范围和聚合层级，计算出若干聚合单元父区域，针对每个聚合单元父区域，从实时表中查询geohashNum字段值处于Geohash值区间内的记录数量，作为该单元父区域的聚合结果；

步骤4：聚合结果可视化：将聚合结果以<瓦片序号，数据量>列表的形式返给前端，前端根据瓦片序号计算出瓦片范围，将瓦片范围绘制到地图上，并根据数据量作为颜色填充值。

其中，数据入库流程包括：

步骤2.1、创建实时表：在数据库中创建实时表，该表字段包括设备Id，即目标Id、位置时间、位置经度、位置纬度、geohashNum字段；其中，设备Id为主键，保证每个设备即目标在库中不会存在多条记录，为geohashNum创建索引，以方便后续查询；

步骤2.2、对于每条接收到的实时位置数据，以设备id为区分更新至实时表，根据位置经度、位置纬度计算精度为41的Geohash值，以十进制长整形的格式保存至实时表的geohashNum字段中。

所述步骤3的聚合查询具体包括：

步骤3.1、后端接收前端的聚合查询请求，前端传入屏幕的地理范围和瓦片层级；

步骤3.2、基于EPSG4326网格集与Geohash区域的空间范围对应关系，将基于瓦片的空间聚合转换为基于Geohash区域的空间聚合，计算出该瓦片层级对应的Geohash有效长度numberOfBits，进而计算出有效长度为numberOfBits且与地理范围相交的多个Geohash区域的十进制长整形值；

步骤3.3、Geohash父区域的有效长度低于子区域的有效长度，每个实时位置数据的geohashNum代表了该数据所在的有效长度最高的Geohash区域编码；对于与输入空间范围相交的所有父区域R，计算出该区域Geohash编码的长整型值A及与其同有效长度后续区域的长整型值B，若实时表中一条记录的geohashNum的值大于等于A且小于B，则说明该记录的坐标处于区域R；基于以上方法，通过多个一维整形区间查询实现多个父Geohash区域内位置数据的查询，进一步计算每个与输入范围相交的父区域内的目标数量；

步骤3.4、计算相交的父Geohash区域中对应的瓦片序号；

步骤3.5、将聚合数据以<瓦片序号，目标数量>列表的形式返回给前端。

所述步骤4包括，前端根据瓦片序号计算出瓦片范围，将瓦片范围绘制到地图上，并根据数据条数作为颜色填充值。

综上所述，本发明探索出EPSG4326瓦片与Geohash区域的对应关系，将以瓦片为单位的空间聚合转换为以Geohash区域为单位的空间聚合。并且基于Geohash区域层次关系和编码特性，提出父子区域层次计算模型，将区域内位置数量的统计，转换为数据库一维字段的区间检索，较大提升检索效率；本发明还在位置数据本身增加字段，大大额外存储空间开销；最后，本发明真正实现实时按需聚合，无需提前确定聚合范围，可聚合任意层级；实时聚合运算，避免了原有聚合方法带来的时延。

本发明采用基于Geohash的实时聚合方案，不要提前确定层级范围，也不需要分批计算聚合结果。提高聚合的实时性：聚合结果基于最新的位置数据实时计算得出，而不再有时延。任意层级范围聚合：可按照任意空间范围、层级范围聚合，不需要提前指定，因为聚合结果是实时计算的附加存储开销较小：不再需要聚合表，只需在实时表中增加一个长整形字段，数据膨胀率不超过20％。经实践验证，全球范围内百万设备(目标)下，全球任意层级、任意区域的聚合请求平均相应时间在1秒以内，在保证聚合时效性、存储空间节约性的基础上，表现出了较为优秀的性能。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种北斗位置流数据实时空间聚合方法，其特征在于：包括如下步骤：

步骤1：实时流数据接入：通过网络通信方式，将由北斗终端生成的实时位置数据以流数据的方式接入；

步骤2：数据入库：将接收到实时位置数据以设备Id，即目标Id为主键更新至实时表中，表中包含geohashNum字段，存储该位置坐标对应的geohash值；

步骤3：聚合查询：根据输入的地理范围和聚合层级，计算出若干聚合单元父区域，针对每个聚合单元父区域，从实时表中查询geohashNum字段值处于Geohash值区间内的记录数量，作为该单元父区域的聚合结果；

所述步骤3的聚合查询具体包括：

步骤3.1、后端接收前端的聚合查询请求，前端传入屏幕的地理范围和瓦片层级；

步骤3.2、基于EPSG4326网格集与Geohash区域的空间范围对应关系，将基于瓦片的空间聚合转换为基于Geohash区域的空间聚合，计算出该瓦片层级对应的Geohash有效长度numberOfBits，进而计算出有效长度为numberOfBits且与地理范围相交的多个Geohash区域的十进制长整形值；

步骤3.3、Geohash父区域的有效长度低于子区域的有效长度，每个实时位置数据的geohashNum代表了该数据所在的有效长度最高的Geohash区域编码；对于与输入空间范围相交的所有父区域R，计算出该区域Geohash编码的长整型值A及与其同有效长度后续区域的长整型值B，若实时表中一条记录的geohashNum的值大于等于A且小于B，则说明该记录的坐标处于区域R；基于以上方法，通过多个一维整形区间查询实现多个父Geohash区域内位置数据的查询，进一步计算每个与输入范围相交的父区域内的目标数量；

步骤3.4、计算相交的父Geohash区域中对应的瓦片序号；

步骤3.5、将聚合数据以<瓦片序号，目标数量>列表的形式返回给前端；

numOfBits为奇数的Geohash区域范围与EPSG4326网格集的特定层级单元网格范围完全贴合，Geohash有效长度与网格集层级的换算公式为：层级level2+1= numberOfBits,其中，level为EPGS4326层级，numberOfBits为Geohash有效长度；

步骤4：聚合结果可视化：将聚合结果以<瓦片序号，数据量>列表的形式返给前端，前端根据瓦片序号计算出瓦片范围，将瓦片范围绘制到地图上，并根据数据量作为颜色填充值。

2.根据权利要求1所述的一种北斗位置流数据实时空间聚合方法，其特征在于：

所述步骤2的数据入库具体包括：

步骤2.1、创建实时表：在数据库中创建实时表，该表字段包括设备Id，即目标Id、位置时间、位置经度、位置纬度、geohashNum字段；其中，设备Id为主键，保证每个设备即目标在库中不会存在多条记录，为geohashNum创建索引，以方便后续查询；

步骤2.2、对于每条接收到的实时位置数据，以设备id为区分更新至实时表，根据位置经度、位置纬度计算有效长度为41的Geohash值，以十进制长整形的格式保存至实时表的geohashNum字段中。

3.根据权利要求1所述的一种北斗位置流数据实时空间聚合方法，其特征在于：

所述步骤1的实时流数据接入，通过网络通信方式包括通过UDP、TCP、Kafka方式进行通信。

4.根据权利要求1所述的一种北斗位置流数据实时空间聚合方法，其特征在于：

聚合的网格空间划分规则参照EPSG4326网格集，即在不同的层级下，聚合网格单元与该网格集下的单元瓦片范围一致。