CN106095929A - 一种车船位置信息数据的处理方法及系统 - Google Patents

Abstract

本发明提供一种车船位置信息数据的处理方法及系统，针对基于车船位置的动态信息数据查询和储存难的问题，提出使用分布式架构服务方法对车船位置的信息数据进行分区管理，所述位置信息数据来源主要来源于5种应用提供的服务，建立一个独立的车船位置服务平台整合以上各数据源，使用所述分区管理的方法极大加快了查询速度并且便于扩容。

Description

一种车船位置信息数据的处理方法及系统

技术领域

本发明涉及数据处理方法，特别是指一种车船位置信息数据的处理方法及系统。

背景技术

在交通运输、物流配送、房地产等行业，怎样使用大规模的地理空间数据并对其进行有效合理的维护往往是一个巨大挑战，目前为了加速位置查询，处理大数据的方式主要为构建地理空间索引，将它们存在数据库中，以支撑各类查询需要，这种处理方式对相对静态的数据，比如房屋、餐厅的位置查询较为合适；但对车辆这种动态的实体，所有的目标不停地移动，位置不断更新，数据量巨大，现有的车船位置信息平台，其更新速度以及数据处理量均远远不能满足对数据更新的使用要求，信息滞后以及处理时间冗长问题严重，本发明使用分布式架构服务方法处理车船位置信息数据，避免大量的数据写入对系统造成的极大压力。

发明内容

为解决现有技术中存在的上述问题，本发明提供了一种车船位置信息数据的处理方法及系统，具体而言，本发明提供了以下的技术方案：

首先，本发明提供了一种车船位置信息数据的处理方法，所述方法包括：

步骤1：采集车船位置信息数据；

步骤2：采用分布式架构处理所述车船位置信息数据。该分布式构架可以是兼容例如现有的Google S2的构架模式，也可以采用其他地理信息平台的数据。

优选地，所述步骤2详细包括：

步骤201、按照四叉树索引结构将地球表面分为n个不同级别的单元，并为每个单元设置Cell Id；所述Cell Id采用64bit整数表示，所述n为大于等于1的自然数；

步骤202：将不同级别的单元对应的多维空间，采用Hilbert Curve方法映射到一维曲线上；

步骤203：选择第m级的所述单元的Cell Id作为主位置Key，将所有和所述主位置Key中地理空间相关的实体均用所述主位置Key进行标注；其中1≤m≤n；

优选的，所述步骤2还包括：

步骤204：将所述主位置Key的Cell Id接近的分区被分到同一组，由同一个物理节点处理，并且在数据库中构建所述Cell Id值的索引。

优选的，所述步骤2还包括：

步骤205、对于任意一个所述单元内的所有实体，检索所述主位置Key的Cell Id值索引，即可查找到该区域内感兴趣的实体。

优选地，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。

优选的，所述n为30，所述m为12；所述第12级的所述单元对应的地理空间范围是[3.31,6.38]km²。

优选的，不同级别单元的表示格式为：

初始3位为预留位，用以存储地球表面映射到三维空间上的面；优选地，为便于计算，该三维空间可以是例如一个立方体；

第N级别的单元在Hilbert Curve中占用的位置表示为[0,2^N-1]*[0,2^N-1]，有效位数为2^Nbits；

所述有效位数后用一个“1”bit作为认定单元层级的标识位。

优选的，所述处理位置信息数据的使用的数据库为Cassandra，所述Cassandra数据库与事务服务(Transaction Service)接口、Hadoop软件平台的HDFS以及Storm集群(Storm Cluster)互连。

优选的，所述车船位置信息数据来源于以下至少之一：全国货运服务平台、海事船舶定位平台、电信基站、大网定位采集的手机位置信息、北斗车辆监控平台、GPS监控平台等。

此外，本发明还提供了一种车船位置信息数据的处理系统，所述系统包括：

数据采集部，用于采集实体位置信息数据，所述实体位置信息数据至少包括车船位置信息数据；

数据处理部，用于采用分布式架构服务结构，处理所述车船位置信息数据；该分布式构架可以是兼容例如现有的Google S2的构架模式，也可以采用其他地理信息平台的数据。

优选地，所述数据处理部包括：

单元分级模块，用于按照四叉树索引结构将地球表面为n个不同级别的单元，并为每个单元设置Cell Id；所述n为大于等于1的自然数；

映射模块，用于将不同级别的单元对应的多维空间，采用Hilbert Curve方法映射到一维曲线上；

标注模块，用于选择第m级的所述单元的Cell Id作为主位置Key，将所有和所述主位置Key中地理空间相关的实体均用所述主位置Key进行标注；其中1≤m≤n。

优选地，所述数据处理部还包括：

索引模块，用于将所述主位置Key的Cell Id接近的分区被分到同一组，由同一个物理节点处理，并且在数据库中构建所述Cell Id值的索引，对于任意一个所述单元内的所有实体，检索所述主位置Key的Cell Id值索引，即可查找到该区域内感兴趣的实体。

优选地，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。

本发明针对基于车船位置的动态信息数据查询和储存难的问题，提出使用基于例如Google S2的分布式架构服务方法对车船位置的信息数据进行分区管理，首先对车船位置信息数据进行整合，位置信息数据来源主要来源于5种应用提供的服务，建立一个独立的车船位置服务平台整合以上各数据源，使用分区管理的方法极大加快了查询速度并且便于扩容。

附图说明

图1为本发明车船位置服务平台的数据来源结构图；

图2是本发明数据库与其他位置服务组件互连结构图。

具体实施方式

下面结合附图对本发明实施例一种应用程序推荐方法及装置进行详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

术语说明：

(1)Google S2 Library，是由Google研发的一种地理空间索引方法；

(2)808协议，该标准规定了道路运输车辆卫星定位系统车载终端与监管/监控平台之间的通讯协议与数据格式，包括协议基础、通信连接、消息处理、协议分类与说明及数据格式，本标准适用于道路运输车辆卫星定位系统车载终端和平台之间的通信；

(3)809协议，本标准规定了道路运输车辆卫星定位系统监管/监控平台之间数据交换的技术要求，包括通信方式、安全认证、功能实现流程、协议消息格式和数据实体格式等内容，该标准适用于道路运输车辆卫星定位系统监管/监控平台之间的数据交换。

本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。

实施例1：

车船位置信息数据来源于至少以下5种应用所提供的服务，平台首先对车船上传的位置信息数据进行整合处理，如图1所示：

1)通过电信基站或大网定位采集的手机位置信息，货物运输集配平台使用通过调用电信内部的定位接口实现定位服务，因此只能定位车船的手机终端，并且只适合于在需要时定位当前的车船手机终端的车船位置信息数据，而不太适合记录车船的历史位置信息数据。

2)自营的北斗车辆监控平台：车载北斗终端通过相关运营商服务网络每半分钟向国家货运平台发送一次位置信息，报文以部颁808协议为标准发送，内容包括时间、经度、纬度、油耗、速度等。国家货运平台收到报文后以部颁809协议标准向自营的北斗车辆监控平台透传该报文。

3)交通部国家货运平台：提供已经安装北斗定位终端的车船会员的车牌号清单给国家货运平台，国家货运平台通过部颁809协议传给车船位置服务平台。

4)海事AIS(自动识别系统)船舶定位平台：海事AIS船舶定位平台提供实时AIS船舶定位信息给车船位置服务平台，平台实时接收海事平台船舶位置数据报文，并按报文规则解析后存储在数据库中。

5)整合的其他北斗运营商车辆监控平台：合作的第三方北斗运营平台通过部颁809协议向车船位置服务平台传送车船位置信息数据，传送方法为第三方北斗运营平台用户终端先向国家货运平台发送车船位置信息数据，国家货运平台以部颁809协议透传给该第三方北斗运营平台，该平台以同样的的方式传送给车船位置服务平台。

实施例2：

在本实施例中，以基于Google S2的数据的架构进行说明。采用分布式架构服务处理来源于全国货运服务平台和海事船舶定位平台的车船位置信息数据，存储位置信息数据采用分层存储的方式，采用Google S2处理车船位置信息数据主要步骤为：

步骤1.地球表面或地图或行政区划等，按照四叉树索引结构被分为例如30个不同级别的单元，即单元代表地理区域，并为每个单元设置Cell Id，用一个例如64位的整数就可以为地球上的每一个平方厘米编号，分级从0到30级，最底层为30级，其上每级均为四叉树结构，主要分级可以采用下表所示：

Level	Min Area	Max Area
			0	85,011,012 km2	85,011,012 km2
1	21,252,753 km2	21,252,753 km2
			12	3.31 km2	6.38 km2
30	0.48 cm2	0.93 cm2

步骤2.采用映射的方式，将单元所在的多维空间映射到一维曲线上，从而有效地、简洁地表述不同的单元，也即地理区域，这一映射可以采用例如Hilbert曲线映射方式，所有单元均可在Hilbert曲线上展开，Hilbert曲线将多维空间映射到一维曲线上，并具有特定的空间特性，即对应了球面上的位置信息，即如果Cell值接近，两个Cell在地理上也接近；由于Hilbert曲线枚举每个Cell，而且30个级别逐级分解，单元之间的包含关系检索极为快速。

步骤3.选取例如第12级对货源与运力匹配很合适，所有和所述主位置Key中地理空间相关的实体都用一个64bit整数记录此实体的位置；

可以选择合适的级别，优先的选择12级作为主位置Key，所有和地理空间相关的entity，包括货源、车辆、船舶、港口码头、仓库都会标注上位置Key，即可以用一个64位整数代表此entity的位置。

用64bit整数表示不同级别的单元即每个单元中的每平方厘米的面积范围都由一个64bit整数表示，具体表示格式如下图表示：

初始3位为预留位，用以存储地球表面映射到立方体上的面；

第N级别的单元在Hilbert Curve中占用的位置表示为[0,2^N-1]*[0,2^N-1]，有效位数为2^Nbits；

所述有效位数后用一个“1”bit作为认定单元层级的标识位。

步骤4.优选的，对一个任意的区域，找到它涵盖的单元也非常快，优先的，想发现10KM内的所有车辆，只需要检索位置库，把圆心周围10公里的单元组合找出来，由于已经用Cell Id为所有车辆做了标注和索引，就可以轻易地找到感兴趣的车辆。

步骤5.Cell Id还被用作分区或分片键，这对设计高扩展性系统非常关键，地理空间上接近的分区可并为一组，由同一个物理节点处理，还可以基于分区键在数据库或缓存中建构索引，加快查询速度，即可以分区并将系统工作负载合理分布，便于扩容；

处理位置信息数据的使用的数据库为NoSql数据库Cassandra，Cassandra数据库与事务服务(Transaction Service)接口、Hadoop软件平台的HDFS以及Storm集群(StormCluster)互连。

优选的，可以把任一个区域，包括行政区划分解成一组Cell的集合以备将来使用，这样可以快速处理大量地理空间的数据。

实施例3：

本发明还提供了一种车船位置信息数据的处理系统，所述系统包括：

数据采集部，用于采集实体位置信息数据，所述实体位置信息数据至少包括车船位置信息数据；

数据处理部，用于采用分布式架构服务结构，处理所述车船位置信息数据；

更为具体地，所述数据处理部包括：

单元分级模块，用于按照四叉树索引结构将地图分为n个不同级别的单元，并为每个所述单元设置Cell Id；所述n为大于等于1的自然数；

映射模块，将不同级别的单元对应的多维空间，映射到一维曲线上；

标注模块，用于选择第m级的所述单元的Cell Id作为主位置Key，至少部分地依据所述车船位置信息数据，将所有和所述主位置Key中地理空间相关的实体，均用所述主位置Key进行标注；所述。

上述的各模块具体运行方法，可以采用实施例2中详述的方法，或采用其他等同或相似的方法实现。

更为具体地，所述数据处理部还包括：

索引模块，用于对分为同一组的单元，在数据库中建立索引，所述分为同一组的单元由同一物理节点处理。

在一个优选的实施例中，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种车船位置信息数据的处理方法，其特征在于，所述方法包括：

步骤1、采集车船位置信息数据；

步骤2：采用分布式架构服务方法处理所述车船位置信息数据。

2.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括：

步骤201：按照四叉树索引结构将地球表面分为n个不同级别的单元，并为每个单元设置Cell Id；所述Cell Id采用64bit整数表示，所述n为大于等于1的自然数；

步骤202：将不同级别的单元对应的多维空间，采用Hilbert Curve方法映射到一维曲线上；

步骤203：选择第m级的所述单元的Cell Id作为主位置Key，至少部分的依据所述车船位置信息数据，将和所述主位置Key中地理空间相关的实体均用所述主位置Key进行标注；其中1≤m≤n。

3.根据权利要求2所述的方法，其特征在于，所述步骤2还包括：

步骤204：将所述主位置Key的Cell Id接近的分区分到同一组，由同一个物理节点处理，并且在数据库中构建所述Cell Id值的索引。

4.根据权利要求2所述的方法，其特征在于，所述步骤2还包括：

步骤205、对于任意一个所述单元内的所有实体，检索所述主位置Key的Cell Id值索引，即可查找到该区域内感兴趣的实体。

5.根据权利要求2所述的方法，其特征在于，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。

6.根据权利要求2所述的方法，其特征在于，所述n为30，所述m为12；所述第12级的所述单元对应的地理空间范围是[3.31,6.38]km²。

7.根据权利要求2所述的方法，其特征在于，不同级别的单元的表示格式为：

初始3位为预留位，用以存储地球表面映射到三维空间上的面；

第N级别的单元在Hilbert Curve映射中占用的位置表示为[0,2^N-1]*[0,2^N-1]，有效位数为2^Nbits；

所述有效位数后用一个“1”bit作为认定单元层级的标识位。

8.根据权利要求2所述的方法，其特征在于，所述处理位置信息数据使用的数据库为Cassandra，所述Cassandra数据库与事务服务接口、Hadoop软件平台的HDFS以及Storm集群互连。

9.根据权利要求1所述的方法，其特征在于，所述车船位置信息数据来源于以下至少之一：全国货运服务平台、海事船舶定位平台、电信基站、大网定位采集的手机位置信息、北斗车辆监控平台、GPS监控平台。

10.一种车船位置信息数据的处理系统，其特征在于，所述系统包括：

数据采集部，用于采集实体位置信息数据，所述实体位置信息数据至少包括车船位置信息数据；

数据处理部，用于采用分布式架构服务结构，处理所述车船位置信息数据。

11.根据权利要求10所述的系统，其特征在于，所述数据处理部包括：

单元分级模块，用于按照四叉树索引结构将地球表面为n个不同级别的单元，并为每个单元设置Cell Id；所述n为大于等于1的自然数；

映射模块，用于将不同级别的单元对应的多维空间，采用Hilbert Curve方法映射到一维曲线上；

标注模块，用于选择第m级的所述单元的Cell Id作为主位置Key，将所有和所述主位置Key中地理空间相关的实体均用所述主位置Key进行标注；其中1≤m≤n。

12.根据权利要求10所述的系统，其特征在于，所述数据处理部还包括：

索引模块，用于将所述主位置Key的Cell Id接近的分区被分到同一组，由同一个物理节点处理，并且在数据库中构建所述Cell Id值的索引，对于任意一个所述单元内的所有实体，检索所述主位置Key的Cell Id值索引，即可查找到该区域内感兴趣的实体。

13.根据权利要求10所述的系统，其特征在于，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。