CN106095922A - 一种车船位置数据存储方法及系统 - Google Patents

Abstract

本发明提供一种车船位置数据存储方法及系统，包括整合所述车船位置信息数据，其记录车船的静态数据以及货物集配电子平台和全息地图应用平台车船位置信息数据；所述货物集配电子平台和全息地图应用平台需要位置查询服务时，通过车船位置服务平台提供的服务接口获取车船位置信息数据并进行处理，存储车船位置信息到数据库、采用多层并行方式降低存储到数据库中的所述车辆位置信息数据的维度，把高维线性数据为转化低维面型数据的方式，有效提高了查询速度。

Description

一种车船位置数据存储方法及系统

技术领域

本发明涉及数据存储、查询处理方法及系统，特别是指一种基于车船位置服务平台的位置数据存储、查询处理方法及系统。

背景技术

车船位置服务平台利用车船会员手机、平台移动端APP或北斗卫星的定位系统将所有车辆会员和船舶会员最新位置在全国陆路、水路交通地图上用图标显示，定位地图具有对单一车船的搜索功能，以车号/船号、时段为搜索条件，可以搜索出该车/船的运行轨迹。

首先处理已安装北斗定位终端的车船的位置数据，由于数据是固定时间传送一次，因此具有实时性和复杂性，需要建立一个独立的车船位置服务平台整合以上各数据源，而在现有技术中，对于上述的海量车船信息的及时处理方法依然空白，没有良好的专门针对海量车船位置信息的动态数据处理方法及系统的推出，本发明使用分层的方式来存储海量数据，减轻单个服务器的压力。

发明内容

为解决现有技术中存在的上述问题，本发明采用分层存储的方式处理海量数据，避免大量数据写入及查询对系统造成的极大压力，达到了对海量数据的存储，满足了用户实时查询的需求。

具体而言，本发明提供了以下技术方案：

首先，本发明提供了一种车船位置数据存储方法，所述方法包括：

步骤1、采集车船位置数据并预处理所述车船位置数据；

步骤2、通过分层存储的方式，存储处理后的所述车船位置数据。优选地，所述分层存储分为实时数据层和历史数据层；在所述实时数据层和所述历史数据层分别执行查询函数。

优选地，所述步骤2详细包括：

步骤201、存储所述车船位置数据，将接收的最新的同一时刻的所述车船位置数据存储到实时数据层，并循环存储下一时刻的车船位置信息数据，当存储达到预设条件时，将所述实时数据层的所述车船位置信息数据批量转移到历史数据层；

步骤202、依据查询函数，在所述实时数据层以及所述历史数据层上预先计算并保存查询结构，以在所述历史数据层上构建历史结果集，并在所述实时数据层上构建实时结果集；

步骤203、当所述查询函数满足预设条件时，合并所述历史结果集和所述实时结果集，以获得最终数据集。

优选地，所述步骤201中，所述预设条件至少是以下的一种或其任意组合：

存储时数据导入的时间长度达到预设时间长度；导入数据的字符串长度达到预设值；导入的数据条数达到预设值；将数据量大小超过预设值的前L条数据导入到历史数据层，L为大于等于1的自然数。

优选地，所述步骤203中，所述查询函数满足的预设条件为：所述查询函数满足可将计算分解到多台服务器并行运算；可结合各自的部分运算结果得到最终结果；部分运算结果可储存下来被别的运算共享利用。

优选地，所述车船位置服务平台中的车船位置数据来源于全国货运服务平台和海事船舶定位平台，所述车船位置服务平台整合所述车船位置信息数据，其记录车船的静态数据以及货物运输集配电子商务平台和全息地图应用平台车船位置信息数据；所述货物运输集配电子商务平台和全息地图应用平台需要位置查询服务时，通过所述车船位置服务平台提供的服务接口获取车船位置信息数据并进行处理。

优选地，依据所述车船位置信息数据分析车船运行行为，建立车船运行行为模型。在建立或已经建立的模型的基础上，还可以根据上述车船运行行为，对模型进行优化，从而为后续的车船使用等提供有效的数据依据。

优选地，所述车船位置信息数据来源于以下至少之一：全国货运服务平台、海事船舶定位平台、电信基站、大网定位采集的手机位置信息、北斗车辆监控平台、GPS监控平台等。

优选地，所述车船位置信息数据格式及长度相同。例如，由于固定时间记录一次所述车船位置信息数据，则所有的所述车船位置信息数据格式id,time,lng,lat,vel长度固定，优先的，可以不记录时间time，所述车船位置信息数据格式为id,lng,lat,vel，这样每条车辆记录均变成等长数组，位置信息在时间轴上顺次展开。

此外，本发明还提供了一种车船位置数据存储系统，所述系统包括：

数据采集部，用于采集实体位置数据并对所述位置数据预处理，所述实体位置信息数据至少包括车船位置数据；

存储部，用于通过分层存储的方式，存储所述处理后的车船位置数据。优选地，所述存储部分为实时数据存储部和历史数据存储部，所述实时数据存储部用于存储实时数据，所述历史数据存储部用于存储历史数据。

优选地，所述存储部进一步包括：

数据导入模块，将接收的最新的同一时刻的所述车船位置信息数据存储到实时数据层，并循环存储下一时刻的车船位置信息数据，当存储达到预设条件时，将所述实时数据层的所述车船位置信息数据批量转移到历史数据层；

结果集生成模块，依据查询函数，在所述实时数据层以及所述历史数据层上预先计算并保存查询结构，以在所述历史数据层上构建历史结果集，并在所述实时数据层上构建实时结果集；

数据合并模块，当所述查询函数满足预设条件时，合并所述历史结果集合所述实时结果集，以获得最终数据集。

优选的，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。

本发明针对车船位置信息数据整合和存储难的问题，提出使用分层存储的方式对车船位置信息数据进行存储，首先对车船位置信息数据进行整合，数据来源主要来源于5种平台提供的服务，建立一个独立的车船位置服务平台整合以上各数据源，使用该分成存储的方法，数据查询复杂度为O(1)，查询速度会非常快。

附图说明

图1为本发明的车船位置服务平台的数据来源结构图；

图2是本发明的分层存储位置数据的结构图。

具体实施方式

结合附图对本发明实施例一种应用程序推荐方法及装置进行详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

术语说明：

(1)809协议，该标准规定了道路运输车辆卫星定位系统监管/监控平台之间数据交换的技术要求，包括通信方式、安全认证、功能实现流程、协议消息格式和数据实体格式等内容，该标准适用于道路运输车辆卫星定位系统监管/监控平台之间的数据交换；

(2)808协议，该标准规定了道路运输车辆卫星定位系统车载终端与监管/监控平台之间的通讯协议与数据格式，包括协议基础、通信连接、消息处理、协议分类与说明及数据格式，本标准适用于道路运输车辆卫星定位系统车载终端和平台之间的通信；

(2)MapReduce，是一种编程模型，用于大规模数据集的并行运算。

本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。

实施例1：

本发明提供了一种基于车船位置服务平台的位置数据处理方法及系统，具体如下：

车船位置服务平台整合所述车船位置信息数据，其记录车船的静态数据以及货物运输集配电子商务平台和全息地图应用平台车船位置信息数据；所述货物运输集配电子商务平台和全息地图应用平台需要位置查询服务时，通过所述车船位置服务平台提供的服务接口获取车船位置信息数据并进行处理。

如图1所述车船位置信息数据来源于至少以下5种应用所提供的服务：

1)通过电信基站或大网定位采集的手机位置信息，货物运输集配平台使用通过调用电信内部的定位接口实现定位服务，因此只能定位车船的手机终端，并且只适合于在需要时定位当前的车船手机终端的车船位置信息数据，而不太适合记录车船的历史位置信息数据。

2)自营的北斗车辆监控平台：车载北斗终端通过相关运营商服务网络每半分钟向国家货运平台发送一次位置信息，报文以部颁808通讯协议为标准发送，内容包括时间、经度、纬度、油耗、速度等，国家货运平台收到报文后以部颁809协议标准向自营的北斗车辆监控平台透传该报文。

3)交通部国家货运平台：提供已经安装北斗定位终端的车船会员的车牌号清单给国家货运平台，国家货运平台通过部颁809协议传给车船位置服务平台。

4)海事AIS(自动识别系统)船舶定位平台：海事AIS船舶定位平台提供实时AIS船舶定位信息给车船位置服务平台，平台实时接收海事平台船舶位置数据报文，并按报文规则解析后存储在数据库中。

5)整合的其他北斗运营商车辆监控平台：合作的第三方北斗运营平台通过部颁809协议向车船位置服务平台传送车船位置信息数据，传送方法为第三方北斗运营平台用户终端先向国家货运平台发送车船位置信息数据，国家货运平台以部颁809协议透传给该第三方北斗运营平台，该平台以同样的的方式传送给车船位置服务平台。

处理车船位置信息数据方式可以为：

存储具备车船北斗定位终端的车船位置信息到数据库，每个所述车船北斗定位终端的存储车船位置信息格式为Loc(id,time,lng,lat,head,vel)，其中id代表所述车船北斗定位终端对应的车辆或者船舶的唯一标识符，time代表所述车船北斗定位终端对应的车辆或者船舶运行的实时时间，lng,lat代表某一时刻车辆或者船舶对应的经度和纬度，head代表所述车船北斗定位终端对应的车辆或者船舶运行的方向，vel代表所述车船北斗定位终端对应的车辆或者船舶在某一个时刻的速度；

对多个车船不同时刻的位置信息在数据库中保存，该高维线型数据的形式为：

id₁,time₁₁,lng₁₁,lat₁₁,vel₁₁

id₁,time₁₂,lng₁₂,lat₁₂,vel₁₂

id₁,time₁₃,lng₁₃,lat₁₃,vel₁₃

id₁,time_1n,lng_1n,lat_1n,vel_1n

id_m,time_m1,lng_m1,lat_m1,vel_m1

id_m,time_m2,lng_m2,lat_m2,vel_m2

id_m,time_mn,lng_mn,lat_mn,vel_mn

m表示所述车船北斗定位终端对应的车辆或者船舶的数量；

n是从当天存储车船位置信息数据的时间的表示到一预设时间内内存储车船位置信息数据的时间的表示，这一预设时间可以是例如6个月等。

所述存储上述车船位置信息数据的频率为每1分钟更新一次数据库数据；当然，该频率更新时间可以依据需要及系统性能等，设置为其他时长，例如5分钟、30秒等等。

该种处理方式存在弊端，以车辆北斗终端为例，如果有100万个车辆北斗终端，每个终端每分钟上传1条报文，则每天需记录：

1000000*24*60＝1440000000

即14亿多条数据，如果不对数据做特殊处理，一般关系型数据库连存储一天的数据都较为困难。

实施例2：

为了解决对系统数据库以及整个车船位置服务平台的压力，在又一个实施例中，可以采用分层存储的方式处理车船位置数据，如图2所示，具体步骤为：

步骤1：存储车船位置数据，将接收的最新的同一时刻具有车船北斗定位终端的所述车船位置数据存储到实时数据层，并循环存储下一时刻的数据，当存储到达到数据库的IO瓶颈时，也即预设的条件时，将所述实时数据层的所述车船位置信息数据批量转移到历史数据层；

处理达到数据库的IO瓶颈的所述的车船位置数据的时机可以为一下的一种或者其组合的方式：

1)定时导入，即将存储到所述数据层的一个小时的所述信息数据导入历史

数据层一次，先把所述信息数据批量转移到备用数据集中，再将所述备用

数据集中的所述信息数据导入到所述历史数据层中，防止所述实时数据层

被脏读脏写；

2)根据字符串大小，即判断接收到的字符串的数据大小是否超过10K，将

超过10K的字符串信息数据导入历史数据层；

3)固定条数，即判断接收到100条信息数据时，数据量大小是否超过1M，

将超过1M的所述100条信息数据导入到历史数据层；

步骤2：使用MapReduce在数据层上构建结果集，即在所述历史数据层上预先计算查询函数Query＝Function(AllData)，在历史数据层上计算并保存所述查询函数的结果为HisResult(历史结果集)，同样的，在所述实时数据层上得到针对查询预先计算并保存的结果RealResult(实时结果集)；

步骤3：所述查询函数Query满足Monoid性质时，合并所述HisResult和RealResult到最终的数据集，并且所述最终数据集在服务层，该层用于用户查询和搜索。

如果查询函数满足Monoid性质，如果满足结合率，则合并HisResult和RealResult，否则，把查询函数转换成多个满足Monoid性质的查询函数的运算，单独对每个满足Monoid性质的查询函数进行HisResult和RealResult合并，再计算得到最终的结果数据集；也可以根据车船运行的特性，运用车船在某地运行的规则来对HisResult和RealResult合并；即可将计算分解到多台服务器并行运算或结合各自的部分运算结果得到最终结果或部分运算结果可储存下来被别的运算共享利用。

由于固定时间记录一次所述车船位置信息数据，则所有的所述车船位置信息数据格式id,time,lng,lat,vel长度固定，优先的，可以不记录时间time，所述车船位置信息数据格式为id,lng,lat,vel，这样每条车辆记录均变成等长数组，位置信息在时间轴上顺次展开。

通过所述车船位置信息数据可以挖掘分析车船运行行为，并在实际运行中不断优化行为模型，找出车船运行的规律；根据车船运行的位置信息数据id,time,lng,lat,vel，分析出车、船从A地到B地的常态；根据是否长停、停留时间来分析是空车还是实载，车船在某一地停驶30分钟以上可认定为装卸货有效停留，在某一地停驶3分钟可解析为驾驶员有其他事情处理为无效停留。

实施例3：

在又一个具体的实施例中，本发明还提供了一种车船位置数据存储系统，该系统包括：

数据采集部，用于采集实体位置数据并对所述位置数据预处理，所述实体位置信息数据至少包括车船位置信息数据；

存储部，用于通过分层存储的方式，存储处理后的所述车船位置数据。优选地，所述存储部分为实时数据存储部和历史数据存储部，所述实时数据存储部用于存储实时数据，所述历史数据存储部用于存储历史数据。

更为具体地，所述存储部进一步包括：

数据导入模块，将接收的最新的同一时刻的所述车船位置信息数据存储到实时数据层，并循环存储下一时刻的车船位置信息数据，当存储达到预设条件时，将所述实时数据层的所述车船位置信息数据批量转移到历史数据层；

结果集生成模块，依据查询函数，在所述实时数据层以及所述历史数据层上预先计算并保存查询结构，以在所述历史数据层上构建历史结果集，并在所述实时数据层上构建实时结果集；

数据合并模块，当所述查询函数满足预设条件时，合并所述历史结果集合所述实时结果集，以获得最终数据集。

上述各模块在进行数据的存储时，可以采用如实施例2所述的具体方法，或采用其他等同或相似的方法实现。

上述各模块中的具体数据的存储形式或格式，可以采用例如实施例1中所述的具体方法，或采用其他等同或相似的方法实现。

在一个优选的实施例中，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种车船位置数据存储方法，其特征在于，所述方法包括：

步骤1、车船位置服务平台采集车船位置数据并进行预处理；

步骤2、通过分层存储的方式，存储所述处理后的车船位置数据；所述分层存储分为实时数据层和历史数据层；在所述实时数据层和所述历史数据层分别执行查询函数。

2.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括：

步骤201、存储所述车船位置数据，将接收的最新的同一时刻的所述车船位置数据存储到实时数据层，并循环存储下一时刻的车船位置数据，当存储达到预设条件时，将所述实时数据层的所述车船位置数据批量转移到历史数据层；

步骤202、依据查询函数，在所述实时数据层以及所述历史数据层上预先计算并保存查询结构，以在所述历史数据层上构建历史结果集，并在所述实时数据层上构建实时结果集；

步骤203、当所述查询函数满足预设条件时，合并所述历史结果集合和所述实时结果集，以获得最终数据集。

3.根据权利要求2所述的方法，其特征在于，所述步骤201中所述预设条件至少是以下的一种或其任意组合：

存储时数据导入的时间长度达到预设时间长度；导入数据的字符串长度达到预设值；导入的数据条数达到预设值；将数据量大小超过预设值的前L条数据导入到历史数据层，L为大于等于1的自然数。

4.根据权利要求2所述的方法，其特征在于，所述步骤203中，所述查询函数满足的预设条件为：

可将计算分解到多台服务器并行运算；可结合各自的部分运算结果得到最终结果；部分运算结果可储存下来被别的运算共享利用。

5.根据权利要求1所述的方法，其特征在于，依据所述车船位置信息数据分析车船运行行为，建立车船运行行为模型。

6.根据权利要求1所述的方法，其特征在于，所述车船位置数据来源于以下至少之一：全国货运服务平台、海事船舶定位平台、电信基站、大网定位采集的手机位置信息、北斗车辆监控平台、GPS监控平台。

7.根据权利要求1所述的方法，其特征在于，所述车船位置数据格式及长度相同。

8.一种车船位置数据存储系统，其特征在于，所述系统包括：

数据采集部，用于采集实体位置数据并对所述位置数据预处理，所述实体位置数据至少包括车船位置信息数据；

存储部，用于通过分层存储的方式，存储所述车船位置信息数据；所述存储部分为实时数据存储部和历史数据存储部，所述实时数据存储部用于存储实时数据，所述历史数据存储部用于存储历史数据。

9.根据权利要求8所述的系统，其特征在于，所述存储部进一步包括：

数据导入模块，将接收的最新的同一时刻的所述车船位置信息数据存储到实时数据层，并循环存储下一时刻的车船位置信息数据，当存储达到预设条件时，将所述实时数据层的所述车船位置信息数据批量转移到历史数据层；

结果集生成模块，依据查询函数，在所述实时数据层以及所述历史数据层上预先计算并保存查询结构，以在所述历史数据层上构建历史结果集，并在所述实时数据层上构建实时结果集；

数据合并模块，当所述查询函数满足预设条件时，合并所述历史结果集合所述实时结果集，以获得最终数据集。

10.根据权利要求8所述的系统，其特征在于，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。