CN102542026B - 一种海量gps数据存取方法及系统 - Google Patents

一种海量gps数据存取方法及系统 Download PDF

Info

Publication number
CN102542026B
CN102542026B CN 201110434783 CN201110434783A CN102542026B CN 102542026 B CN102542026 B CN 102542026B CN 201110434783 CN201110434783 CN 201110434783 CN 201110434783 A CN201110434783 A CN 201110434783A CN 102542026 B CN102542026 B CN 102542026B
Authority
CN
China
Prior art keywords
gps
data
elongated
length
ride
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110434783
Other languages
English (en)
Other versions
CN102542026A (zh
Inventor
洪军
张先助
程国星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ChinaGPS Co Ltd Shenzhen
Original Assignee
ChinaGPS Co Ltd Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ChinaGPS Co Ltd Shenzhen filed Critical ChinaGPS Co Ltd Shenzhen
Priority to CN 201110434783 priority Critical patent/CN102542026B/zh
Publication of CN102542026A publication Critical patent/CN102542026A/zh
Application granted granted Critical
Publication of CN102542026B publication Critical patent/CN102542026B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Fixing By Use Of Radio Waves (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种海量GPS数据存取方法及系统。所述海量GPS数据存取方法包括：接收单元接收GPS车载终端上报的GPS数据；将GPS数据分为GPS定长数据和GPS变长数据存储到存储单元中；查询请求接收单元接收客户的查询请求；根据查询请求在存储单元中查找GPS定长数据和GPS变长数据，将GPS定长数据和GPS变长数据组合成一条完整数据输出。采用本发明的海量GPS数据存取方法及系统具有以下有益效果：将GPS数据分成定长数据和变长数据存储，可有效的节约存储空间，且在查询时根据变长数据偏移量和变长数据长度，方便变长数据的查询。

Description

一种海量GPS数据存取方法及系统
技术领域
本发明涉及数据处理领域，更具体地说，涉及一种海量GPS数据存取方法及系统。
背景技术
在GPS导航系统中，GPS数据量太大，车载终端按照设定的周期定期上报数据，比如10秒钟上报一次，则一天就有8640条数据，在车载终端数量多时，该上报数据量非常庞大，GPS数据服务器在达到一定数据量后关系数据库查询会变得很慢，造成查询效率严重低下，有时候数据库服务器CPU使用率达到100％，也影响其他业务数据存储和查询。一条GPS数据可分为定长和不定长两类，对于经纬度、速度、方向等可以组织为定长数据，参考位置等文字描述信息可组织为变长数据。采用定长数据结构存储可以很容易定位到一条记录的开始部分，查询起来也是很方便，也很方便统计记录的总条数，但是，对于像参考位置这样的文字描述信息，采用定长结构存储会浪费很大的存储空间。
发明内容
本发明要解决的技术问题在于如何提高海量GPS数据的定长数据和变长数据的存取，节约存储空间且方便查询，提供一种海量GPS数据存取方法及系统。
本发明解决其技术问题所采用的技术方案是：提供一种海量GPS数据存储方法及系统。
本发明提供一种海量GPS数据存取方法，用于处理GPS服务器从GPS车载终端接收到的海量GPS数据，该GPS服务器包括接收单元、解析单元、存储单元、查询请求接收单元、读取单元、输出单元，所述接收单元与GPS车载终端通信连接，包括以下步骤：
S10、接收单元接收GPS车载终端上报的GPS数据；所述GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据；
S11、解析单元对接收到的GPS数据进行解析，得到上报时间、车台唯一编号、GPS定长数据、GPS变长数据；
S12、将GPS变长数据存储到以上报时间为目录、车台唯一编号为文件名的变长文件中，所述变长文件存储到存储单元中，同时记录下GPS变长数据的偏移量，所述变长文件存储到存储单元中；将GPS定长数据、GPS变长数据长度、GPS变长数据偏移量存储到以上报时间为目录、车台唯一编号为文件名的定长文件中，所述定长文件存储到存储单元中；所述变长文件和定长文件以不同的后缀名区分开；
S13、查询请求接收单元接收客户的查询请求，所述查询请求包括查询时间和车台唯一编号；
S14、读取单元根据查询请求接收单元接收的查询时间和车台唯一编号，在存储单元的定长文件中获取GPS定长数据、GPS变长数据长度、GPS变长数据偏移量，再根据GPS变长数据长度、GPS变长数据偏移量在存储单元的变长文件中读取GPS变长数据；
S15、输出单元将读取的GPS定长数据和GPS变长数据合并成一条数据输出。
在本发明的海量GPS数据存取方法中，所述GPS定长数据包括经纬度、速度、方向，所述GPS变长数据包括参考位置信息、车辆状态。
本发明还提供一种海量GPS数据存取系统，包括接收单元：用于接收车载终端发送过来的GPS数据，所述GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据；解析单元：与所述接收单元连接，用于对接收单元接收的GPS数据进行解析，得到上报时间、车台唯一编号、GPS定长数据、GPS变长数据、GPS变长数据长度、GPS变长数据偏移量；存储单元：与解析单元连接，用于存储GPS数据；查询请求接收单元，用于接收查询请求，所述查询请求包括查询时间和车台唯一编号；读取单元分别与查询请求接收单元、存储单元连接，用于根据查询请求在存储单元读取数据；输出单元：与读取单元连接，用于将读取结果合并输出。
在本发明的海量GPS数据存取系统中，所述存储单元用于存储以上报时间为目录、车台唯一编号为文件名、后缀名不一样的定长文件和变长文件，所述定长文件存储GPS定长数据、GPS变长数据长度、GPS变长数据偏移量；所述变长文件存储GPS变长数据。在本发明的海量GPS数据存取系统中，GPS定长数据包括经纬度、速度、方向，所述GPS变长数据包括参考位置信息、车辆状态。
实施本发明的海量GPS数据存取方法及系统，具有以下有益效果：将GPS数据分成定长数据和变长数据存储，可有效的节约存储空间，且在查询时根据变长数据偏移量和变长数据长度，方便变长数据的查询。使用本发明的海量GPS数据存取方法及系统即可以方便查询又可以最大限度的节约空间。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明海量GPS数据存取方法的流程图；
图2是本发明海量GPS数据存取方法中存储具体流程图；
图3是本发明海量GPS数据存取方法中查询具体流程图；
图4是本发明海量GPS数据存取系统结构图。
具体实施方式
为了使本发明的目的更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1、图4所示，在本发明的海量GPS数据存取方法中，用于处理GPS服务器从GPS车载终端接收到的海量GPS数据，该GPS服务器包括接收单元10、解析单元11、存储单元12、查询请求接收单元13、读取单元14、输出单元15，接收单元10与GPS车载终端通信连接，包括以下步骤：
S1、接收单元10接收GPS车载终端上报的GPS数据；
S2、将GPS数据分为GPS定长数据和GPS变长数据存储到存储单元12中；
S3、查询请求接收单元13接收客户的查询请求；
S4、根据查询请求在存储单元12中查找GPS定长数据和GPS变长数据。
该GPS数据还包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据。
如图2所示，海量GPS数据存取方法中的数据存储具体过程如下：
S20、接收单元10接收GPS车载终端上报的GPS数据；GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据；
S21、解析单元11对接收到的GPS数据进行解析，得到上报时间、车台唯一编号、GPS变长数据、GPS定长数据；
S22、将GPS变长数据存储到以上报时间为目录、车台唯一编号为文件名的变长文件中，同时记录下GPS变长数据的偏移量，变长文件存储到存储单元12中；
S23、将GPS变长数据长度、GPS变长数据偏移量及GPS定长数据写入以上报时间为目录、车台唯一编号为文件名的定长文件中，定长文件存储到存储单元12中，该定长文件和变长文件以不同的后缀名区分开。
GPS定长数据包括经纬度、速度、方向等，GPS变长数据包括参考位置信息、车辆状态等。
在具体工作中，GPS车载终端与接收单元10通信连接，GPS车载终端按照设定的时间周期定时上报GPS数据，比如10秒钟上报一条GPS数据，该GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据，解析单元11将接收到的GPS定长数据、GPS变长数据分别存储到以上报时间为目录、车台唯一编号为文件名的定长文件和变长文件中，定长文件和变长文件以不同的后缀名处分开。定长文件和变长文件存储在存储单元12中，定长文件同时保存GPS变长数据的偏移量和长度，方便变长数据的查询。采用GPS变长数据和GPS定长数据分开存储，使GPS变长数据按照实际需要存储，而不需预先固定很大的存储空间，可有效的节约存储空间。采用定长数据结构存储可以很容易定位到一条记录的开始部分，查询起来会很方便，也很方便统计记录的总条数，总条数等于定长文件的总长度除以每一条GPS定长数据的长度(GPS定长数据的长度可按实际需要设定)。
如图3所示，海量GPS数据存取方法中的数据查询具体过程如下：
S30、查询请求接收单元13接收查询请求，查询请求包括查询时间和车台唯一编号；
S31、读取单元14根据查询时间和车台唯一编号在存储单元12的定长文件中读取GPS变长数据长度、GPS变长数据偏移量、GPS定长数据；
S32、读取单元14再根据GPS变长数据长度、GPS变长数据偏移量在存储单元12的变长文件中读取GPS变长数据；
S33、输出单元15将GPS定长数据和GPS变长数据组成一条完整的数据输出。
在具体查询过程中，接收客户查询请求的查询时间和车台唯一编号先在存储单元12的定长文件中查找到GPS定长数据、GPS变长数据长度、GPS变长数据偏移量，然后再在存储单元12的变长文件中查找到GPS变长数据，再将GPS定长数据和GPS变长数据组合成一条完整的数据输出。定长文件和变长文件通过相同文件名称(以相同的上报时间命名的目录下，以车台唯一编号作为文件名、后缀名不同的定长文件和变长文件)以及定长文件中记录的GPS变长数据偏移量及GPS变长数据长度关联起来，即可以方便查询又不至于浪费太多的存储空间，提高查询效率。
本发明还提供一种海量GPS数据存取系统，包括接收单元10：用于接收车载终端发送过来的GPS数据，GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据；解析单元11：与接收单元10连接，用于对接收单元接收的GPS数据进行解析，得到上报时间、车台唯一编号、GPS定长数据、GPS变长数据、GPS变长数据长度、GPS变长数据偏移量；存储单元12：与解析单元11连接，用于存储GPS数据；查询请求接收单元13，用于接收查询请求，查询请求包括查询时间和车台唯一编号；读取单元14分别与查询请求接收单元13、存储单元12连接，用于根据查询请求在存储单元12读取数据；输出单元15：与读取单元14连接，用于将读取结果合并输出。存储单元用于存储以上报时间为目录、车台唯一编号为文件名、后缀名不一样的定长文件和变长文件，定长文件存储GPS定长数据、GPS变长数据长度、GPS变长数据偏移量；变长文件存储GPS变长数据。GPS定长数据包括经纬度、速度、方向等，GPS变长数据包括参考位置信息、车辆状态等。
在具体实施过程中，GPS定长数据包括表1所示内容：
表1
Figure BDA0000123655430000061
在具体实施过程中，GPS变长数据包括表2所示内容：
表2
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种海量GPS数据存取方法，用于处理GPS服务器从GPS车载终端接收到的海量GPS数据，该GPS服务器包括接收单元（10）、解析单元（11）、存储单元(12)、查询请求接收单元(13)、读取单元（14）、输出单元(15)，所述接收单元（10）与GPS车载终端通信连接，其特征在于，包括以下步骤：
S10、接收单元(10)接收GPS车载终端上报的GPS数据；所述GPS数据包括上报时间、车台唯一编号、除上报时间和车台唯一编号的GPS定长数据、除上报时间和车台唯一编号的GPS变长数据；
S11、解析单元(11)对接收到的GPS数据进行解析，得到上报时间、车台唯一编号、除上报时间和车台唯一编号的GPS定长数据、除上报时间和车外唯一编号的GPS变长数据；
S12、将所述除上报时间和车台唯一编号的GPS变长数据存储到以上报时间为目录、车台唯一编号为文件名的变长文件中，同时记录下GPS变长数据的偏移量，所述变长文件存储到存储单元（12）中；将所述除上报时间和车台唯一编号的GPS定长数据、GPS变长数据长度、GPS变长数据偏移量存储到以上报时间为目录、车台唯一编号为文件名的定长文件中，所述定长文件存储到存储单元（12）中；所述变长文件和定长文件以不同的后缀名区分开；
S13、查询请求接收单元(13)接收客户的查询请求，所述查询请求包括查询时间和车台唯一编号；
S14、读取单元（14）根据查询请求接收单元(13)接收的查询时间和车台唯一编号，在存储单元（12）的定长文件中获取GPS定长数据、GPS变长数据长度、GPS变长数据偏移量，再根据GPS变长数据长度、GPS变长数据偏移量在存储单元（12）的变长文件中读取GPS变长数据；
S15、输出单元（15）将读取的GPS定长数据和GPS变长数据合并成一条数据输出。
2.根据权利要求1所述的海量GPS数据存取方法，其特征在于，所述GPS定长数据包括经纬度、速度、方向，所述GPS变长数据包括参考位置信息、车辆状态。
3.一种海量GPS数据存取系统，其特征在于，包括：
接收单元（10）：用于接收车载终端发送过来的GPS数据，所述GPS数据包括上报时间、车台唯一编号、除上报时间和车台唯一编号的GPS定长数据、除上报时间和车台唯一编号的GPS变长数据；解析单元(11)：与所述接收单元(10)连接，用于对接收单元接收的GPS数据进行解析，得到上报时间、车台唯一编号、除上报时间和车台唯一编号的GPS定长数据、除上报时间和车台唯一编号的GPS变长数据、GPS变长数据长度、GPS变长数据偏移量；存储单元（12）：与解析单元（11）连接，用于存储GPS数据；查询请求接收单元(13)，用于接收查询请求，所述查询请求包括查询时间和车台唯一编号；读取单元（14）分别与查询请求接收单元(13)、存储单元（12）连接，用于根据查询请求在存储单元（12）读取数据；输出单元(15)：与读取单元（14）连接，用于将读取结果合并输出；
进一步的，所述存储单元（12）用于存储以上报时间为目录、车台唯一编号为文件名、后缀名不一样的定长文件和变长文件，所述定长文件存储除上报时间和车台唯一编号的GPS定长数据、GPS变长数据长度、GPS变长数据偏移量，所述变长文件存储除上报时间和车台唯一编号的GPS变长数据。
4.根据权利要求3所述的海量GPS数据存取系统，其特征在于，GPS定长数据包括经纬度、速度、方向，所述GPS变长数据包括参考位置信息、车辆状态。
CN 201110434783 2011-12-22 2011-12-22 一种海量gps数据存取方法及系统 Expired - Fee Related CN102542026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110434783 CN102542026B (zh) 2011-12-22 2011-12-22 一种海量gps数据存取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110434783 CN102542026B (zh) 2011-12-22 2011-12-22 一种海量gps数据存取方法及系统

Publications (2)

Publication Number Publication Date
CN102542026A CN102542026A (zh) 2012-07-04
CN102542026B true CN102542026B (zh) 2013-07-24

Family

ID=46348908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110434783 Expired - Fee Related CN102542026B (zh) 2011-12-22 2011-12-22 一种海量gps数据存取方法及系统

Country Status (1)

Country Link
CN (1) CN102542026B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810188B (zh) * 2012-11-08 2017-05-10 腾讯科技（深圳）有限公司 一种微博用户行为评估方法和装置
CN103063929A (zh) * 2013-01-05 2013-04-24 苏州市静电设备研究所有限责任公司 一种油品电导率测定仪系统
CN104599341B (zh) * 2013-10-31 2017-02-15 深圳市赛格导航科技股份有限公司 一种汽车定位信息存储方法及装置
CN104158757B (zh) * 2014-08-21 2017-07-07 福建星海通信科技有限公司 一种gps数据入库处理方法和系统
BR112017027933A2 (zh) 2015-07-29 2018-08-28 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system for determining transportation service cost
CN106997620A (zh) * 2016-01-26 2017-08-01 滴滴（中国）科技有限公司 基于gps数据点的计费方法和装置
CN107092607B (zh) * 2016-02-18 2021-04-23 中国移动通信集团安徽有限公司 一种话单入库方法及装置
CN105975626B (zh) * 2016-05-27 2019-12-27 海尔优家智能科技（北京）有限公司 一种设备地理位置信息的编码方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101469989A (zh) * 2007-12-29 2009-07-01 厦门雅迅网络股份有限公司 一种手机网络导航中导航数据的压缩方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101469989A (zh) * 2007-12-29 2009-07-01 厦门雅迅网络股份有限公司 一种手机网络导航中导航数据的压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于云计算的车载GPS导航终端的研究与设计;宫彦磊;《中国优秀硕士学位论文全文数据库》;20111216;第2.3节，第3.4节 *
宫彦磊.基于云计算的车载GPS导航终端的研究与设计.《中国优秀硕士学位论文全文数据库》.2011,第2.3节，第3.4节.

Also Published As

Publication number Publication date
CN102542026A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
CN102542026B (zh) 一种海量gps数据存取方法及系统
CN107818115B (zh) 一种处理数据表的方法及装置
CN104252536B (zh) 一种基于hbase的上网日志数据查询方法及装置
CN106528787B (zh) 一种基于海量数据多维分析的查询方法及装置
CN106528847A (zh) 一种海量数据的多维度处理方法及系统
CN103530378A (zh) 数据分页查询与数据库的构建的方法与装置
CN100543750C (zh) 一种基于web应用的矩阵式数据缓存方法及装置
CN102495848B (zh) 一种海量gps数据处理方法及系统
CN102841860A (zh) 一种大数据量信息存储与访问方法
CN102375852A (zh) 建立数据索引的方法、利用该索引查询数据的方法和系统
CN103744913A (zh) 一种基于搜索引擎技术的数据库检索方法
CN102737133B (zh) 一种实时搜索的方法
CN102880541A (zh) 日志信息的获取系统和获取方法
CN102867070A (zh) 更新key-value分布式存储系统缓存的方法
CN105512320A (zh) 一种用户排名获得方法、装置及服务器
CN108319608A (zh) 访问日志存储查询的方法、装置及系统
CN103036921B (zh) 一种用户行为分析系统和方法
CN105630934A (zh) 一种数据统计方法及系统
CN102486775B (zh) 业务数据的查询方法及装置
CN102411617A (zh) 一种对海量url进行存储和查询方法
CN104008134A (zh) 基于HBase的高效存储方法及系统
CN103440249A (zh) 一种非结构化数据快速检索的系统及方法
CN104156482A (zh) 一种地图瓦片数据的发布方法
CN107330024A (zh) 标签系统数据的存储方法和装置
CN104331432A (zh) 一种适用于截面访问模式的电网海量时序数据存取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130724

CF01 Termination of patent right due to non-payment of annual fee