CN104598574A - 一种海量gps数据存储的方法及装置 - Google Patents

一种海量gps数据存储的方法及装置 Download PDF

Info

Publication number
CN104598574A
CN104598574A CN201510016351.6A CN201510016351A CN104598574A CN 104598574 A CN104598574 A CN 104598574A CN 201510016351 A CN201510016351 A CN 201510016351A CN 104598574 A CN104598574 A CN 104598574A
Authority
CN
China
Prior art keywords
data
queue
gps data
queuing
gps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510016351.6A
Other languages
English (en)
Inventor
贺建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Original Assignee
BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd filed Critical BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority to CN201510016351.6A priority Critical patent/CN104598574A/zh
Publication of CN104598574A publication Critical patent/CN104598574A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Abstract

本发明提供了一种海量GPS数据存储的方法及装置，所述方法包括：接收上报的GPS数据；依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据，同时在内存数据库中记录所述GPS数据的业务类型和数据总数；消费者线程读取所述队列数据，将所述队列数据持久化。通过本发明提供的一种海量GPS数据存储的方法及装置，可以在正常采集GPS数据的同时，实时查询GPS数据的采集进度，并且完成对GPS数据的容灾处理。

Description

一种海量GPS数据存储的方法及装置
技术领域
本申请涉及数据处理技术领域，特别涉及一种海量GPS数据存储的方法及装置。
背景技术
随着科学技术的发展和车辆的普及，GPS在生活中应用越来越广泛，GPS导航设备逐渐成为汽车行业很重要的一款设备，可以准确定位车辆位置。
同时，整个系统接入的GPS设备数量众多，GPS按照设定的周期上报行车轨迹、上下线、通用应答等数据，为提高定位的准确性，设定的周期非常短，进而产生海量GPS数据，存储海量GPS数据成为困难。
目前，将海量GPS数据存储在Hadoop(能够对大量数据进行分布式处理的软件框架)和HBase(开源的非关系型分布式数据库)组成的系统中。
但是，在高并发场景下，无法实时监控上报的业务数据类型，上报进度及图形化展示统计指标，一旦服务异常或者因升级需要重启服务，会导致部分数据丢失。
发明内容
本申请的目的在于，提供一种海量GPS数据存储的方法及装置，以解决上述技术的问题，具体方案包括：
一方面，本发明实施例提供了一种海量GPS数据存储的方法，包括：
接收上报的GPS数据；
依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据，同时在内存数据库中记录所述GPS数据的业务类型和数据总数；
消费者线程读取所述队列数据，将所述队列数据持久化。
优选地，在所述接收上报的GPS数据之前还包括:
通讯服务解析808协议。
优选地，所述依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据具体包括：
依据预设的阻塞队列阈值，判断当前阻塞队列数量是否小于所述预设的阻塞队列阈值，若小于，将所述GPS数据写入队列，生成队列数据；
若大于等于，则判断阻塞队列是否满足写入队列条件；若满足，则将所述GPS数据写入队列，生成队列数据。
优选地，在所述接收上报的GPS数据之后还包括：
更新数据采集进度表，在所述数据采集进度表中标记增加一条数据。
另一方面，本发明实施例提供了一种海量GPS数据存储的装置，包括：
数据接收模块，用于接收上报的GPS数据；
队列数据生成模块，用于依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据，同时在内存数据库中记录所述GPS数据的业务类型和数据总数；
队列数据持久化模块，用于消费者线程读取所述队列数据，将所述队列数据持久化。
优选地，所述装置还包括，协议解析模块，用于通讯服务解析808协议。
优选地，队列数据生成模块，具体用于依据预设的阻塞队列阈值，判断当前阻塞队列数量是否小于所述预设的阻塞队列阈值，若小于，将所述GPS数据写入队列，生成队列数据；若大于等于，则判断阻塞队列是否满足写入队列条件；若满足，则将所述GPS数据写入队列，生成队列数据。
优选地，所述装置还包括：更新模块，用于更新数据采集进度表，在所述数据采集进度表中标记增加一条数据。
与现有技术相比，本发明实施例提供的一种海量GPS数据存储的方法及装置，包括以下优点：
通过本发明提供的一种海量GPS数据存储的方法及装置，可以在正常采集GPS数据的同时，实时查询GPS数据的采集进度，并且完成对GPS数据的容灾处理。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种海量GPS数据存储的方法的流程示意图；
图2为本发明实施例二提供的一种海量GPS数据存储的方法的流程示意图；
图3为本发明实施例三提供的一种海量GPS数据存储的装置的结构示意图；
图4为本发明实施例四提供的一种海量GPS数据存储的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本发明实施例提供了一种海量GPS数据存储的方法，如图1所示，包括以下步骤S101-S107：
S101，接收上报的GPS数据。
S102，依据预设的阻塞队列阈值和写入队列的条件，将GPS数据写入队列，生成队列数据，同时在内存数据库中记录GPS数据的业务类型和数据总数；
S103，消费者线程读取队列数据，将队列数据持久化。
优选地是，在接收上报的GPS数据之后还包括：更新数据采集进度表，在数据采集进度表中标记增加一条数据。
通过本发明提供的一种海量GPS数据存储的方法，可以在正常采集GPS数据的同时，实时查询GPS数据的采集进度，并且完成对GPS数据的容灾处理。
实施例二
本发明实施例二公开了一种海量GPS数据存储的方法，如图2所示，包括以下步骤:
步骤S201，通讯服务解析808协议。
步骤S202，接收上报的GPS数据。
步骤S203，依据预设的阻塞队列阈值，判断当前阻塞队列数量是否小于预设的阻塞队列阈值，若小于，则执行步骤S206。若大于等于，则执行步骤S204。
步骤S204，判断阻塞队列是否满足写入队列条件；若满足，则执行步骤S205。
步骤S205，判断阻塞队列是否满足写入队列条件
步骤S206，则将GPS数据写入队列，生成队列数据。
步骤S208，消费者线程读取队列数据，将队列数据持久化。
通过本发明提供的一种海量GPS数据存储的装置，可以在正常采集GPS数据的同时，实时查询GPS数据的采集进度，并且完成对GPS数据的容灾处理。
实施例三
本发明实施例提供了一种海量GPS数据存储的装置，如图3所示，包括：数据接收模块31、队列数据生成模块32和队列数据持久化模块33。其中，
数据接收模块31，用于接收上报的GPS数据；队列数据生成模块32，用于依据预设的阻塞队列阈值和写入队列的条件，将GPS数据写入队列，生成队列数据，同时在内存数据库中记录GPS数据的业务类型和数据总数；队列数据持久化模块33，用于消费者线程读取队列数据，将队列数据持久化。
通过本发明提供的一种海量GPS数据存储的装置，可以在正常采集GPS数据的同时，实时查询GPS数据的采集进度，并且完成对GPS数据的容灾处理。
实施例四
本发明实施例四公开了一种海量GPS数据存储的方法及装置，如图4所示，包括：协议解析模块41、数据接收模块42、队列数据生成模块43、队列数据持久化模块44和更新模块45
协议解析模块41，用于通讯服务解析808协议。数据接收模块42，用于接收上报的GPS数据。队列数据生成模块43，用于依据预设的阻塞队列阈值，判断当前阻塞队列数量是否小于预设的阻塞队列阈值，若小于，将GPS数据写入队列，生成队列数据；若大于等于，则判断阻塞队列是否满足写入队列条件；若满足，则将GPS数据写入队列，生成队列数据。队列数据持久化模块44，用于消费者线程读取队列数据，将队列数据持久化。更新模块45，用于更新数据采集进度表，在数据采集进度表中标记增加一条数据。
通过本发明提供的一种海量GPS数据存储的装置，可以在正常采集GPS数据的同时，实时查询GPS数据的采集进度，并且完成对GPS数据的容灾处理。
请注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种海量GPS数据存储的方法，其特征在于，包括：
接收上报的GPS数据；
依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据，同时在内存数据库中记录所述GPS数据的业务类型和数据总数；
消费者线程读取所述队列数据，将所述队列数据持久化。
2.根据权利要求1所述的方法，其特征在于，在所述接收上报的GPS数据之前还包括:
通讯服务解析808协议。
3.根据权利要求1所述的方法，其特征在于，所述依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据具体包括：
依据预设的阻塞队列阈值，判断当前阻塞队列数量是否小于所述预设的阻塞队列阈值，若小于，将所述GPS数据写入队列，生成队列数据；
若大于等于，则判断阻塞队列是否满足写入队列条件；若满足，则将所述GPS数据写入队列，生成队列数据。
4.根据权利要求1所述的方法，其特征在于，在所述接收上报的GPS数据之后，还包括：
更新数据采集进度表，在所述数据采集进度表中标记增加一条数据。
5.一种海量GPS数据存储的装置，其特征在于，包括：
数据接收模块，用于接收上报的GPS数据；
队列数据生成模块，用于依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据，同时在内存数据库中记录所述GPS数据的业务类型和数据总数；
队列数据持久化模块，用于消费者线程读取所述队列数据，将所述队列数据持久化。
6.根据权利要求5所述的装置，其特征在于，还包括，协议解析模块，用于通讯服务解析808协议。
7.根据权利要求5所述的装置，其特征在于，队列数据生成模块，具体用于依据预设的阻塞队列阈值，判断当前阻塞队列数量是否小于所述预设的阻塞队列阈值，若小于，将所述GPS数据写入队列，生成队列数据；若大于等于，则判断阻塞队列是否满足写入队列条件；若满足，则将所述GPS数据写入队列，生成队列数据。
8.根据权利要求5所述的装置，其特征在于，还包括：更新模块，用于更新数据采集进度表，在所述数据采集进度表中标记增加一条数据。
CN201510016351.6A 2015-01-13 2015-01-13 一种海量gps数据存储的方法及装置 Pending CN104598574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510016351.6A CN104598574A (zh) 2015-01-13 2015-01-13 一种海量gps数据存储的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510016351.6A CN104598574A (zh) 2015-01-13 2015-01-13 一种海量gps数据存储的方法及装置

Publications (1)

Publication Number Publication Date
CN104598574A true CN104598574A (zh) 2015-05-06

Family

ID=53124359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510016351.6A Pending CN104598574A (zh) 2015-01-13 2015-01-13 一种海量gps数据存储的方法及装置

Country Status (1)

Country Link
CN (1) CN104598574A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306173A (zh) * 2015-11-17 2016-02-03 天泽信息产业股份有限公司 一种自适应的车联网终端接入方法
CN108563774A (zh) * 2018-04-20 2018-09-21 广州林邦信息科技有限公司 Gps数据处理方法及装置
CN108959657A (zh) * 2018-08-13 2018-12-07 北京高途云集教育科技有限公司 一种数据变更处理方法及装置
CN111158939A (zh) * 2019-12-31 2020-05-15 中消云（北京）物联网科技研究院有限公司 数据处理方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190806A1 (en) * 2005-02-09 2006-08-24 David Sasson Systems and method for deploying a software application on a wireless device
CN102645664A (zh) * 2011-02-17 2012-08-22 上海航鼎电子科技发展有限公司 基于gps、gsm、加速度计的载体位置信息处理方法及装置
CN103116634A (zh) * 2012-06-12 2013-05-22 上海雷腾软件有限公司 支持高并发缓存任务队列的系统及其异步批量操作方法
CN103308057A (zh) * 2013-06-25 2013-09-18 厦门雅迅网络股份有限公司 基于大容量监控系统的地图车辆图标刷新方法
CN104158757A (zh) * 2014-08-21 2014-11-19 福建星海通信科技有限公司 一种gps数据入库处理方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190806A1 (en) * 2005-02-09 2006-08-24 David Sasson Systems and method for deploying a software application on a wireless device
CN102645664A (zh) * 2011-02-17 2012-08-22 上海航鼎电子科技发展有限公司 基于gps、gsm、加速度计的载体位置信息处理方法及装置
CN103116634A (zh) * 2012-06-12 2013-05-22 上海雷腾软件有限公司 支持高并发缓存任务队列的系统及其异步批量操作方法
CN103308057A (zh) * 2013-06-25 2013-09-18 厦门雅迅网络股份有限公司 基于大容量监控系统的地图车辆图标刷新方法
CN104158757A (zh) * 2014-08-21 2014-11-19 福建星海通信科技有限公司 一种gps数据入库处理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱勇: "GPS车辆监控指挥系统关键技术的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑 （月刊）》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306173A (zh) * 2015-11-17 2016-02-03 天泽信息产业股份有限公司 一种自适应的车联网终端接入方法
CN108563774A (zh) * 2018-04-20 2018-09-21 广州林邦信息科技有限公司 Gps数据处理方法及装置
CN108563774B (zh) * 2018-04-20 2021-11-26 广东云林信息工程技术股份有限公司 Gps数据处理方法及装置
CN108959657A (zh) * 2018-08-13 2018-12-07 北京高途云集教育科技有限公司 一种数据变更处理方法及装置
CN108959657B (zh) * 2018-08-13 2020-12-25 北京高途云集教育科技有限公司 一种数据变更处理方法及装置
CN111158939A (zh) * 2019-12-31 2020-05-15 中消云（北京）物联网科技研究院有限公司 数据处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN106649331B (zh) 商圈识别方法及设备
CN104008212B (zh) 一种地理位置信息相关联的物联网时间序列数据存取方法
CN107026881B (zh) 业务数据的处理方法、装置及系统
CN109215338B (zh) 一种基于网格化的北斗gps车辆轨迹管理系统及其方法
CN104598574A (zh) 一种海量gps数据存储的方法及装置
US20170132264A1 (en) Trajectory Data Query Method and Apparatus
CN108122012B (zh) 常驻点中心点的确定方法、装置、设备及存储介质
CN106023588A (zh) 一种基于交通大数据的行程时间提取、预测及查询方法
CN107491458B (zh) 一种存储时间序列数据的方法和装置以及系统
US10489431B2 (en) Digital location-based data methods and product
CN103065466A (zh) 一种交通异常状况的检测方法和装置
CN105139459A (zh) 一种地铁计费方法、一卡通和服务器
CN103853725A (zh) 一种交通轨迹数据降噪方法及系统
CN108804507B (zh) 用户的住址位置确定方法及系统
CN106326439B (zh) 一种实时视频存储、检索方法及装置
CN101794510A (zh) 一种浮动车数据处理的方法和装置
CN116703132B (zh) 共享车辆动态调度的管理方法、装置及计算机设备
CN109918468A (zh) 基于墨卡托投影的物联网设备位置数据区域筛选方法
CN104536700A (zh) 一种码流数据的快速存储/读取方法及系统
CN106781497A (zh) 基于临近点位分析的在线车辆行驶状态检测方法和系统
CN103439758A (zh) 用于雨传感器的数据处理方法
CN102594878A (zh) 物联网信息融合方法、物联网终端设备和物联网平台
CN105352523B (zh) 智能路线生成方法和装置
CN107908366A (zh) 一种智能数据存取方法、装置及设备
CN112632058A (zh) 轨迹确定方法、装置及设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150506