CN106326359B - 一种基于位置聚合的gps信息存储方法 - Google Patents
一种基于位置聚合的gps信息存储方法 Download PDFInfo
- Publication number
- CN106326359B CN106326359B CN201610651167.3A CN201610651167A CN106326359B CN 106326359 B CN106326359 B CN 106326359B CN 201610651167 A CN201610651167 A CN 201610651167A CN 106326359 B CN106326359 B CN 106326359B
- Authority
- CN
- China
- Prior art keywords
- polymerization
- vehicle
- gps information
- time
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006116 polymerization reaction Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000002085 persistent effect Effects 0.000 claims abstract description 18
- 230000002776 aggregation Effects 0.000 claims abstract description 10
- 238000004220 aggregation Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims description 17
- 238000007619 statistical method Methods 0.000 claims description 11
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 101000606504 Drosophila melanogaster Tyrosine-protein kinase-like otk Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 229920002755 poly(epichlorohydrin) Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于位置聚合的GPS信息存储方法,包括如下步骤:一.系统接收车辆GPS信息后,首先判断当前缓存组件中是否已缓存有该车辆的聚合信息;若不存在,则生成新的聚合,并将新聚合加入缓存组件中;二.若缓存组件中存在该车辆的聚合信息,则继续判断是否需要生成新的聚合;若不需要生成新聚合,则根据当前GPS信息计算聚合项,并更新缓存组件中的该车辆的聚合信息。三.若需要生成新聚合,则根据当前车辆GPS信息生成新的聚合,同时将旧聚合的数据添加到持久化存储中。本发明将原本存在于持久化存储中的多条GPS信息,聚合成单条位置信息,从而达到提升存储空间利用率、提升系统吞吐量和效率的目的。
Description
技术领域
本方法属于智慧交通、车联网领域,涉及车辆GPS数据的处理、分析和存储,具体是一种基于位置聚合的GPS信息存储方法。
背景技术
车辆GPS位置信息数据量较大,每辆车每5秒上报一次GPS位置信息,这对系统存储空间以及系统查询、处理、分析的性能都造成了巨大的压力。以杭州市公交车辆GPS为例,每天数据量达到5000万条,一个月系统需要存储15亿条GPS信息。
目前,许多大数据分析系统在数据库的层面进行了一定优化,采用NOSQL作为持久化存储引擎以解决海量信息检索的需求,但这仅仅从数据库引擎角度进行了优化(关系型数据库转为非关系型数据库),并未解决系统存储空间的压力的问题。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提供了一种基于位置聚合的GPS信息存储方法,包括如下步骤:
一.系统接收车辆GPS信息后,首先判断当前缓存组件中是否已缓存有该车辆的聚合信息;若不存在,则生成新的聚合,并将新聚合加入缓存组件中;
二.若缓存组件中存在该车辆的聚合信息,则继续判断是否需要生成新的聚合;若不需要生成新聚合,则根据当前GPS信息计算聚合项,并更新缓存组件中的该车辆的聚合信息。
三.若需要生成新聚合,则根据当前车辆GPS信息生成新的聚合,同时将旧聚合的数据添加到持久化存储中。
进一步的,步骤二中,是否需要生成新聚合的判断条件包括:
条件1:当前GPS信息的时间与缓存组件中GPS数据的更新时间的间隔是否在系统设定的合理区间内,超出该合理区间的,则重新生成聚合信息;
条件2:当前GPS信息与缓存数据的位置信息是否超过系统设定的合理聚合区间内,超出聚合的虚拟围栏范围,则重新生成新聚合。
进一步的,需要生成的聚合项,包括聚合项数量、行驶里程、行驶时间、平均速度、停靠站时间、非营运里程、非营运时间。
进一步的,该方法通过缓存组件对聚合的中间结果数据进行临时存储。
进一步的,该方法将聚合结果信息保存到持久化存储中。
进一步的,该方法对缓存组件和持久化存储中的数据进行查询统计,包括:监控车辆的实时位置,对车辆的历史轨迹进行回放,对车辆的速度(进行计算、统计,对车辆的行驶里程进行统计分析,对车辆的运营情况进行统计分析。对车辆异常情况进行统计分析。
进一步的,该方法是基于位置聚合的优化,存在以下影响优化结果的因素:
车速:车辆行驶速度与优化效率成反比。车速越慢,优化效果越明显;
车辆停靠时间:车辆停靠时间与优化效率成正比,停靠等候时间越长,优化效果越明显。
本发明的基于位置聚合的GPS信息存储方法,将原本存在于持久化存储中的多条GPS信息,聚合成单条位置信息,从信息源组织形式、数据逻辑结构层面对数据进行优化,从而达到提升存储空间利用率、提升系统吞吐量和效率的目的。
该方法可适用多种场景。目前,该方法运用于多地市(杭州、嘉兴、宁波等)的公交出行及公交运行监测系统。同时,对其他车辆或设备的GPS信息采集、处理的场景也具有较强的适用性。(方法不适用于需要精确记录每条GPS信息中所有属性的场景。)
运用该方法的场景包括但不限于:
采集车辆GPS信息,监控车辆的实时位置。
采集车辆GPS信息,对车辆的历史轨迹进行回放。
采集车辆GPS信息,对车辆的速度(包括运营速度、技术速度、运送速度等)进行计算、统计。
采集车辆GPS信息,对车辆的行驶里程进行统计分析。
采集车辆GPS信息,对车辆的运营情况及异常情况进行统计分析。
附图说明
图1是本发明的基于位置聚合的GPS信息存储方法流程示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,本发明的基于位置聚合的GPS信息存储方法,包括如下步骤:
一.系统接收车辆GPS信息后,首先判断当前缓存组件中是否已缓存有该车辆的聚合信息;若不存在,则生成新的聚合,并将新聚合加入缓存组件中;
二.若缓存组件中存在该车辆的聚合信息,则继续判断是否需要生成新的聚合;若不需要生成新聚合,则根据当前GPS信息计算聚合项,并更新缓存组件中的该车辆的聚合信息。
三.若需要生成新聚合,则根据当前车辆GPS信息生成新的聚合,同时将旧聚合的数据添加到持久化存储(数据库系统)中。
步骤二中,是否需要生成新聚合的判断条件包括:
条件1:当前GPS信息的时间与缓存组件中GPS数据的更新时间的间隔是否在系统设定的合理区间内,默认为5分钟,可根据实际业务需要进行配置。即时间间隔超过5分钟的GPS信息,则重新生成聚合信息,以保证数据的准确性。
条件2:当前GPS信息与缓存数据的位置信息是否超过系统设定的合理聚合区间内,默认聚合区间围栏范围50米,可根据实际业务需要进行配置。即以聚合起始位置为圆心设置虚拟围栏,若新的GPS信息,超出聚合的虚拟围栏范围,则重新生成新聚合。
需要生成的聚合项,包括但不限于:
聚合项数量:当前聚合内聚合的数据条数。每加入一条GPS信息数量+1。
行驶里程:当前聚合内行驶的总里程。通过多条信息间隔距离累加的方式进行聚合。
行驶时间:当前聚合内行驶的总时间。通过多条信息间隔行驶时间累加的方式进行聚合。
平均速度:当前聚合内的平均车速。通过行驶里程和行驶时间进行计算平均速度。其中平均速度包括:运营速度、运送速度、技术速度。
停靠站时间:当前聚合内停靠站的时间。通过,车辆位置信息判断停靠状态,并累加停靠的时间。
非营运里程:当前聚合内非营运的里程,包括加油、回场、偏离行驶轨迹等情况。通过车辆行驶状态,判断运营状态,并累加相应里程。
非营运时间:当前聚合内非营运的时间。通过车辆行驶状态,判断运营状态,并累加相应时间。
其他:可根据实际业务添加对应组件生成相应其他聚合项。
该方法通过缓存组件对聚合的中间结果数据进行临时存储。方法对缓存组件没有具体软硬件的要求,支持多种形式缓存,包括但不限于:自定义缓存系统、Riak分布式缓存系统、Redis分布式缓存系统等。
该方法将聚合结果信息保存到持久化存储中。对持久化存储没有具体软硬件的要求,支持多种主流持久化存储架构(关系型数据库系统、非关系型NoSQL系统),包括但不限于:SQL SERVER数据库、Oralce数据库、MongoDb数据库等。
该方法对缓存组件和持久化存储中的数据进行查询统计,实现相应功能。包括但不限于:监控车辆的实时位置,对车辆的历史轨迹进行回放,对车辆的速度(包括运营速度、技术速度、运送速度等)进行计算、统计,对车辆的行驶里程进行统计分析,对车辆的运营情况(班次、准点率等)进行统计分析。对车辆异常情况(超速、偏离轨迹等)进行统计分析。
该方法是基于位置聚合的优化,存在以下影响优化结果的因素:
车速。车辆行驶速度与优化效率成反比。车速越慢,优化效果越明显。车速影响的因素包括但不限于:道路拥堵情况、天气情况、车辆性能等。
车辆停靠时间长短。车辆停靠时间与优化效率成正比。停靠等候时间越长,优化效果越明显。当前车辆停靠时间,包括但不限于停靠站、加油、场站休息、起点终点等候等。
测试实施例
测试环境:
服务器系统:Windows Server 2008 R2
分布式缓存系统:自定义键值对字典集合。
持久化存储:SQL Server 2012
测试流程
1)取得2016-01-01杭州公交车辆全天GPS信息数据作为测试输入,共5000万条GPS信息。
2)搭建相应的缓存组件及可持久化存储。测试环境缓存组件通过自定义字典集合实现。持久化存储使用SQL Server 2012数据库系统。
3)运行未进行聚合优化的原始程序,并将GPS信息结果记录。
4)运行聚合优化的程序。分别运行4次,每次将条件1、条件2参数配置为:5/0,5/10,5/50,5/100,并将结果记录。
5)统计可持久化存储中,表中的数据进行对比,形成测试结果。
测试结果
以下为以杭州公交车辆一天GPS信息作为测试输入的测试结果
其中条件1参数,即时间间隔。条件2参数,即聚合围栏范围。
本方法根据工程实践中遇到的海量GPS存储空间问题,提出了基于位置聚合的GPS存储优化方法。通过设定聚合虚拟围栏范围,对车辆GPS信息进行聚合运算和存储,实现海量GPS数据的聚合压缩,提升系统的性能和空间利用率。
Claims (5)
1.一种基于位置聚合的GPS信息存储方法,包括如下步骤:
一.系统接收车辆GPS信息后,首先判断当前缓存组件中是否已缓存有该车辆的聚合信息;若不存在,则生成新的聚合,并将新聚合加入缓存组件中;
二.若缓存组件中存在该车辆的聚合信息,则继续判断是否需要生成新的聚合;若不需要生成新聚合,则根据当前GPS信息计算聚合项,并更新缓存组件中的该车辆的聚合信息;
三.若需要生成新聚合,则根据当前车辆GPS信息生成新的聚合,同时将旧聚合的数据添加到持久化存储中;
步骤二中,是否需要生成新聚合的判断条件包括:
条件1:当前GPS信息的时间与缓存组件中GPS数据的更新时间的间隔是否在系统设定的合理区间内,超出该合理区间的,则重新生成聚合信息;
条件2:当前GPS信息与缓存数据的位置信息是否超过系统设定的合理聚合区间内,超出聚合的虚拟围栏范围,则重新生成新聚合;将多条GPS信息聚合成单条位置信息;
需要生成的聚合项,包括聚合项数量、行驶里程、行驶时间、平均速度、停靠站时间、非营运里程、非营运时间;其中
聚合项数量:当前聚合内聚合的数据条数,每加入一条GPS信息数量+1;
行驶里程:当前聚合内行驶的总里程,通过多条信息间隔距离累加的方式进行聚合;
行驶时间:当前聚合内行驶的总时间,通过多条信息间隔行驶时间累加的方式进行聚合;
平均速度:当前聚合内的平均车速,通过行驶里程和行驶时间进行计算平均速度;其中平均速度包括:运营速度、运送速度、技术速度;
停靠站时间:当前聚合内停靠站的时间,通过车辆位置信息判断停靠状态,并累加停靠的时间;
非营运里程:当前聚合内非营运的里程,包括加油、回场、偏离行驶轨迹情况,通过车辆行驶状态,判断运营状态,并累加相应里程;
非营运时间:当前聚合内非营运的时间,通过车辆行驶状态,判断运营状态,并累加相应时间。
2.如权利要求1所述的基于位置聚合的GPS信息存储方法,其特征在于:
该方法通过缓存组件对聚合的中间结果数据进行临时存储。
3.如权利要求1所述的基于位置聚合的GPS信息存储方法,其特征在于:该方法将聚合结果信息保存到持久化存储中。
4.如权利要求2或3所述的基于位置聚合的GPS信息存储方法,其特征在于:该方法对缓存组件和持久化存储中的数据进行查询统计,包括:监控车辆的实时位置,对车辆的历史轨迹进行回放,对车辆的速度进行计算、统计,对车辆的行驶里程进行统计分析,对车辆的运营情况进行统计分析,对车辆异常情况进行统计分析。
5.如权利要求1所述的基于位置聚合的GPS信息存储方法,其特征在于:该方法是基于位置聚合的优化,存在以下影响优化结果的因素:
车速:车辆行驶速度与优化效率成反比;车速越慢,优化效果越明显;
车辆停靠时间:车辆停靠时间与优化效率成正比,停靠等候时间越长,优化效果越明显。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610651167.3A CN106326359B (zh) | 2016-08-10 | 2016-08-10 | 一种基于位置聚合的gps信息存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610651167.3A CN106326359B (zh) | 2016-08-10 | 2016-08-10 | 一种基于位置聚合的gps信息存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106326359A CN106326359A (zh) | 2017-01-11 |
CN106326359B true CN106326359B (zh) | 2019-10-18 |
Family
ID=57739746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610651167.3A Active CN106326359B (zh) | 2016-08-10 | 2016-08-10 | 一种基于位置聚合的gps信息存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106326359B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107332915A (zh) * | 2017-07-05 | 2017-11-07 | 北京辰安信息科技有限公司 | 一种信息处理方法及装置 |
CN108109369B (zh) * | 2018-02-06 | 2021-02-26 | 深圳市物语智联科技有限公司 | 一种基于行驶轨迹的运营车辆和非运营车辆识别监督方法 |
CN108846598A (zh) * | 2018-03-29 | 2018-11-20 | 宏图物流股份有限公司 | 一种车辆定位的方法及装置 |
CN109299108B (zh) * | 2018-11-05 | 2020-05-29 | 江苏瑞中数据股份有限公司 | 一种可变频率的wams实时数据库管理方法与系统 |
CN117171701B (zh) * | 2023-08-14 | 2024-05-14 | 陕西天行健车联网信息技术有限公司 | 一种车辆行驶数据处理方法、装置、设备和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510365A (zh) * | 2009-03-03 | 2009-08-19 | 西安强军信息科技有限公司 | 一种飞行地面保障的车辆优化调度方法 |
CN101626363A (zh) * | 2008-07-07 | 2010-01-13 | 华为技术有限公司 | 聚合业务装置、系统、聚合业务创建及使用方法 |
CN102045635A (zh) * | 2010-11-25 | 2011-05-04 | 北京腾瑞万里科技有限公司 | 路况导航方法、移动终端和路况导航服务器 |
CN103278833A (zh) * | 2013-05-13 | 2013-09-04 | 深圳先进技术研究院 | 一种基于北斗/gps数据的线路推荐系统及方法 |
CN105491124A (zh) * | 2015-12-03 | 2016-04-13 | 北京航空航天大学 | 移动车辆分布式聚合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101673307B1 (ko) * | 2014-12-19 | 2016-11-22 | 현대자동차주식회사 | 네비게이션 시스템 및 그에 의한 경로 예측 방법, 그리고 이를 실행하는 컴퓨터 판독 가능한 기록매체 |
-
2016
- 2016-08-10 CN CN201610651167.3A patent/CN106326359B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101626363A (zh) * | 2008-07-07 | 2010-01-13 | 华为技术有限公司 | 聚合业务装置、系统、聚合业务创建及使用方法 |
CN101510365A (zh) * | 2009-03-03 | 2009-08-19 | 西安强军信息科技有限公司 | 一种飞行地面保障的车辆优化调度方法 |
CN102045635A (zh) * | 2010-11-25 | 2011-05-04 | 北京腾瑞万里科技有限公司 | 路况导航方法、移动终端和路况导航服务器 |
CN103278833A (zh) * | 2013-05-13 | 2013-09-04 | 深圳先进技术研究院 | 一种基于北斗/gps数据的线路推荐系统及方法 |
CN105491124A (zh) * | 2015-12-03 | 2016-04-13 | 北京航空航天大学 | 移动车辆分布式聚合方法 |
Non-Patent Citations (1)
Title |
---|
基于有限元的地图综合算法及其在LBS中的应用;肖香梅;《中国优秀硕士学位论文全文数据库 基础科学辑》;20131215(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN106326359A (zh) | 2017-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106326359B (zh) | 一种基于位置聚合的gps信息存储方法 | |
RU2737665C2 (ru) | Системы и способы управления сбором данных на основе датчиков и обработкой сигналов в транспортных средствах | |
Chu et al. | A calibration procedure for microscopic traffic simulation | |
CN101187943B (zh) | 自动更新系统、自动更新方法及其程序 | |
CN104809878A (zh) | 利用公交车gps数据检测城市道路交通异常状态的方法 | |
CN110718057B (zh) | 路网运行状态评价方法、装置、电子设备及介质 | |
CN111008223A (zh) | 一种基于时空关联规则的区域交通拥堵相关性计算方法 | |
CN104318327A (zh) | 一种车辆轨迹预测分析方法 | |
CN114596700B (zh) | 一种基于门架数据的高速公路路段实时流量估计方法 | |
CN104598992A (zh) | 一种车辆常跑路线分析方法 | |
US11238728B2 (en) | Determining traffic congestion patterns | |
CN112819325B (zh) | 高峰时段确定方法、装置、电子设备和存储介质 | |
CN104700630A (zh) | 一种高速公路车流量的监测方法及系统 | |
CN115310278B (zh) | 一种大规模路网在线微观交通的仿真方法及其验证方法 | |
CN109493449A (zh) | 一种基于货车gps轨迹数据和高速交易数据的货车载货状态估计方法 | |
CN115880894A (zh) | 一种交通状态确定方法、装置及设备 | |
Wang et al. | Vehicle trajectory reconstruction for signalized intersections with low‐frequency floating car data | |
CN113593242A (zh) | 一种基于路口车辆检测器组的在途量估算方法 | |
CN108171820B (zh) | 一种车队管理系统及车队管理综合评分方法 | |
CN102034351B (zh) | 一种交通流短时预测系统 | |
CN110196440A (zh) | 重合轨迹的识别方法及装置、电子设备、存储介质 | |
CN110264725B (zh) | 路段流量的确定方法及装置 | |
CN115631082B (zh) | 一种基于高速路网拓扑结构的多场景路径还原方法 | |
Williams et al. | Sampling strategies for two-fluid model parameter estimation in urban networks | |
CN114639241B (zh) | 路段中断状态判断方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A GPS Information Storage Method Based on Location Aggregation Granted publication date: 20191018 Pledgee: Hangzhou United Rural Commercial Bank Limited by Share Ltd. Baoshan Branch Pledgor: ZHEJIANG THIRDNET TECHNOLOGY Co.,Ltd. Registration number: Y2024980018460 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |