CN108509646A - 一种应用于记录仪管理平台的实时判定车辆漂移的方法及系统 - Google Patents
一种应用于记录仪管理平台的实时判定车辆漂移的方法及系统 Download PDFInfo
- Publication number
- CN108509646A CN108509646A CN201810331842.3A CN201810331842A CN108509646A CN 108509646 A CN108509646 A CN 108509646A CN 201810331842 A CN201810331842 A CN 201810331842A CN 108509646 A CN108509646 A CN 108509646A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- data
- time
- moment
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种应用于记录仪管理平台的实时判定车辆漂移的方法及系统，本发明是为了解决现有的车辆漂移检测系统处理速度较慢，难以在短时间内满足大量数据处理请求的缺点而提出的，包括：接收原始坐标并缓存至原始坐标消息通道中；对数据进行清洗；将清洗后的坐标缓存至好坐标消息通道；从好坐标消息通道中读取数据，按照时间信息为车辆坐标进行排序；在经过排序的数据中，对同一个车辆，按照时间顺序分别建立列表，并缓存至坐标集通道中；读取坐标集通道中的数据，对于同一辆车计算得到当前时刻的速度计算结果并进行缓存；再从缓存取出上一时刻的速度计算结果；若两个速度计算结果均大于预定阈值，则判定为一次漂移。本发明适用于记录仪平台数据处理。
Description
技术领域
本发明涉及一种应用于记录仪管理平台的实时判定车辆漂移的方法及系统，属于记录仪管理平台数据处理分析领域。
背景技术
航天科技记录仪管理平台每天有超过1W辆车辆在线，这些车辆分布在全国各地，每天要向平台传入近2000W的位置坐标数据。这些坐标大部分是正常的坐标，但有些因为各种原因，坐标是不正确的，这些不正确的坐标能够为用户提供设备是否故障的参考信息。如何能够高效、快速的对这些数据进行实时分析，为监控用户提供设备故障、车辆漂移行驶等信息，是本发明所要解决的问题。
目前已有的车辆漂移检测系统往往处理速度较满，难以在短时间内满足大量数据处理请求。
发明内容
本发明的目的是为了解决现有的车辆漂移检测系统处理速度较慢，难以在短时间内满足大量数据处理请求的缺点，而提出一种应用于记录仪管理平台的实时判定车辆漂移的方法，包括：
S1.接收原始坐标并缓存至原始坐标消息通道中；
S2.从消息通道中读取数据并进行清洗；
S3.将清洗后的坐标缓存至好坐标消息通道中；
S4.从好坐标消息通道中读取数据，按照时间信息为车辆坐标进行排序；
S5.在经过排序的数据中，对应同一个车辆的数据，按照时间顺序分别建立列表，并将列表缓存至坐标集通道中；
S6.读取坐标集通道中的数据，对于同一辆车计算当前坐标与上一时刻坐标的距离，并除以两个坐标的时间差，得到当前时刻的速度计算结果并进行缓存；再从缓存取出上一时刻的速度计算结果；若当前时刻的速度计算结果与上一时刻的速度计算结果均大于预设阈值，则判定为一次漂移。
本发明还提供一种应用于记录仪管理平台的实时判定车辆漂移的系统，包括：
原始坐标接收模块，用于接收原始坐标并缓存至原始坐标消息通道中；
数据清洗模块，用于从消息通道中读取数据并进行清洗，并将清洗后的坐标缓存至好坐标消息通道中；
排序模块，用于从好坐标消息通道中读取数据，按照时间信息为车辆坐标进行排序；
列表建立模块，用于在经过排序的数据中，对应同一个车辆的数据，按照时间顺序分别建立列表，并将列表缓存至坐标集通道中；
漂移计算模块，用于读取坐标集通道中的数据，对于同一辆车计算当前坐标与上一时刻坐标的距离，并除以两个坐标的时间差，得到当前时刻的速度计算结果并进行缓存；再从缓存取出上一时刻的速度计算结果；若当前时刻的速度计算结果与上一时刻的速度计算结果均大于预设阈值，则判定为一次漂移。
本发明的有益效果为：
1、系统可以跨平台部署，由于整个系统使用的是纯java技术实现，使得系统能够非常方便的部署到各类服务器操作系统中。
2、系统采用消息通道技术(例如spring integration消息通道技术)，将海量数据的实时运算，合理的拆分成3个功能单一的子模块进行数据运算，降低了编程的复杂性；同时，使用消息通道代替多线程在各个模块中进行数据通信，避免了使用信号量、互斥锁等多线程数据同步技术，大大降低了系统开发的复杂度，提升了系统的稳定性和运行速度。至少能够提升10％的运行速度。
附图说明
图1为本发明一个实施例的应用于记录仪管理平台的实时判定车辆漂移的方法的流程图；
图2为本发明一个实施例的流程原理图。
具体实施方式
具体实施方式一：本实施方式的应用于记录仪管理平台的实时判定车辆漂移的方法，如图1所示，包括：
步骤S1，接收原始坐标并缓存至原始坐标消息通道中。
步骤S2，从消息通道中读取数据并进行清洗。
步骤S3，将清洗后的坐标缓存至好坐标消息通道中。
步骤S4，从好坐标消息通道中读取数据，按照时间信息为车辆坐标进行排序。
步骤S5，在经过排序的数据中，对应同一个车辆的数据，按照时间顺序分别建立列表，并将列表缓存至坐标集通道中。
步骤S6A，读取坐标集通道中的数据，对于同一辆车计算当前坐标与上一时刻坐标的距离，并除以两个坐标的时间差，得到当前时刻的速度计算结果并进行缓存；再从缓存取出上一时刻的速度计算结果；
步骤S6B，若当前时刻的速度计算结果与上一时刻的速度计算结果均大于预设阈值，则执行S6C，即判定为一次漂移。
本实施方式的一个实施例的流程图如图2所示，在图2中，各接收器将终端实时上传的坐标缓存入原始坐标消息通道中；清洗器实时读取原始坐标消息通道中的数据，并对该数据按照时间和坐标范围进行清洗工作，将明显有问题的坐标发至坏坐标通道，清洗过后的坐标发至好消息通道；分片排序器实时读取好消息通道中的坐标数据，数据按车辆ID为Key值缓存入Map中，并按时间为车辆坐标进行排序,分片排序器中的定时任务，每秒执行一次分片操作，将Map中的数据切出，并发送至坐标片通道中；拆分器接收坐标片通道中的数据，按照Key值，拆分出每一辆的拍好序的坐标列表，并将该列表发至坐标集通道中；漂移验证器实时读取坐标集通道中的数据，按照车辆ID，从内存数据库中读取上一次缓存的车辆漂移运算信息，依次同本次该车辆的坐标列表中的坐标进行漂移检测运算，并将检测为漂移的坐标、无效的坐标分别发送至各自的消息通道中，同时该车辆的本次最后一次漂移运算结果保存如内存数据库中，留待该车辆下一批坐标进行漂移检测运算。
图2的实施例中，清洗器实时接收原始坐标通道中的消息，并将终端时间明显不正确的坐标和地理位置不在中国范围内的坐标过滤出来，并发送至坏坐标通道中，而正确的坐标发送至好坐标通道中。
分片排序器分为两个动作，其一，对车辆坐标进行排序缓存，其二，是按时间将缓存结果分片，并将分片信息发送至坐标片通道中。
分片排序器是单例模式(singleton)的java对象，因此，accept_sort函数在实时接收好坐标通道的数据后，能够缓存入llMap对象中。
llMap对象是一个Key-Value行驶的映射对象，Key值存放的是车辆坐标，value值存放的是该车辆的坐标列表，并且是按照终端时间的升序存储的。insertInOrder私有函数实现了坐标按顺序存入该列表的操作。
Slice是将llMap按照时间进行分片操作的函数。该函数并未真正的对llMap内部缓存的数据进行分片操作，而是创建了一个新的llMap对象替换老的对象，并将老对象发送到坐标片通道中。该函数由一个已定义好的定时任务，按照1秒的时间间隔，不停的调用执行，因此表现出来的效果就是在按1秒的时间进行分片操作。
漂移判定器实时接收坐标集中的数据，并依照每一辆车缓存的上一次判定结果同本次坐标值进行漂移判定，判定结果发至相应的坐标通道中，并缓存本次判定结果。
内存数据库，缓存上两个坐标点的速度计算结果和上一个坐标的全部数据。漂移算法需要3各连续的坐标点，才能计算出是否是漂移坐标，而终端是1次上传1个坐标，因此，本系统需要借用上一次缓存的计算结果，同本次上传的坐标进行速度计算，才能得出上一个坐标是否漂移的结论。
calcDrift是漂移判定函数，首先，判定本次坐标的时间是否早于上一次缓存的坐标时间，如果早于上上一次缓存的坐标时间，则为视为无效坐标。其次，使用CMath.distOnEarth6函数计算两个坐标点间的距离，此距离和两点时间差的比值，即为这两点间的速度，据此速度进行漂移判定。漂移判定的逻辑是：假如车辆在连续三个位置的坐标为A,B,C，那么计算A和B之间的速度，和B和C之间的速度(均通过坐标距离除以时间计算)，若都大于一定阈值则认为是漂移坐标。漂移判定是已有技术，本发明的优势在于通过全新的架构来使得整体处理速度更高，本发明并未对漂移判断逻辑做改进。
图2的实施例中，可以使用xml技术将系统的各个模块、消息通道、定时任务合理的连接在一起，降低了各个模块之间的耦合度，同时使得各个模块之间的数据流向更清晰直观，有利于系统的优化处理。
可以看出，本实施方式提供了一套非常轻量级的海量数据实时分析的系统架构，在稳定的局域网络环境内可以快速、高效地进行海量数据实时分析运算。同时本实施方式结合交通部提供的一种测算车辆是否漂移的算法，使用内存数据库技术，实现了一个能够实时分析车辆是否漂移行驶的分析系统，为记录仪管理平台的实时监控提供车辆漂移分析的数据支持。
具体实施方式二：本实施方式与具体实施方式一不同的是：步骤S2中，清洗的具体过程为：将时间信息大于系统时间的数据、距离当前时间超过3个月的数据以及坐标位置不再中国范围内的数据发送至坏坐标消息通道中。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤S5具体为：建立Key-Value形式的映射对象，其中Key用于存储车辆ID，Value用于存储车辆的坐标列表，列表中的坐标按照时间升序排列；并将列表缓存至坐标集通道中。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：
记t1时刻为当前时刻，t2时刻为上一时刻，t3时刻为上一时刻的前一时刻，d1为t1与t2时刻的距离，d2为t2与t3时刻的距离，则步骤S6具体为：
计算
将当前时刻的速度v1进行缓存；
取出上一时刻的速度计算结果v2，其中v2已在上一时刻由公式计算完成；
判断v1和v2是否均大于预设阈值，若是则判定为一次漂移。交通部提供的漂移判定将预设阈值定为160km/h。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式提供一种应用于记录仪管理平台的实时判定车辆漂移的系统，包括：
原始坐标接收模块，用于接收原始坐标并缓存至原始坐标消息通道中；
数据清洗模块，用于从消息通道中读取数据并进行清洗，并将清洗后的坐标缓存至好坐标消息通道中；
排序模块，用于从好坐标消息通道中读取数据，按照时间信息为车辆坐标进行排序；
列表建立模块，用于在经过排序的数据中，对应同一个车辆的数据，按照时间顺序分别建立列表，并将列表缓存至坐标集通道中；
漂移计算模块，用于读取坐标集通道中的数据，对于同一辆车计算当前坐标与上一时刻坐标的距离，并除以两个坐标的时间差，得到当前时刻的速度计算结果并进行缓存；再从缓存取出上一时刻的速度计算结果；若当前时刻的速度计算结果与上一时刻的速度计算结果均大于预设阈值，则判定为一次漂移。
本实施方式与具体实施方式一的方案对应，此处不再详述原理。
具体实施方式六：本实施方式与具体实施方式五不同的是：
数据清洗模块中，清洗的具体过程为：
将时间信息大于系统时间的数据、距离当前时间超过3个月的数据以及坐标位置不再中国范围内的数据发送至坏坐标消息通道中。
本实施方式与具体实施方式二的方案对应，此处不再详述原理。
其它步骤及参数与具体实施方式五相同。
具体实施方式七：本实施方式与具体实施方式五或六不同的是：列表建立模块具体包括：列表建立单元，用于建立Key-Value形式的映射对象，其中Key用于存储车辆ID，Value用于存储车辆的坐标列表，列表中的坐标按照时间升序排列；以及缓存单元，用于将列表缓存至坐标集通道中。
本实施方式与具体实施方式三的方案对应，此处不再详述原理。
其它步骤及参数与具体实施方式五或六相同。
具体实施方式八：本实施方式与具体实施方式五至七之一不同的是：
漂移计算模块具体包括：
第一处理单元，用于计算
缓存单元，用于将当前时刻的速度v1进行缓存；
第二处理单元，用于取出上一时刻的速度计算结果v2，其中v2已在上一时刻由公式计算完成；
判断单元，用于判断v1和v2是否均大于预设阈值，若是则判定为一次漂移。其中t1时刻为当前时刻，t2时刻为上一时刻，t3时刻为上一时刻的前一时刻，d1为t1与t2时刻的距离，d2为t2与t3时刻的距离。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种应用于记录仪管理平台的实时判定车辆漂移的方法，其特征在于，包括：
S1.接收原始坐标并缓存至原始坐标消息通道中；
S2.从消息通道中读取数据并进行清洗；
S3.将清洗后的坐标缓存至好坐标消息通道中；
S4.从好坐标消息通道中读取数据，按照时间信息为车辆坐标进行排序；
S5.在经过排序的数据中，对应同一个车辆的数据，按照时间顺序分别建立列表，并将列表缓存至坐标集通道中；
S6.读取坐标集通道中的数据，对于同一辆车计算当前坐标与上一时刻坐标的距离，并除以两个坐标的时间差，得到当前时刻的速度计算结果并进行缓存；再从缓存取出上一时刻的速度计算结果；若当前时刻的速度计算结果与上一时刻的速度计算结果均大于预设阈值，则判定为一次漂移。
2.根据权利要求1所述的应用于记录仪管理平台的实时判定车辆漂移的方法，其特征在于，步骤S2中，清洗的具体过程为：
将时间信息大于系统时间的数据、距离当前时间超过3个月的数据以及坐标位置不在中国范围内的数据发送至坏坐标消息通道中。
3.根据权利要求1所述的应用于记录仪管理平台的实时判定车辆漂移的方法，其特征在于，步骤S5具体为：
建立Key-Value形式的映射对象，其中Key用于存储车辆ID，Value用于存储车辆的坐标列表，列表中的坐标按照时间升序排列；并将列表缓存至坐标集通道中。
4.根据权利要求1所述的应用于记录仪管理平台的实时判定车辆漂移的方法，其特征在于，记t1时刻为当前时刻，t2时刻为上一时刻，t3时刻为上一时刻的前一时刻，d1为t1与t2时刻的距离，d2为t2与t3时刻的距离，则步骤S6具体为：
计算
将当前时刻的速度v1进行缓存；
取出上一时刻的速度计算结果v2，其中v2已在上一时刻由公式计算完成；
判断v1和v2是否均大于预设阈值，若是则判定为一次漂移。
5.一种应用于记录仪管理平台的实时判定车辆漂移的系统，其特征在于，包括：
原始坐标接收模块，用于接收原始坐标并缓存至原始坐标消息通道中；
数据清洗模块，用于从消息通道中读取数据并进行清洗，并将清洗后的坐标缓存至好坐标消息通道中；
排序模块，用于从好坐标消息通道中读取数据，按照时间信息为车辆坐标进行排序；
列表建立模块，用于在经过排序的数据中，对应同一个车辆的数据，按照时间顺序分别建立列表，并将列表缓存至坐标集通道中；
漂移计算模块，用于读取坐标集通道中的数据，对于同一辆车计算当前坐标与上一时刻坐标的距离，并除以两个坐标的时间差，得到当前时刻的速度计算结果并进行缓存；再从缓存取出上一时刻的速度计算结果；若当前时刻的速度计算结果与上一时刻的速度计算结果均大于预设阈值，则判定为一次漂移。
6.根据权利要求5所述的应用于记录仪管理平台的实时判定车辆漂移的系统，其特征在于，数据清洗模块中，清洗的具体过程为：
将时间信息大于系统时间的数据、距离当前时间超过3个月的数据以及坐标位置不在中国范围内的数据发送至坏坐标消息通道中。
7.根据权利要求5所述的应用于记录仪管理平台的实时判定车辆漂移的系统，其特征在于，列表建立模块具体包括：
列表建立单元，用于建立Key-Value形式的映射对象，其中Key用于存储车辆ID，Value用于存储车辆的坐标列表，列表中的坐标按照时间升序排列；以及
缓存单元，用于将列表缓存至坐标集通道中。
8.根据权利要求5所述的应用于记录仪管理平台的实时判定车辆漂移的系统，其特征在于，漂移计算模块具体包括：
第一处理单元，用于计算当前时刻的速度
缓存单元，用于将当前时刻的速度v1进行缓存；
第二处理单元，用于取出上一时刻的速度计算结果v2，其中v2已在上一时刻由公式计算完成；
判断单元，用于判断v1和v2是否均大于预设阈值，若是则判定为一次漂移；
其中t1时刻为当前时刻，t2时刻为上一时刻，t3时刻为上一时刻的前一时刻，d1为t1与t2时刻的距离，d2为t2与t3时刻的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810331842.3A CN108509646A (zh) | 2018-04-13 | 2018-04-13 | 一种应用于记录仪管理平台的实时判定车辆漂移的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810331842.3A CN108509646A (zh) | 2018-04-13 | 2018-04-13 | 一种应用于记录仪管理平台的实时判定车辆漂移的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108509646A true CN108509646A (zh) | 2018-09-07 |
Family
ID=63381814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810331842.3A Pending CN108509646A (zh) | 2018-04-13 | 2018-04-13 | 一种应用于记录仪管理平台的实时判定车辆漂移的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108509646A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831238A (zh) * | 2012-09-03 | 2012-12-19 | 湖南赛格导航技术研究有限公司 | 一种文本形式展示车辆行驶历史轨迹的方法 |
| CN102944886A (zh) * | 2012-10-11 | 2013-02-27 | 厦门雅迅网络股份有限公司 | 一种gps速度漂移过滤的方法 |
| CN103294912A (zh) * | 2013-05-23 | 2013-09-11 | 南京邮电大学 | 一种面向移动设备基于预测的缓存优化方法 |
| CN105759289A (zh) * | 2014-12-15 | 2016-07-13 | 国际商业机器公司 | 用于处理gps漂移的方法和系统 |
| CN106530789A (zh) * | 2016-10-31 | 2017-03-22 | 成都路行通信息技术有限公司 | 一种汽车停车点的静态漂移检测方法和系统 |
| CN107610468A (zh) * | 2017-09-28 | 2018-01-19 | 航天科技控股集团股份有限公司 | 基于记录仪管理的车速密度分析系统及方法 |
-
2018
- 2018-04-13 CN CN201810331842.3A patent/CN108509646A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831238A (zh) * | 2012-09-03 | 2012-12-19 | 湖南赛格导航技术研究有限公司 | 一种文本形式展示车辆行驶历史轨迹的方法 |
| CN102944886A (zh) * | 2012-10-11 | 2013-02-27 | 厦门雅迅网络股份有限公司 | 一种gps速度漂移过滤的方法 |
| CN103294912A (zh) * | 2013-05-23 | 2013-09-11 | 南京邮电大学 | 一种面向移动设备基于预测的缓存优化方法 |
| CN105759289A (zh) * | 2014-12-15 | 2016-07-13 | 国际商业机器公司 | 用于处理gps漂移的方法和系统 |
| CN106530789A (zh) * | 2016-10-31 | 2017-03-22 | 成都路行通信息技术有限公司 | 一种汽车停车点的静态漂移检测方法和系统 |
| CN107610468A (zh) * | 2017-09-28 | 2018-01-19 | 航天科技控股集团股份有限公司 | 基于记录仪管理的车速密度分析系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘子政 等: "顾及速度约束的基于时间序列GPS漂移数据处理方法", 《测绘地理信息》 * |
| 黄冠利 等: "基于时间序列解决GPS信号定位漂移的研究", 《计算机工程与应用》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085039B (zh) | 一种基于随机森林的icmp隐蔽通道检测方法 | |
| Fricker et al. | Impact of traffic mix on caching performance in a content-centric network | |
| CN1677940B (zh) | 高速业务量测量和分析方法 | |
| CN105681397A (zh) | 一种网络流量数据存储方法及系统、查询方法及装置 | |
| CN108282497A (zh) | 针对SDN控制平面的DDoS攻击检测方法 | |
| CN107690776A (zh) | 用于异常检测中的将特征分组为具有选择的箱边界的箱的方法和装置 | |
| CN106708989A (zh) | 基于空间时序数据流应用的Skyline查询方法 | |
| CN112073234B (zh) | 一种故障检测方法、装置、系统、设备及存储介质 | |
| CN106873945A (zh) | 基于批处理和流式处理的数据处理架构及数据处理方法 | |
| CN106777093A (zh) | 基于空间时序数据流应用的Skyline查询系统 | |
| CN113839835B (zh) | 一种基于小流过滤的Top-k流精确监控系统 | |
| CN112214342B (zh) | 一种联邦学习场景中高效的错误数据检测方法 | |
| CN105450322A (zh) | 一种多位流多余度遥测数据流实时融合方法 | |
| CN116112418A (zh) | 路由泄露的定位方法、装置、电子设备及存储介质 | |
| CN110556014B (zh) | 智能公交调度平台系统 | |
| CN105357071A (zh) | 一种网络复杂流量识别方法及识别系统 | |
| CN108509646A (zh) | 一种应用于记录仪管理平台的实时判定车辆漂移的方法及系统 | |
| CN110557302B (zh) | 网络设备报文观测数据采集方法 | |
| CN106603495A (zh) | 一种radius信令关联方法及系统 | |
| CN101634939A (zh) | 一种快速寻址装置和方法 | |
| CN110572332B (zh) | 网络设备报文观测数据采集任务划分方法 | |
| CN114627309A (zh) | 一种低纹理环境下基于点线特征的视觉slam方法 | |
| Sun et al. | Hee-sketch: an efficient sketch for sliding-window frequency estimation over skewed data streams | |
| CN114143807B (zh) | 一种路由注册完整率评价方法及装置 | |
| CN112966166B (zh) | 一种请求语句以及应答语句的索引生成与匹配的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180907 |