CN117171701A - 一种车辆行驶数据处理方法、装置、设备和介质 - Google Patents
一种车辆行驶数据处理方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN117171701A CN117171701A CN202311019309.0A CN202311019309A CN117171701A CN 117171701 A CN117171701 A CN 117171701A CN 202311019309 A CN202311019309 A CN 202311019309A CN 117171701 A CN117171701 A CN 117171701A
- Authority
- CN
- China
- Prior art keywords
- data packet
- vehicle
- data
- statistical
- aligned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 abstract description 8
- 238000013500 data storage Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Abstract
本发明公开了一种车辆行驶数据处理方法、装置、设备和介质,涉及计算机技术领域。先按照车载终端所在车辆对获取的源数据包进行分类,然后针对每个车辆对应的源数据包,从中选取作为参考的主数据包和以主数据包为参考的待对齐数据包。接着将主数据包与各待对齐数据包进行对齐合并得到目标数据包,并遍历各目标数据包,统一计算由统计业务需求确定的各统计项对应的统计值,最后适应性选择数据库对统计结果进行存储。本发明将预设时间周期内各类型数据的源数据包进行对齐合并,从而可在一次遍历中,得到所有所需统计项的统计值,避免了多次遍历中数据的存取位置和数据存储结构的变更,降低了计算周期和维护成本。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种车辆行驶数据处理方法、装置、设备和介质。
背景技术
目前,业务平台的服务器通常会基于车联网统计车辆行驶过程中的各种车辆行驶数据,从而应用在其他业务中。一般的,统计数据可包括车辆的日里程、日油耗、气耗、电耗,以及车辆的工况事件,例如,车辆超速、怠速、猛踩油门、加油、长离合、空挡滑行等驾驶行为事件。
现有技术中,车辆通常通过车载终端采集车辆行驶数据数据,并向业务平台的服务器上报数据。于是服务器可接收车辆上传的数据,经过数据缓冲池再写入到数据原始仓库。然后再通过分布式计算引擎按照车辆分类、规约、排序,再加入业务计算逻辑后形成每日的车辆行驶数据统计项,最后将车辆行驶数据统计项写入到关系型数据库供业务平台使用。
但是,车辆上报的数据一般是按照类型分包存储的。例如,位置数据、能耗数据、发动机数据、车速数据等都是按照不同数据包进行上报。由此导致每种要统计的数据项都是单类处理,最后再按照车辆汇总。由于对车辆的统计数据项较多,每种数据项所需的数据为若干种,而计算的数据源不统一,导致对车辆上传的数据进行多次遍历,数据的存取位置和数据存储结构的变更较为复杂,且计算周期长,维护成本大。
发明内容
基于此,有必要针对上述技术问题,提供一种车辆行驶数据处理方法、装置、设备和介质。
本说明书采用下述技术方案:
本说明书提供了一种车辆行驶数据处理方法,包括:
获取车载终端上传的多个源数据包,按照车载终端所在车辆对获取的源数据包进行分类;
针对每个车辆,从车辆对应的源数据包中,按照源数据包类型的重要程度选取主数据包,并根据预设的时间周期,选取与主数据包的时间戳的差距不大于预设的时间周期的源数据包作为待对齐数据包;
将主数据包与各待对齐数据包中的时间戳进行对齐合并,以及将主数据包与各待对齐数据包中的同类型数据进行对齐合并,得到目标数据包;
按照时间戳的顺序对各目标数据包进行遍历,统计由统计业务需求确定的各统计项,分别得到各统计项对应的统计值;
根据统计项和统计值的数量对应关系,对统计结果进行存储。
可选地,所述按照源数据包类型的重要程度选取主数据包,具体包括:
将需要上传至车辆监管平台的源数据包作为重要数据包,选取所述重要数据包作为主数据包;
其中,所述重要数据包包括车辆的报警标志、GPS位置信息、方向和高程。
可选地,所述将主数据包与各待对齐数据包中的时间戳进行对齐合并,以及将主数据包与各待对齐数据包中的同类型数据进行对齐合并,得到目标数据包,具体包括:
计算主数据包与各待对齐数据包中的时间戳的时间戳均值,将时间戳均值作为对齐合并后目标数据包的时间戳;
计算主数据包与各待对齐数据包中同类型数据的数据均值,将数据均值作为目标数据包中此类型数据的数据值。
可选地,所述由业务需求确定的各统计项包括经纬度信息、车速、行政区划、道路名称和道路级别;
所述计算由业务需求确定的各统计项的统计值,具体包括:
根据各目标数据包的中GPS位置信息,计算各目标数据包对应的行政区划哈希码,按照行政区划哈希码对各目标数据包进行分类;
针对每个行政区划哈希码,统计分类得到的多个目标数据包中车辆的经纬度信息、车速、行驶的道路名称和道路级别;
以行政区划哈希码作为键,将统计得到的各项统计值作为值,以键值对的形式进行计算过程的缓存记录。
可选地,对统计结果进行存储之前,所述方法还包括:
将车辆的车辆识别码作为主键,以由统计业务需求确定的各统计项和对应的统计值的键值对作为主键对应的值,对各统计值的计算过程进行缓存记录。
可选地,所述根据统计项和统计值的数量对应关系,选择关系型数据库或列式数据库对统计结果进行存储,具体包括:
当统计项和统计值的数量对应关系为一对一时,选择关系型数据库对统计结果进行存储;
当统计项和统计值的数量对应关系为一对多时,选择列式数据库对统计结果进行存储。
可选地,所述车载终端上传的多个源数据包包括多个车辆的多种数据采集传感器采集得到的数据包。
本说明书提供了一种车辆行驶数据处理装置,包括:
获取模块,用于获取车载终端上传的多个源数据包,按照车载终端所在车辆对获取的源数据包进行分类;
选取模块,用于针对每个车辆,从车辆对应的源数据包中,按照源数据包类型的重要程度选取主数据包,并根据预设的时间周期,选取与主数据包的时间戳的差距不大于预设的时间周期的源数据包作为待对齐数据包;
对齐模块,用于将主数据包与各待对齐数据包中的时间戳进行对齐合并,以及将主数据包与各待对齐数据包中的同类型数据进行对齐合并,得到目标数据包;
统计模块,用于按照时间戳的顺序对各目标数据包进行遍历,统计由统计业务需求确定的各统计项,分别得到各统计项对应的统计值;
存储模块,用于根据统计项和统计值的数量对应关系,对统计结果进行存储。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述车辆行驶数据处理方法。
本说明书提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述车辆行驶数据处理方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
先按照终端所在车辆对获取的源数据包进行分类,然后针对每个车辆对应的源数据包,从中选取作为参考的主数据包和以主数据包为参考的待对齐数据包。接着将主数据包与各待对齐数据包进行对齐合并得到目标数据包,并遍历各目标数据包,统一计算由统计业务需求确定的各统计项对应的统计值,最后适应性选择数据库对统计结果进行存储。
本发明将预设时间周期内各类型数据的源数据包进行对齐合并,从而可在一次遍历中,得到所有所需统计项的统计值,避免了多次遍历中数据的存取位置和数据存储结构的变更,降低了计算周期和维护成本。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书提供的一种车辆行驶数据处理方法流程示意图;
图2为本说明书提供的一种数据包对齐合并示意图;
图3为本说明书提供的一种车辆行驶数据处理原理示意图;
图4为本说明书提供的一种车辆行驶数据处理装置示意图;
图5为本说明书提供的一种实现车辆行驶数据处理方法的计算机设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,由于车辆上报的数据一般是按照类型分包存储的,即位置数据、能耗数据、发动机数据、车速数据等都是不同维度的上报方式。导致每种要计算的数据都是单项处理,最后再按照车辆汇总。导致计算的数据源不统一,导致数据的存取位置和数据存储结构的变更较为复杂,计算周期长,维护成本大,资源调度不合理,会出现cpu、内存、io的峰值阻塞,计算过程日志分散难分析、定位问题。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本说明书中一种车辆行驶数据处理方法流程示意图,具体包括以下步骤:
S101:获取车载终端上传的多个源数据包,按照车载终端所在车辆对获取的源数据包进行分类。
一般的,车辆在行驶的过程中,可通过车载传感器对车辆的行驶数据进行采集并记录,然后按照一定的上报周期通过车载终端通过车联网向业务平台的服务器进行数据上报,以通过业务平台的服务器进行车辆行驶数据的记录,并根据业务需求进行分析应用。
于是,在本说明书一个或多个实施例中,业务平台的服务器可获取车载终端上传的多个源数据包,并按照车载终端所在车辆对获取的若干源数据包进行分类。
其中,这里所说的车载终端是指车辆上与业务平台的服务器进行数据通信的模块装置。具体的,车辆可通过多种数据采集传感器采集车辆的行驶数据,例如车辆的GPS位置信息、车速、方向、行驶的道路属性、发动机数据等等,然后通过车载终端将各传感器采集到的数据上传至业务平台的服务器。此处采集数据类型仅为举例说明,具体采集何种数据可根据需要确定,本说明书对此不做限制。
当然了,业务平台的服务器通常与多个车辆进行数据通信以及业务服务,因此,多个源数据包通常包括多个车辆上传的数据包,而每个车辆上传的数据包通常为多种数据采集传感器采集得到的数据包。
业务平台的服务器在获取到多个源数据包后,需要以各数据包对应的车辆作为划分标准,对各源数据包进行划分。即,将属于同一车辆的源数据包划分到一起,从而在后续服务器可针对每个车辆对应的源数据包进行处理。其中,服务器可根据车载终端所在车辆的vin码的维度,进行源数据包的划分分类。
本说明书中提到的服务器可以是设置于业务平台的服务器,或能执行本说明书方案的诸如台式机、笔记本电脑等设备。为了方便说明,下面仅以服务器为执行主体进行说明。
S102:针对每个车辆,从车辆对应的源数据包中,按照数据包类型的重要程度选取主数据包,并根据预设的时间周期,选取与主数据包的时间戳的差距不大于预设的时间周期的源数据包作为待对齐数据包。
通过上述获取并在车辆的维度对源数据包进行分类后,服务器可针对每个车辆,从该车辆对应的源数据包中,先选取其中一个源数据包作为主数据包,然后基于主数据包再次选取待对齐数据包。
其中,服务器在选取主数据包时,可将预设的重要程度最高的源数据包作为主数据包。具体各源数据包的重要程度评价可根据需要确定,本说明书对此不做限制。
在本说明书一个或多个实施例中,上述所说的重要程度可根据各源数据包的上报频率和上报周期确定,例如,源数据包的重要程度可与该源数据包的上报频率呈负相关,与该源数据包的上报周期呈正相关。也就是说,上报频率越低、上报周期越长的源数据包,其重要程度越高。对应的重要程度最高的源数据包即为上报频率最低、上报周期最长的源数据包。通过将主数据包设置为上报频率最低、上报周期最长的源数据包,使得对源数据包进行对齐合并时,可避免因上报频率低而漏掉此类型数据。
当然了,在本说明书一个或多个实施例中,服务器还可将需要上传至车辆监管平台的数据包作为重要程度最高的重要数据包,并选取该类型源数据包,即重要数据包作为主数据包。由于重要数据包需要上传至车辆监管平台,则该重要数据包内可能也是业务应用中需要着重关注的数据,因此可将该类源数据包作为主数据包,以其为基准进行后续数据包的对齐合并,避免漏掉此类型数据。其中,需要上传至车辆监管平台的重要数据包可包括车辆的报警标志、GPS位置信息、方向和高程等信息。
在选取主数据包后,服务器可根据预设的时间周期,选取与主数据包的时间戳的差距不大于时间周期的源数据包作为待对齐数据包。
各源数据包在向服务器进行上报时,通常会按照各自所需的频率和周期进行上报,上报数据的同时携带上报时刻的时间戳。服务器在确定得到主数据包后,可将主数据包的时间戳作为基准时间戳,选取与基准时间戳的差距不大于预设的时间周期的源数据包作为待对齐数据包。其中,预设的时间周期可根据各源数据包的上报周期进行设置。例如,假设各源数据包中最大的上报周期为10秒。则该预设的时间周期可设置为5秒。从而使得主数据包与待对齐数据包中至少含有一个上报周期最长的源数据包。
可以理解的是,基于主数据包选取待对齐数据包后得到的数据包集,理应为某时段内车载终端上报的各类型数据的集合。其中,按照不同类型数据的上报周期,数据包集中至少包括一个上报周期最长的源数据包,以及包括一个或多个其他上报周期较短的源数据包。
S103:将主数据包与各待对齐数据包中的时间戳进行对齐合并,以及将主数据包与各待对齐数据包中的同类型数据进行对齐合并,得到目标数据包。
通过上述得到某时段内车载终端上报的各类型数据的集合后,服务器可将主数据包与各待对齐数据包中的时间戳和同类型数据进行对齐合并,从而得到对应车辆某时刻的各类型行驶数据的目标数据包。
具体的,服务器可计算主数据包与各待对齐数据包中的时间戳的时间戳均值,将时间戳均值作为对齐合并后目标数据包的时间戳。
对于主数据包与各待对齐数据包中的各类型数据,由步骤S102可知,每种类型的数据可能存在一个或多个待对齐数据包。于是,服务器可计算主数据包与各待对齐数据包中同类型数据的数据均值,将数据均值作为目标数据包中此类型数据的数据值,如图2所示。
图2为本说明书中一种数据包对齐合并示意图。图2中展示了将四种类型的源数据包对齐合并为三个目标数据包。左侧的四个矩形框中展示了四种类型的各三个源数据包。以累计里程类型的数据为例进行说明,该类型数据包括:a1:累计里程1、a2:累计里程2、a3:累计里程3三个源数据包。其中,a1、a2、a3分别为各源数据包的时间戳。其他三种类型的数据可以此类推。以合并后得到的第一个目标数据包为例进行说明,第一个目标数据包为t1:车速1,累计里程1、发动机转速1、累计油耗。t1为a1、b1、c1、d1的时间戳平均值。
本说明书还提供了一种数据包对齐合并示意表,如表1和表2所示。
表1原有数据格式表
表2对齐合并后目标数据包格式表
表1为本说明中一种原有数据格式表,表2为本说明书中一种对齐合并后目标数据包格式表,可见源数据包按照各自上报周期进行数据上报,服务器接收到的是零散的源数据包,而通过对源数据包进行合并对齐,可将某时段内各类型数据聚合在一个目标数据包内。
上述未展示多个同类型数据合并到一个目标数据包内的情况,对于此类情况,服务器可计算若干同类型数据的数据均值,作为目标数据包中此类型数据的数据值,以车速为例,假设某目标数据包内包括车速1和车速2两个车速类型的数据,则对该目标数据包来说,经过对齐合并后,车速类型的数据对应的数据值可为车速1和车速2的均值。
S104:按照时间戳的顺序对各目标数据包进行遍历,统计由统计业务需求确定的各统计项,分别得到各统计项对应的统计值。
通过上述完成对主数据包和待合并数据包的对齐合并后,服务器可对得到的各目标数据包,按照时间戳的顺序进行遍历,在遍历的过程中,对由统计业务需求确定的各统计项进行统一计算。
具体的,在本说明书一个或多个实施例中,由统计业务需求确定的各统计项可至少包括经纬度信息、车速、行政区划和道路属性。其中,道路属性可包括道路名称和道路级别。对应的,服务器可先根据各目标数据包的中GPS位置信息,计算各目标数据包对应的行政区划哈希码,并按照行政区划哈希码对各目标数据包进行分类。然后针对每个行政区划哈希码,统计分类得到的多个目标数据包中车辆的经纬度信息、车速、行驶的道路名称和道路级别。最后以行政区划哈希码作为键,将统计得到的各项统计值作为值,以键值对的形式进行计算过程的缓存记录。
也就是说,服务器可按照经纬度算出车辆对应行政区划的GHASH码,结合路网数据的GHASH做纵向映射,把同一个行政区域的车辆汇聚在相同内存变量中,在统计计算过程中,通过业务1状态key:{业务结构1}的形式进行计算过程的缓存记录。以上述为例,即通过{GHASH值:经纬度信息、车速、道路名称、道路级别}缓存计算过程变量。当然了,上述仅为示例说明,具体各统计项和根据业务需求确定,本说明书对此不做限制,例如,还可包括超速的持续点数,长时间驾驶的休息时长等。
在对各统计项统一计算过程中,服务器可将车辆的车辆识别码作为主键,以由业务需求确定的各统计项和对应统计值的键值对作为主键对应的值,对各统计值的计算过程进行缓存记录。即,以一种映射嵌套的结构来对计算过程进行记录,具体如下:
{状态key:[{业务1状态key:{业务结构1}},{业务2状态key:{业务结构2}},……}]}
最外层的状态key可以是车辆的vin码,此时一个状态key对应了所有统计算法的过程状态,当目标数据包遍历完成后,所有的算法过程状态统一记录完成,可有效提高日常问题的日志集中定位分析效率。
S105:根据统计项和统计值的数量对应关系,对统计结果进行存储。
在对各目标数据包进行遍历,统一完成各统计项的计算后,所有的计算结果可采用两种通用的数据结构来处理。具体的,当统计项和统计值的数量对应关系为一对一时,服务器可选择关系型数据库对统计结果进行存储。当统计项和统计值的数量对应关系为一对多时,服务器可选择列式数据库对统计结果进行存储。
一般的,统计结果可包括统计型的数据结构和算法明细型的数据结构,过程状态记录完成后,对于车联网数据来说一个车辆有一个统计型结果数据,所有的统计值可全部融合到一个对象。而明细型数据一个车会有多条结果,正好利用nosql的列簇来区分存储,即一个列簇对应一个业务算法的明细,每个车的不同明细按照rowkey的时间戳来区分存储。
例如,统计型:
{车辆vin码:计算日期,日里程统计、日油耗统计、日加油次数、日超速次数}
明细型(以超速计算为例):
rowkey=hash(vin%8)+vin码+日期
值=列簇1+列簇2+列簇3+……
列簇1=列1+列2+列3+列4+……
列1=超速发生起始时间
列2=超速发生起始位置
列3=超速结束时间
列4=超速结束位置
其中,统计型的结果,比如日里程,日超速次数,日怠速次数,日油耗,日大油门次数等,都是一个车对应一个数据项,服务器可以通过普通的关系型数据库的行设计来存储。对于明细数据的数据结构由于数据量大,所以服务器可采用nosql的列式数据库来存储。例如,超速的车辆vin作为rowkey,超速的起止时间、起止位置都存储到列簇上,并且支持多版本的数据并存。这样就完成了统一的存储处理结构设计,并且理论上支持不同业务需求统计项对应算法类型的无限扩充,对于数据源的后期扩展及计算结果的存储调用都大大节省了维护成本,并有效规避了集群资源的峰值阻塞情况。
基于图1所示的车辆行驶数据处理方法,先按照终端所在车辆对获取的源数据包进行分类,然后针对每个车辆对应的源数据包,从中选取作为参考的主数据包和以主数据包为参考的待对齐数据包。接着将主数据包与各待对齐数据包进行对齐合并得到目标数据包,并遍历各目标数据包,统一计算由业务需求确定的各统计项的统计值,最后适应性选择数据库对统计结果进行存储。
本发明将预设时间周期内各类型数据的源数据包进行对齐合并,从而可在一次遍历中,得到所有所需统计项的统计值,避免了多次遍历中数据的存取位置和数据存储结构的变更,降低了计算周期和维护成本。
在应用本说明书提供的车辆行驶数据处理方法时,可不根据图1所示的各步骤的顺序执行,具体各步骤的执行顺序可根据需要确定,本说明书对此不做限制。
此外,在本说明书一个或多个实施例中,步骤S102中,服务器还可按照以下优先级寻找可以对齐的待对齐数据包:
1)、先寻找和主数据包的时间戳相同的其他源数据包。
2)、再寻找与主数据包的时间戳的差距不大于预设时间周期的其他源数据包。
其中,对于优先寻找到的和主数据包的时间戳相同的其他源数据包,服务器可进行标记,此时,后续步骤S103中,服务器在将主数据包与各待对齐数据包中的时间戳和同类型数据进行对齐合并时,可不完全采用均值确定目标数据包的时间戳或各类型数据的数据值。而是将主数据包的时间戳作为对齐合并后目标数据包的时间戳,以及将和主数据包的时间戳相同的其他源数据包的数据值,作为对应数据类型对齐合并后的数据值。当然了,未必所有类型数据都存在和主数据包的时间戳相同的源数据包,这种情况再计算同类型数据的数据均值,作为不存在相同时间戳的源数据包下,此类型数据的数据值。
通过上述方式对齐合并主数据包和源数据包,使得对齐合并得到的目标数据包中各类型数据的数据值与目标数据包的时间戳的对应关系更准确。从而更准确的反应车辆在该时间戳对应时刻的行驶数据,在此基础上根据业务需求进行数据统计分析时,也可得到更加准确的结果。
本说明书还提供了一种车辆行驶数据处理原理示意图,如图3所示,图3中整体分为三部分,首先服务器对获取到的对应各类型数据的源数据包进行拉平,即对齐合并。然后对合并后得到的目标数据包进行遍历的过程中,可统一分类计算由业务需求确定的各统计项,最后即可按照统计数据的类型(统计型或明细型),以对应的数据结构进行输出或存储。避免了多次遍历中数据的存取位置和数据存储结构的变更,降低了计算周期和维护成本。理论上支持不同业务需求统计项对应算法类型的无限扩充,对于数据源的后期扩展及计算结果的存储调用都大大节省了维护成本,并有效规避了集群资源的峰值阻塞情况。
以上为本说明书的一个或多个实施例提供的车辆行驶数据处理方法,基于同样的思路,本说明书还提供了相应的车辆行驶数据处理装置,如图4所示。
图4为本说明书提供的一种车辆行驶数据处理装置示意图,包括:
获取模块201,用于获取车载终端上传的多个源数据包,按照车载终端所在车辆对获取的源数据包进行分类;
选取模块202,用于针对每个车辆,从车辆对应的源数据包中,按照源数据包类型的重要程度选取主数据包,并根据预设的时间周期,选取与主数据包的时间戳的差距不大于预设的时间周期的源数据包作为待对齐数据包;
对齐模块203,用于将主数据包与各待对齐数据包中的时间戳进行对齐合并,以及将主数据包与各待对齐数据包中的同类型数据进行对齐合并,得到目标数据包;
统计模块204,用于按照时间戳的顺序对各目标数据包进行遍历,统计由统计业务需求确定的各统计项,分别得到各统计项对应的统计值;
存储模块205,用于根据统计项和统计值的数量对应关系,对统计结果进行存储。
可选地,所述选取模块202,将需要上传至车辆监管平台的源数据包作为重要数据包,选取所述重要数据包作为主数据包,其中,所述重要数据包包括车辆的报警标志、GPS位置信息、方向和高程。
可选地,所述对齐模块203,计算主数据包与各待对齐数据包中的时间戳的时间戳均值,将时间戳均值作为对齐合并后目标数据包的时间戳,计算主数据包与各待对齐数据包中同类型数据的数据均值,将数据均值作为目标数据包中此类型数据的数据值。
可选地,所述由业务需求确定的各统计项包括经纬度信息、车速、行政区划、道路名称和道路级别。
所述统计模块204,根据各目标数据包的中GPS位置信息,计算各目标数据包对应的行政区划哈希码,按照行政区划哈希码对各目标数据包进行分类,针对每个行政区划哈希码,统计分类得到的多个目标数据包中车辆的经纬度信息、车速、行驶的道路名称和道路级别,以行政区划哈希码作为键,将统计得到的各项统计值作为值,以键值对的形式进行计算过程的缓存记录。
可选地,所述装置还包括:缓存模块206,用于对统计结果进行存储之前,将车辆的车辆识别码作为主键,以由统计业务需求确定的各统计项和对应的统计值的键值对作为主键对应的值,对各统计值的计算过程进行缓存记录。
可选地,所述存储模块205,当统计项和统计值的数量对应关系为一对一时,选择关系型数据库对统计结果进行存储,当统计项和统计值的数量对应关系为一对多时,选择列式数据库对统计结果进行存储。
可选地,所述车载终端上传的多个源数据包包括多个车辆的多种数据采集传感器采集得到的数据包。
关于车辆行驶数据处理装置的具体限定可以参见上文中对于车辆行驶数据处理方法的限定,在此不再赘述。上述车辆行驶数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的车辆行驶数据处理方法。
本说明书还提供了图5所示的计算机设备的结构示意图,如图5所述,在硬件层面,该计算机设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1提供的车辆行驶数据处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static RandomAccess Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
Claims (10)
1.一种车辆行驶数据处理方法,其特征在于,包括:
获取车载终端上传的多个源数据包,按照车载终端所在车辆对获取的源数据包进行分类;
针对每个车辆,从车辆对应的源数据包中,按照源数据包类型的重要程度选取主数据包,并根据预设的时间周期,选取与主数据包的时间戳的差距不大于预设的时间周期的源数据包作为待对齐数据包;
将主数据包与各待对齐数据包中的时间戳进行对齐合并,以及将主数据包与各待对齐数据包中的同类型数据进行对齐合并,得到目标数据包;
按照时间戳的顺序对各目标数据包进行遍历,统计由统计业务需求确定的各统计项,分别得到各统计项对应的统计值;
根据统计项和统计值的数量对应关系,对统计结果进行存储。
2.如权利要求1所述的车辆行驶数据处理方法,其特征在于,所述按照源数据包类型的重要程度选取主数据包,具体包括:
将需要上传至车辆监管平台的源数据包作为重要数据包,选取所述重要数据包作为主数据包;
其中,所述重要数据包包括车辆的报警标志、GPS位置信息、方向和高程。
3.如权利要求1所述的车辆行驶数据处理方法,其特征在于,所述将主数据包与各待对齐数据包中的时间戳进行对齐合并,以及将主数据包与各待对齐数据包中的同类型数据进行对齐合并,得到目标数据包,具体包括:
计算主数据包与各待对齐数据包中的时间戳的时间戳均值,将时间戳均值作为对齐合并后目标数据包的时间戳;
计算主数据包与各待对齐数据包中同类型数据的数据均值,将数据均值作为目标数据包中此类型数据的数据值。
4.如权利要求1所述的车辆行驶数据处理方法,其特征在于,所述由业务需求确定的各统计项包括经纬度信息、车速、行政区划、道路名称和道路级别;
所述计算由业务需求确定的各统计项的统计值,具体包括:
根据各目标数据包的中GPS位置信息,计算各目标数据包对应的行政区划哈希码,按照行政区划哈希码对各目标数据包进行分类;
针对每个行政区划哈希码,统计分类得到的多个目标数据包中车辆的经纬度信息、车速、行驶的道路名称和道路级别;
以行政区划哈希码作为键,将统计得到的各项统计值作为值,以键值对的形式进行计算过程的缓存记录。
5.如权利要求1所述的车辆行驶数据处理方法,其特征在于,对统计结果进行存储之前,所述方法还包括:
将车辆的车辆识别码作为主键,以由统计业务需求确定的各统计项和对应的统计值的键值对作为主键对应的值,对各统计值的计算过程进行缓存记录。
6.如权利要求1所述的车辆行驶数据处理方法,其特征在于,所述根据统计项和统计值的数量对应关系,选择关系型数据库或列式数据库对统计结果进行存储,具体包括:
当统计项和统计值的数量对应关系为一对一时,选择关系型数据库对统计结果进行存储;
当统计项和统计值的数量对应关系为一对多时,选择列式数据库对统计结果进行存储。
7.如权利要求1所述的车辆行驶数据处理方法,其特征在于,所述车载终端上传的多个源数据包包括多个车辆的多种数据采集传感器采集得到的数据包。
8.一种车辆行驶数据处理装置,其特征在于,包括:
获取模块,用于获取车载终端上传的多个源数据包,按照车载终端所在车辆对获取的源数据包进行分类;
选取模块,用于针对每个车辆,从车辆对应的源数据包中,按照源数据包类型的重要程度选取主数据包,并根据预设的时间周期,选取与主数据包的时间戳的差距不大于预设的时间周期的源数据包作为待对齐数据包;
对齐模块,用于将主数据包与各待对齐数据包中的时间戳进行对齐合并,以及将主数据包与各待对齐数据包中的同类型数据进行对齐合并,得到目标数据包;
统计模块,用于按照时间戳的顺序对各目标数据包进行遍历,统计由统计业务需求确定的各统计项,分别得到各统计项对应的统计值;
存储模块,用于根据统计项和统计值的数量对应关系,对统计结果进行存储。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述权利要求1~7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311019309.0A CN117171701A (zh) | 2023-08-14 | 2023-08-14 | 一种车辆行驶数据处理方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311019309.0A CN117171701A (zh) | 2023-08-14 | 2023-08-14 | 一种车辆行驶数据处理方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117171701A true CN117171701A (zh) | 2023-12-05 |
Family
ID=88945993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311019309.0A Pending CN117171701A (zh) | 2023-08-14 | 2023-08-14 | 一种车辆行驶数据处理方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117171701A (zh) |
Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326359A (zh) * | 2016-08-10 | 2017-01-11 | 浙江三网科技股份有限公司 | 一种基于位置聚合的gps信息存储方法 |
CN107610468A (zh) * | 2017-09-28 | 2018-01-19 | 航天科技控股集团股份有限公司 | 基于记录仪管理的车速密度分析系统及方法 |
CN107819974A (zh) * | 2016-09-13 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于无人驾驶车辆的数据获取方法和装置 |
CN107819799A (zh) * | 2016-09-13 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于无人驾驶车辆的数据获取方法和装置 |
CN109887124A (zh) * | 2019-01-07 | 2019-06-14 | 平安科技(深圳)有限公司 | 车辆运动数据的处理方法、装置、计算机设备、存储介质 |
CN110796865A (zh) * | 2019-11-06 | 2020-02-14 | 北京百度网讯科技有限公司 | 智能交通控制方法、装置、电子设备和存储介质 |
CN113033463A (zh) * | 2021-04-09 | 2021-06-25 | 腾讯科技(深圳)有限公司 | 减速带检测方法、装置、电子设备及存储介质 |
CN113379945A (zh) * | 2021-07-26 | 2021-09-10 | 陕西天行健车联网信息技术有限公司 | 一种车辆驾驶行为分析装置、方法及系统 |
CN113553304A (zh) * | 2021-07-28 | 2021-10-26 | 北京亮道智能汽车技术有限公司 | 一种针对自动驾驶的数据存储系统 |
US20210350699A1 (en) * | 2020-05-11 | 2021-11-11 | Xidian University | Method for Vehicle Classification Using Multiple Geomagnetic Sensors |
KR20220047732A (ko) * | 2021-06-17 | 2022-04-19 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | 차량 감시 방법 및 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램, 클라우드 제어 플랫폼 및 차량 도로 협조 시스템 |
CN114429364A (zh) * | 2022-01-06 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 业务数据管理方法和装置、存储介质及电子设备 |
CN114435138A (zh) * | 2022-01-25 | 2022-05-06 | 中国第一汽车股份有限公司 | 一种车辆能耗预测方法、装置、车辆及存储介质 |
CN114677039A (zh) * | 2022-04-14 | 2022-06-28 | 上海安亭地平线智能交通技术有限公司 | 车辆行驶控制评估方法、装置、可读存储介质及电子设备 |
CN114819682A (zh) * | 2022-05-10 | 2022-07-29 | 厦门十三曜智能科技有限公司 | 一种车辆油耗管理方法、装置、系统和存储介质 |
CN114970705A (zh) * | 2022-05-20 | 2022-08-30 | 深圳市有一说一科技有限公司 | 基于多传感数据的行驶状态分析方法、装置、设备及介质 |
CN114999148A (zh) * | 2022-05-16 | 2022-09-02 | 国汽智图(北京)科技有限公司 | 拥堵程度监测方法、装置、计算机设备和存储介质 |
CN115422417A (zh) * | 2022-08-23 | 2022-12-02 | 阿里云计算有限公司 | 数据处理方法、设备及存储介质 |
CN115604541A (zh) * | 2022-09-21 | 2023-01-13 | 昆易电子科技(上海)有限公司(Cn) | 车辆的数据采集处理方法、系统、电子设备和存储介质 |
CN115630777A (zh) * | 2022-10-10 | 2023-01-20 | 陕西天行健车联网信息技术有限公司 | 一种基于车载终端采集数据的车辆驾驶行为评分系统 |
CN116010400A (zh) * | 2022-12-02 | 2023-04-25 | 青岛经济技术开发区海尔热水器有限公司 | 车辆时序数据的存储方法、系统、装置、设备及存储介质 |
WO2023098824A1 (zh) * | 2021-12-01 | 2023-06-08 | 奥动新能源汽车科技有限公司 | 车辆数据的管理方法、装置、服务器、存储介质 |
CN116405145A (zh) * | 2022-12-09 | 2023-07-07 | 小象智能(深圳)有限公司 | 一种适用移动场景的数据交互同步方法及系统 |
-
2023
- 2023-08-14 CN CN202311019309.0A patent/CN117171701A/zh active Pending
Patent Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326359A (zh) * | 2016-08-10 | 2017-01-11 | 浙江三网科技股份有限公司 | 一种基于位置聚合的gps信息存储方法 |
CN107819974A (zh) * | 2016-09-13 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于无人驾驶车辆的数据获取方法和装置 |
CN107819799A (zh) * | 2016-09-13 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于无人驾驶车辆的数据获取方法和装置 |
CN107610468A (zh) * | 2017-09-28 | 2018-01-19 | 航天科技控股集团股份有限公司 | 基于记录仪管理的车速密度分析系统及方法 |
CN109887124A (zh) * | 2019-01-07 | 2019-06-14 | 平安科技(深圳)有限公司 | 车辆运动数据的处理方法、装置、计算机设备、存储介质 |
CN110796865A (zh) * | 2019-11-06 | 2020-02-14 | 北京百度网讯科技有限公司 | 智能交通控制方法、装置、电子设备和存储介质 |
US20210350699A1 (en) * | 2020-05-11 | 2021-11-11 | Xidian University | Method for Vehicle Classification Using Multiple Geomagnetic Sensors |
CN113033463A (zh) * | 2021-04-09 | 2021-06-25 | 腾讯科技(深圳)有限公司 | 减速带检测方法、装置、电子设备及存储介质 |
KR20220047732A (ko) * | 2021-06-17 | 2022-04-19 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | 차량 감시 방법 및 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램, 클라우드 제어 플랫폼 및 차량 도로 협조 시스템 |
CN113379945A (zh) * | 2021-07-26 | 2021-09-10 | 陕西天行健车联网信息技术有限公司 | 一种车辆驾驶行为分析装置、方法及系统 |
CN113553304A (zh) * | 2021-07-28 | 2021-10-26 | 北京亮道智能汽车技术有限公司 | 一种针对自动驾驶的数据存储系统 |
WO2023098824A1 (zh) * | 2021-12-01 | 2023-06-08 | 奥动新能源汽车科技有限公司 | 车辆数据的管理方法、装置、服务器、存储介质 |
CN114429364A (zh) * | 2022-01-06 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 业务数据管理方法和装置、存储介质及电子设备 |
CN114435138A (zh) * | 2022-01-25 | 2022-05-06 | 中国第一汽车股份有限公司 | 一种车辆能耗预测方法、装置、车辆及存储介质 |
CN114677039A (zh) * | 2022-04-14 | 2022-06-28 | 上海安亭地平线智能交通技术有限公司 | 车辆行驶控制评估方法、装置、可读存储介质及电子设备 |
CN114819682A (zh) * | 2022-05-10 | 2022-07-29 | 厦门十三曜智能科技有限公司 | 一种车辆油耗管理方法、装置、系统和存储介质 |
CN114999148A (zh) * | 2022-05-16 | 2022-09-02 | 国汽智图(北京)科技有限公司 | 拥堵程度监测方法、装置、计算机设备和存储介质 |
CN114970705A (zh) * | 2022-05-20 | 2022-08-30 | 深圳市有一说一科技有限公司 | 基于多传感数据的行驶状态分析方法、装置、设备及介质 |
CN115422417A (zh) * | 2022-08-23 | 2022-12-02 | 阿里云计算有限公司 | 数据处理方法、设备及存储介质 |
CN115604541A (zh) * | 2022-09-21 | 2023-01-13 | 昆易电子科技(上海)有限公司(Cn) | 车辆的数据采集处理方法、系统、电子设备和存储介质 |
CN115630777A (zh) * | 2022-10-10 | 2023-01-20 | 陕西天行健车联网信息技术有限公司 | 一种基于车载终端采集数据的车辆驾驶行为评分系统 |
CN116010400A (zh) * | 2022-12-02 | 2023-04-25 | 青岛经济技术开发区海尔热水器有限公司 | 车辆时序数据的存储方法、系统、装置、设备及存储介质 |
CN116405145A (zh) * | 2022-12-09 | 2023-07-07 | 小象智能(深圳)有限公司 | 一种适用移动场景的数据交互同步方法及系统 |
Non-Patent Citations (4)
Title |
---|
JUNCHUAN FAN等: "Using big GPS trajectory data analytics for vehicle miles traveled estimation", 《TRANSPORTATION RESEARCH PART C》, vol. 103, pages 298 - 307, XP085690788, DOI: 10.1016/j.trc.2019.04.019 * |
刘泽: "自动驾驶汽车多源异构传感器环境感知方法研究", 《中国博士学位论文全文数据库 工程科技II辑》, no. 2023, 15 April 2023 (2023-04-15), pages 035 - 2 * |
彭勃: "基于安卓平台运动轨迹记录系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2015, pages 138 - 135 * |
李王逸嘉等: "高速铁路动检车轴箱加速度与轮轨力数据里程对齐研究", 《铁道学报》, pages 1 - 13 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9872125B2 (en) | Data collection and management system, data collection and management method, terminal, and management apparatus | |
WO2018201977A1 (zh) | 查勘任务分配方法、系统、服务器和存储介质 | |
Guerreiro et al. | An architecture for big data processing on intelligent transportation systems. An application scenario on highway traffic flows | |
CN103714134B (zh) | 一种网络流量数据索引方法及系统 | |
US9223801B2 (en) | Information management method and information management apparatus | |
US11460307B2 (en) | System and method for processing vehicle event data for journey analysis | |
CN103278833A (zh) | 一种基于北斗/gps数据的线路推荐系统及方法 | |
CN111400288A (zh) | 数据质量检查方法及系统 | |
CN106528649A (zh) | 一种新能源汽车的海量数据存储检索系统和方法 | |
CN110097661A (zh) | 一种车辆里程数据统计方法及装置 | |
CN112738729A (zh) | 一种用手机信令数据判别探亲返乡游客的方法及系统 | |
CN109165207B (zh) | 基于Hadoop的饮用水海量数据存储管理方法和系统 | |
CN117171701A (zh) | 一种车辆行驶数据处理方法、装置、设备和介质 | |
CN112100510A (zh) | 基于车联网平台的海量数据查询方法和装置 | |
CN112883195B (zh) | 个体出行的交通知识图谱构建方法及系统 | |
CN112632058A (zh) | 轨迹确定方法、装置及设备、存储介质 | |
CN113360551B (zh) | 一种靶场中时序数据的存储与快速统计方法及系统 | |
CN110341701B (zh) | 一种基于空间位置信息的车辆自动启停优化方法 | |
US20210295614A1 (en) | System and method for filterless throttling of vehicle event data | |
Buroni et al. | On-board-unit data: A big data platform for scalable storage and processing | |
CN111813833B (zh) | 一种实时二度通联关系数据挖掘的方法 | |
CN113371664A (zh) | 非社会尿素及燃料加注点位置识别方法、系统及终端 | |
CN114741404A (zh) | 一种预警信息聚合系统、方法及电子设备 | |
CN113761390A (zh) | 一种用于属性亲密度的分析方法和系统 | |
CN114253938A (zh) | 数据管理方法、数据管理装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |