CN105336017A - 一种基于Storm技术的行车记录信息处理方法及系统 - Google Patents

一种基于Storm技术的行车记录信息处理方法及系统 Download PDF

Info

Publication number
CN105336017A
CN105336017A CN201510630720.0A CN201510630720A CN105336017A CN 105336017 A CN105336017 A CN 105336017A CN 201510630720 A CN201510630720 A CN 201510630720A CN 105336017 A CN105336017 A CN 105336017A
Authority
CN
China
Prior art keywords
driving
video
information
wheelpath
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510630720.0A
Other languages
English (en)
Other versions
CN105336017B (zh
Inventor
杨轶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apical Technology Development (shenzhen) Co Ltd
Original Assignee
Apical Technology Development (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apical Technology Development (shenzhen) Co Ltd filed Critical Apical Technology Development (shenzhen) Co Ltd
Priority to CN201510630720.0A priority Critical patent/CN105336017B/zh
Publication of CN105336017A publication Critical patent/CN105336017A/zh
Application granted granted Critical
Publication of CN105336017B publication Critical patent/CN105336017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data

Abstract

本发明所提供的一种基于Storm技术的行车记录信息处理方法及系统,所述方法具体包括:实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配;统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示。本发明实现了将行车轨迹、行车图片、行车视频存储到云端,同时实现了在云端对其信息进行数据匹配、数据统计等功能,为用户提供了极大的方便。

Description

一种基于Storm技术的行车记录信息处理方法及系统
技术领域
本发明涉及数据处理领域,尤其涉及一种基于Storm技术的行车记录信息处理方法及系统。
背景技术
行车记录仪和智能车载后视镜技术都可以记录车辆行驶过程中的视频图像和声音,相当于车辆的黑匣子,可为交通事故提供证据。传统的行车记录仪和智能车载后视镜技术只能将行车轨迹、行车图片、行车视频存储到本机的SD卡中,无法实现云端存储,更无法实现在云端对行车轨迹、行车图片、行车视频等信息进行数据匹配、数据统计等功能,给用户带来了一定的不便。
由此可知,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于Storm技术的行车记录信息处理方法及系统,旨在通过本发明实现行车轨迹、行车图片、行车视频的云存储功能,同时实现行车轨迹与行车图片、行车视频的数据匹配功能,以及行车里程、行车速度、行车时间的数据统计功能,为用户提供方便。
本发明解决技术问题所采用的技术方案如下:
一种基于Storm技术的行车记录信息处理方法,其中,包括步骤:
S1、实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;
S2、利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配;
S3、统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示。
所述的基于Storm技术的行车记录信息处理方法,其中,所述预设的多张云数据库表包括:行车资源表、行车资源存储信息表、行车设备GPS信息表、行车资源GPS信息表、行车记录信息表、用户行车记录信息索引表、以及用户行车记录资源索引表。
所述的基于Storm技术的行车记录信息处理方法,其中,所述步骤S1具体包括:
S11、实时获取行车图片或行车视频,并预先在云数据库表中为每一个相应的行车图片信息或行车视频信息设置唯一标识的id号;
S12、检测上传文件监听器是否为空,若为空,则判断上传文件列表中是否有未上传的行车图片或行车视频;
S13、若是,则从所述上传文件列表中提取一行车图片或行车视频,并判断所述行车图片信息或行车视频信息相对应的id号是否已经存在;
S14、若不存在,则自动生成待存放的文件目录及文件名,并开始上传行车图片或行车视频;
S15、将上传的所述行车图片或行车视频存储到预设的Hadoop的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中。
所述的基于Storm技术的行车记录信息处理方法,其中,所述步骤S2具体包括步骤:
S21、检测到所有行车图片或行车视频上传完成后,将所述行车图片或行车视频的gps信息推送至Storm集群中,所述gps信息包括:用户id、行车图片或行车视频信息id、行车图片或行车视频的拍摄时间、行车图片或行车视频的拍摄精度值、以及行车图片或行车视频的拍摄纬度值;
S22、所述Storm集群中的spout组件接收推送来的所述gps信息,并将所述gps信息传送给bolt组件进行处理;
S23、获取一条未匹配的行车轨迹、以及所述行车轨迹的拍摄时间,判断所述行车图片或行车视频的拍摄时间是否晚于所述行车轨迹的开始时间;
S24、若是,则获取所述行车轨迹中每一个轨迹点的gps信息,并判断所述行车图片或行车视频中的路线是否与所述行车轨迹匹配;
S25、若路线相似度匹配成功,则将所述行车图片或行车视频的id同步写入所述行车轨迹中。
所述的基于Storm技术的行车记录信息处理方法,其中,所述步骤S3具体包括:
S31、预先设置待计算的里程数、最低速度、最高速度以及平均速度的初始值为0;
S32、获取匹配好的行车轨迹中gps点的数量,计算分页的页数,并判断所述分页的页数是否小于或等于总页数;
S33、若否,则获取第一个轨迹点的gps信息,并将所述第一个轨迹点的速度值赋给最高速度和最低速度;
S34、遍历行车轨迹中所有的轨迹点,获取相应的速度值,并根据所有轨迹点的速度值实时更新最高速度和最低速度;
S35、根据累加速度为0的轨迹点所消耗的时间计算里程数,同时根据所述行车轨迹的拍摄时间减去速度为0的轨迹点所消耗的时间计算平均速度;
S36、将所述最高速度、最低速度、里程数以及平均速度进行统计保存至云数据库中,并进行输出显示。
一种基于Storm技术的行车记录信息处理系统,其中,包括:
数据库表预设模块,用于实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;
匹配模块,用于利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配;
统计保存模块,用于统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示。
所述基于Storm技术的行车记录信息处理系统,其中,所述预设的多张云数据库表包括:行车资源表、行车资源存储信息表、行车设备GPS信息表、行车资源GPS信息表、行车记录信息表、用户行车记录信息索引表、以及用户行车记录资源索引表。
所述基于Storm技术的行车记录信息处理系统,其中,所述数据库表预设模块具体包括:
获取记录信息单元,用于实时获取行车图片或行车视频,并预先在云数据库表中为每一个相应的行车图片信息或行车视频信息设置唯一标识的id号;
第一判断单元,用于检测上传文件监听器是否为空,若为空,则判断上传文件列表中是否有未上传的行车图片或行车视频;
第二判断单元,用于若是,则从所述上传文件列表中提取一行车图片或行车视频,并判断所述行车图片信息或行车视频信息相对应的id号是否已经存在;
上传单元,用于若不存在,则自动生成待存放的文件目录及文件名,并开始上传行车图片或行车视频;
第一存储单元,用于将上传的所述行车图片或行车视频存储到预设的Hadoop的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中。
所述基于Storm技术的行车记录信息处理系统,其中,所述匹配模块具体包括:
gps信息推送单元,用于检测到所有行车图片或行车视频上传完成后,将所述行车图片或行车视频的gps信息推送至Storm集群中,所述gps信息包括:用户id、行车图片或行车视频信息id、行车图片或行车视频的拍摄时间、行车图片或行车视频的拍摄精度值、以及行车图片或行车视频的拍摄纬度值;
gps信息接收单元,用于所述Storm集群中的spout组件接收推送来的所述gps信息,并将所述gps信息传送给bolt组件进行处理;
第三判断单元,用于获取一条未匹配的行车轨迹、以及所述行车轨迹的拍摄时间,判断所述行车图片或行车视频的拍摄时间是否晚于所述行车轨迹的开始时间;
第四判断单元,用于若是,则获取所述行车轨迹中每一个轨迹点的gps信息,并判断所述行车图片或行车视频中的路线是否与所述行车轨迹匹配;
匹配设置单元,用于若路线相似度匹配成功,则将所述行车图片或行车视频的id同步写入所述行车轨迹中。
所述基于Storm技术的行车记录信息处理系统,其中,所述统计保存模块具体包括:
初始值预设单元,用于预先设置待计算的里程数、最低速度、最高速度以及平均速度的初始值为0;
第五判断单元,用于获取匹配好的行车轨迹中gps点的数量,计算分页的页数,并判断所述分页的页数是否小于或等于总页数;
赋值单元,用于若否,则获取第一个轨迹点的gps信息,并将所述第一个轨迹点的速度值赋给最高速度和最低速度;
更新单元,用于遍历行车轨迹中所有的轨迹点,获取相应的速度值,并根据所有轨迹点的速度值实时更新最高速度和最低速度;
计算单元,用于根据累加速度为0的轨迹点所消耗的时间计算里程数,同时根据所述行车轨迹的拍摄时间减去速度为0的轨迹点所消耗的时间计算平均速度;
保存单元,用于将所述最高速度、最低速度、里程数以及平均速度进行统计保存至云数据库中,并进行输出显示。
本发明所提供的一种基于Storm技术的行车记录信息处理方法及系统,所述方法具体包括:实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配;统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示。本发明对传统行车记录仪和车载后视镜进行改进,使其进一步实现了将行车轨迹、行车图片、行车视频存储到云端,同时实现了在云端对行车轨迹、行车图片、行车视频等信息进行数据匹配、数据统计等功能,为用户提供了极大的方便。
附图说明
图1是本发明基于Storm技术的行车记录信息处理方法的较佳实施例的流程图。
图2是本发明基于Storm技术的行车记录信息处理方法的应用实施例流程图一。
图3是本发明基于Storm技术的行车记录信息处理方法的应用实施例流程图二。
图4是本发明基于Storm技术的行车记录信息处理方法的应用实施例流程图三。
图5是本发明基于Storm技术的行车记录信息处理系统的内部结构图。
具体实施方式
本发明公开了一种基于Storm技术的行车记录信息处理方法及系统,为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参见图1,图1是本发明基于Storm技术的行车记录信息处理方法的较佳实施例的流程图。图1所示的基于Storm技术的行车记录信息处理方法,包括:
步骤S101、实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中。
本发明实施例中,预先设计了多张数据库表用于存放相应的行车数据。实际应用中,采用的是Hadoop云计算技术。Hadoop是一个能够对大量数据进行分布式处理的软件基础架构,能够实现大数据存储和大数据计算。其中,Hadoop的其中一个子项目HDFS可以提供高吞吐量的可靠分布式文件系统,因此本发明使用此HDFS技术实现了行车图片、行车视频的分布式存储;而另一个子项目HBase是分布式的列式数据库,本发明使用此HBase技术保存行车轨迹以及各种数据关系。
进一步地,本发明预先设计了行车资源表、行车资源存储信息表、行车设备GPS信息表、行车资源GPS信息表、行车记录信息表、用户行车记录信息索引表、以及用户行车记录资源索引表等多张HBase数据表。
具体地,本发明实施例的步骤S101包括:
S11、实时获取行车图片或行车视频,并预先在云数据库表中为每一个相应的行车图片信息或行车视频信息设置唯一标识的id号;
S12、检测上传文件监听器是否为空,若为空,则判断上传文件列表中是否有未上传的行车图片或行车视频;
S13、若是,则从所述上传文件列表中提取一行车图片或行车视频,并判断所述行车图片信息或行车视频信息相对应的id号是否已经存在;
S14、若不存在,则自动生成待存放的文件目录及文件名,并开始上传行车图片或行车视频;
S15、将上传的所述行车图片或行车视频存储到预设的Hadoop的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中。
步骤S102、利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配。
本发明实施例中,步骤S102具体包括:
S21、检测到所有行车图片或行车视频上传完成后,将所述行车图片或行车视频的gps信息推送至Storm集群中,所述gps信息包括:用户id、行车图片或行车视频信息id、行车图片或行车视频的拍摄时间、行车图片或行车视频的拍摄精度值、以及行车图片或行车视频的拍摄纬度值;
S22、所述Storm集群中的spout组件接收推送来的所述gps信息,并将所述gps信息传送给bolt组件进行处理;
S23、获取一条未匹配的行车轨迹、以及所述行车轨迹的拍摄时间,判断所述行车图片或行车视频的拍摄时间是否晚于所述行车轨迹的开始时间;
S24、若是,则获取所述行车轨迹中每一个轨迹点的gps信息,并判断所述行车图片或行车视频中的路线是否与所述行车轨迹匹配;
S25、若路线相似度匹配成功,则将所述行车图片或行车视频的id同步写入所述行车轨迹中。
步骤S103、统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示。
本发明实施例中,所述步骤S103具体包括步骤:
S31、预先设置待计算的里程数、最低速度、最高速度以及平均速度的初始值为0;
S32、获取匹配好的行车轨迹中gps点的数量,计算分页的页数,并判断所述分页的页数是否小于或等于总页数;
S33、若否,则获取第一个轨迹点的gps信息,并将所述第一个轨迹点的速度值赋给最高速度和最低速度;
S34、遍历行车轨迹中所有的轨迹点,获取相应的速度值,并根据所有轨迹点的速度值实时更新最高速度和最低速度;
S35、根据累加速度为0的轨迹点所消耗的时间计算里程数,同时根据所述行车轨迹的拍摄时间减去速度为0的轨迹点所消耗的时间计算平均速度;
S36、将所述最高速度、最低速度、里程数以及平均速度进行统计保存至云数据库中,并进行输出显示。
以下将通过具体的应用实施例对本发明做进一步说明。本发明实现了将将行车轨迹、行车图片、行车视频进行云端存储的功能,请参照图1,图1所示为本发明将行车图片文件或行车视频文件上传至hadoop集群的流程示意图。本发明应用实施例中,将行车图片和行车视频统称为“资源”,其中,所述的资源包括行车图片或行车视频的gps信息,所述信息定义又具体包括:userId表示用户ID;resourceId表示资源(包括行车图片和行车视频)id;createTime表示资源(包括行车图片和行车视频)的拍摄时间;longitude表示资源(包括行车图片和行车视频)拍摄位置的经度值;latitude表示资源(包括行车图片和行车视频)拍摄位置的纬度值。如图2所示,具体包括步骤:
S200、程序开始。
S201、判断上传文件监听器是否为空。
S202、若不为空,则此时监听器发出通知:上传作业已经开始;否则,进入步骤S219。
S203、判断上传文件列表中是否还有未上传的文件。
S204、若是,则从文件列表中获取一个需要上传的文件。否则,进入步骤S218。
S205、判断该待上传的文件是否已被取消上传。
S206、若否,则此时监听器再次通知:第i个文件已经开始上传,否则,返回步骤S203。
S207、从上传文件对象中,获取资源id。
S208、判断该资源是否已经存在。
S209、若否,则生成保存在hadoop中的文件名,同时设置大文件标记、以及设置文件存放在hadoop中的目录;否则,进入步骤S217。
S210、开始上传文件。若在此过程中,出现用户随机取消文件上传的操作,则进入步骤S216;否则,直接进入步骤S211。
S211、判断文件上传是否出错。
S212、若否,则此时监听器发出通知:文件已经上传成功,正在保存数据。否则,进入步骤S217。
S213、上传资源缩略图,同时保存资源信息到数据库中。
S214、此时监听器发出通知:第i个文件已经上传成功。
S215、将i值自加1,返回步骤S203,循环操作。
S216、若在上传文件的过程中,出现用户随机取消文件上传的操作,则删除掉hadoop集群上的这个文件,同时监听器发出通知:第i个文件已经被取消上传。
S217、若上传文件失败,则删除掉hadoop集群上的这个文件,同时监听器发出通知:第i个文件已经上传失败。
S218、若上传文件列表中没有未上传的文件,则监听器发出通知:上传作业已经结束。
S219、程序结束。
进一步地,本发明还可实现从hadoop集群中下载行车图片文件或行车视频文件、以及从hadoop集群中删除行车图片文件或行车视频文件,其实现原理与图2所示的上传步骤同理,在此不再详述。而对于行车轨迹,本发明使用HBase数据库作为云数据库,保存行车轨迹以及各种数据关系。同时设计了行车资源表、行车资源存储信息表、行车设备GPS信息表、行车资源GPS信息表、行车记录信息表、用户行车记录信息索引表、以及用户行车记录资源索引表等多张云数据库表。
进一步地,本发明还利用Storm云技术实现了行车轨迹与行车图片、行车视频的匹配功能,以及行车距离、行车速度的统计功能。Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理,spout把数据传递给bolt,bolt要么把数据保存到某种存储器,要么把数据传递给其它的bolt。
1.行车轨迹与行车图片、行车视频的匹配功能
此功能作为一个拓扑运行在storm集群中,该拓扑的名称为ResourceMatch-Topologie,包括了一个spout组件和两个bolt组件。
(1)spout组件
ResourceMatch-Topologie拓扑中的spout组件,用于接收需要进行匹配的行车图片或行车视频的gps信息,并将这些信息推送给bolt组件。spout组件在初始化时,会预先创建一个线程,该线程会启动一个ActiveMq客户端,该客户端会向ActiveMq服务订阅消息,即行车图片或行车视频的gps信息。系统在上传完图片后,会自动向ActiveMq发送行车图片或行车视频的gps消息,这样spout组件就能收到这些需要进行匹配的资源信息。例如在行车图片上传到hadoop集群后,系统需要将行车图片的gps信息推送给storm集群,示例代码如下:
ApkStorageMSProducerproducer=newApkStorageMSProducer(…);//创建ActiveMq客户端,该客户端负责向ActiveMq发送消息
Floatlatitude=resource.getLatitude();//获取纬度
Floatlongitude=resource.getLongitude();//获取经度
if((latitude!=null)&&(longitude!=null))
{
//资源带有经纬度数据,需要将消息推送给storm集群
ResourceGPSDatagpsData=newResourceGPSData();//
gpsData.setUserId(…);
gpsData.setResourceId(…);
…//生成资源gps信息对象
producer.sendGPSDataMessage(true,
null,
gpsData);//向activemq发送消息
}
producer.closeConnect();//关闭activemq客户端
spout组件收到消息后,就可以直接向bolt组件传送数据了,如下:
ResourceGPSDatagpsData=null;
while(!messages.isEmpty())
{
gpsData=messages.poll();//从队列中,获取缓存的资源gps信息
collector.emit(newValues(gpsData),
gpsData.getResourceId());//将消息传送给bolt组件
}
(2)bolt组件
第一个bolt组件的功能是:将资源(包括行车图片和行车微视)同正在录制的行车轨迹进行匹配;第二个bolt组件的功能是:将资源同已经录制完毕的行车轨迹进行匹配。这两个bolt组件在进行资源匹配时,差别在于时间范围的比较;因为正在录制中的行车轨迹只有开始时间,没有结束时间。现在以第一个bolt组件的资源匹配流程为例,说明匹配算法的实现,如图3所示,包括:
S300、程序开始。
S301、从spout组件传送过来的数据中获取资源gps信息。
S302、从资源gps信息中获取资源id、用户id、经纬度和资源拍摄时间。
S303、判断数据是否为资源gps信息。
S304、若是,则获取用户正在录制的行车轨迹信息。否则,进入步骤S314。
S305、判断是否还有未匹配的行车轨迹。
S306、若是,则获取一条未匹配的行车轨迹;否则,进入步骤S313。
S307、获取行车轨迹的开始时间。
S308、判断资源的拍摄时间是否晚于行车轨迹开始的时间。
S309、若是,则获取行车轨迹中的各个点的gps数据;否则,返回步骤S305。
S310、判断资源是否与轨迹匹配。
S311、若是,则将资源id写入该行车轨迹中;否则,返回步骤S305。
S312、对元组进行答复。
S313、将资源gps信息传送给下一个bolt组件
S314、程序结束。
2.行车距离、行车速度统计功能
此功能作为一个单独的拓扑运行在storm集群中,该拓扑的名称为Speed-Topologie,包括了一个spout组件和一个bolt组件。
(1)spout组件
Speed-Topologie拓扑中的spout组件,用于接收需要进行速度和里程统计的设备行车记录的id,并将这些id推送给bolt组件。spout组件同样使用ActiveMq客户端来接收消息。客户端在调用结束录制行车轨迹的接口后,系统会自动将这条行车轨迹的信息id推送给storm集群。这一整个的实现流程同资源匹配ResourceMatch-Topologie拓扑的spout组件是一样的,在此不再详述。
(2)bolt组件
该bolt组件用于统计一条行车轨迹中的平均速度,最高速度、最低速度和里程数。bolt组件进行速度统计的流程参照图3,包括:
S400、程序开始。
S401、从spout组件传送过来的数据中,获取设备行车记录id。
S402、判断此id是否为空。
S403、若不为空,则获取行车轨迹中gps点的数量,并计算分页的页数i。否则,进入步骤S420。
S404、设置初始值:里程数为0,最低速度为0,最高速度为0,平均速度为0。
S405、判断i是否小于等于总页数。
S406、若否,则分页查询第i页的gps数据。否则,进入步骤S417。
S407、判断此时是否是第一页的gps数据。
S408、若是,则获取第一个点的gps数据,并将这个点的速度赋值给最高速度和最低速度。否则,进入步骤S411。
S409、判断这个点的速度是否为0。
S410、若是,则保存这个点的时间戳(因为我们需要剔除为0的点,并计算这些点所消耗的时间);否则,进入步骤S411。
S411、判断gps点是否已经遍历完毕。
S412、若否,则获取下一个点的gps数据。否则,返回步骤S405。
S413、根据这个点的速度,更新最低速度和最大速度。
S414、判断这个点的速度是否为0。
S415、若是,则进一步确定如果上一个点的速度为0,则累加速度为0的点所消耗的时间。否则,直接进入步骤S416。
S416、实时更新里程数。
S417、获取该条行车记录的运行时间,并减去速度为0的点所消耗的时间。
S418、计算平均速度。
S419、将平均速度、最低速度、最高速度和里程数保存到数据库。
S420、程序结束。
由上可见,本发明结合hadoop+Storm云计算技术,改进了传统的行车记录仪和车载后视镜,实现了将行车轨迹、行车图片、行车视频存储到云端,同时实现了在云端对行车轨迹、行车图片、行车视频等信息进行数据匹配、数据统计等功能,为用户提供方便。
基于上述实施例,本发明还提供一种基于Storm技术的行车记录信息处理系统,如图5所示,包括:
数据库表预设模块100,用于实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;具体如上所述。
匹配模块200,用于利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配;具体如上所述。
统计保存模块300,用于统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示;具体如上所述。
进一步地,所述预设的多张云数据库表包括:行车资源表、行车资源存储信息表、行车设备GPS信息表、行车资源GPS信息表、行车记录信息表、用户行车记录信息索引表、以及用户行车记录资源索引表。
进一步地,所述数据库表预设模块100具体包括:
获取记录信息单元,用于实时获取行车图片或行车视频,并预先在云数据库表中为每一个相应的行车图片信息或行车视频信息设置唯一标识的id号;具体如上所述。
第一判断单元,用于检测上传文件监听器是否为空,若为空,则判断上传文件列表中是否有未上传的行车图片或行车视频;具体如上所述。
第二判断单元,用于若是,则从所述上传文件列表中提取一行车图片或行车视频,并判断所述行车图片信息或行车视频信息相对应的id号是否已经存在;具体如上所述。
上传单元,用于若不存在,则自动生成待存放的文件目录及文件名,并开始上传行车图片或行车视频;具体如上所述。
第一存储单元,用于将上传的所述行车图片或行车视频存储到预设的Hadoop的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;具体如上所述。
进一步地,所述匹配模块200具体包括:
gps信息推送单元,用于检测到所有行车图片或行车视频上传完成后,将所述行车图片或行车视频的gps信息推送至Storm集群中,所述gps信息包括:用户id、行车图片或行车视频信息id、行车图片或行车视频的拍摄时间、行车图片或行车视频的拍摄精度值、以及行车图片或行车视频的拍摄纬度值;具体如上所述。
gps信息接收单元,用于所述Storm集群中的spout组件接收推送来的所述gps信息,并将所述gps信息传送给bolt组件进行处理;具体如上所述。
第三判断单元,用于获取一条未匹配的行车轨迹、以及所述行车轨迹的拍摄时间,判断所述行车图片或行车视频的拍摄时间是否晚于所述行车轨迹的开始时间;具体如上所述。
第四判断单元,用于若是,则获取所述行车轨迹中每一个轨迹点的gps信息,并判断所述行车图片或行车视频中的路线是否与所述行车轨迹匹配;具体如上所述。
匹配设置单元,用于若路线相似度匹配成功,则将所述行车图片/行车视频的id同步写入所述行车轨迹中;具体如上所述。
进一步地,所述述统计保存模块300具体包括:
初始值预设单元,用于预先设置待计算的里程数、最低速度、最高速度以及平均速度的初始值为0;具体如上所述。
第五判断单元,用于获取匹配好的行车轨迹中gps点的数量,计算分页的页数,并判断所述分页的页数是否小于或等于总页数;具体如上所述。
赋值单元,用于若否,则获取第一个轨迹点的gps信息,并将所述第一个轨迹点的速度值赋给最高速度和最低速度;具体如上所述。
更新单元,用于遍历行车轨迹中所有的轨迹点,获取相应的速度值,并根据所有轨迹点的速度值实时更新最高速度和最低速度;具体如上所述。
计算单元,用于根据累加速度为0的轨迹点所消耗的时间计算里程数,同时根据所述行车轨迹的拍摄时间减去速度为0的轨迹点所消耗的时间计算平均速度;具体如上所述。
保存单元,用于将所述最高速度、最低速度、里程数以及平均速度进行统计保存至云数据库中,并进行输出显示;具体如上所述。
综上所述,本发明所提供的一种基于Storm技术的行车记录信息处理方法及系统,所述方法具体包括:实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配;统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示。本发明对传统行车记录仪和车载后视镜进行改进,使其进一步实现了将行车轨迹、行车图片、行车视频存储到云端,同时实现了在云端对行车轨迹、行车图片、行车视频等信息进行数据匹配、数据统计等功能,为用户提供了极大的方便。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于Storm技术的行车记录信息处理方法,其特征在于,包括步骤:
S1、实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;
S2、利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配;
S3、统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示。
2.根据权利要求1所述的基于Storm技术的行车记录信息处理方法,其特征在于,所述预设的多张云数据库表包括:行车资源表、行车资源存储信息表、行车设备GPS信息表、行车资源GPS信息表、行车记录信息表、用户行车记录信息索引表、以及用户行车记录资源索引表。
3.根据权利要求1所述的基于Storm技术的行车记录信息处理方法,其特征在于,所述步骤S1具体包括:
S11、实时获取行车图片或行车视频,并预先在云数据库表中为每一个相应的行车图片信息或行车视频信息设置唯一标识的id号;
S12、检测上传文件监听器是否为空,若为空,则判断上传文件列表中是否有未上传的行车图片或行车视频;
S13、若是,则从所述上传文件列表中提取一行车图片或行车视频,并判断所述行车图片信息或行车视频信息相对应的id号是否已经存在;
S14、若不存在,则自动生成待存放的文件目录及文件名,并开始上传行车图片或行车视频;
S15、将上传的所述行车图片或行车视频存储到预设的Hadoop的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中。
4.根据权利要求3所述的基于Storm技术的行车记录信息处理方法,其特征在于,所述步骤S2具体包括步骤:
S21、检测到所有行车图片或行车视频上传完成后,将所述行车图片或行车视频的gps信息推送至Storm集群中,所述gps信息包括:用户id、行车图片或行车视频信息id、行车图片或行车视频的拍摄时间、行车图片或行车视频的拍摄精度值、以及行车图片或行车视频的拍摄纬度值;
S22、所述Storm集群中的spout组件接收推送来的所述gps信息,并将所述gps信息传送给bolt组件进行处理;
S23、获取一条未匹配的行车轨迹、以及所述行车轨迹的拍摄时间,判断所述行车图片或行车视频的拍摄时间是否晚于所述行车轨迹的开始时间;
S24、若是,则获取所述行车轨迹中每一个轨迹点的gps信息,并判断所述行车图片或行车视频中的路线是否与所述行车轨迹匹配;
S25、若路线相似度匹配成功,则将所述行车图片或行车视频的id同步写入所述行车轨迹中。
5.根据权利要求4所述的基于Storm技术的行车记录信息处理方法,其特征在于,所述步骤S3具体包括:
S31、预先设置待计算的里程数、最低速度、最高速度以及平均速度的初始值为0;
S32、获取匹配好的行车轨迹中gps点的数量,计算分页的页数,并判断所述分页的页数是否小于或等于总页数;
S33、若否,则获取第一个轨迹点的gps信息,并将所述第一个轨迹点的速度值赋给最高速度和最低速度;
S34、遍历行车轨迹中所有的轨迹点,获取相应的速度值,并根据所有轨迹点的速度值实时更新最高速度和最低速度;
S35、根据累加速度为0的轨迹点所消耗的时间计算里程数,同时根据所述行车轨迹的拍摄时间减去速度为0的轨迹点所消耗的时间计算平均速度;
S36、将所述最高速度、最低速度、里程数以及平均速度进行统计保存至云数据库中,并进行输出显示。
6.一种基于Storm技术的行车记录信息处理系统,其特征在于,包括:
数据库表预设模块,用于实时获取车辆的行车轨迹或行车图片或行车视频,并将所述行车轨迹或行车图片或行车视频保存到预设的Hadoop集群的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中;
匹配模块,用于利用Storm集群技术将所述行车轨迹与所述行车图片和行车视频进行路线相似度的匹配;
统计保存模块,用于统计每一条匹配好的行车轨迹中的平均速度、最高速度、最低速度和里程数,并进行输出显示。
7.根据权利要求6所述基于Storm技术的行车记录信息处理系统,其特征在于,所述预设的多张云数据库表包括:行车资源表、行车资源存储信息表、行车设备GPS信息表、行车资源GPS信息表、行车记录信息表、用户行车记录信息索引表、以及用户行车记录资源索引表。
8.根据权利要求7所述基于Storm技术的行车记录信息处理系统,其特征在于,所述数据库表预设模块具体包括:
获取记录信息单元,用于实时获取行车图片或行车视频,并预先在云数据库表中为每一个相应的行车图片信息或行车视频信息设置唯一标识的id号;
第一判断单元,用于检测上传文件监听器是否为空,若为空,则判断上传文件列表中是否有未上传的行车图片或行车视频;
第二判断单元,用于若是,则从所述上传文件列表中提取一行车图片或行车视频,并判断所述行车图片信息或行车视频信息相对应的id号是否已经存在;
上传单元,用于若不存在,则自动生成待存放的文件目录及文件名,并开始上传行车图片或行车视频;
第一存储单元,用于将上传的所述行车图片或行车视频存储到预设的Hadoop的分布式文件系统中,同时将相应的行车轨迹信息或行车图片信息或行车视频信息保存到预设的多张云数据库表中。
9.根据权利要求8所述基于Storm技术的行车记录信息处理系统,其特征在于,所述匹配模块具体包括:
gps信息推送单元,用于检测到所有行车图片或行车视频上传完成后,将所述行车图片或行车视频的gps信息推送至Storm集群中,所述gps信息包括:用户id、行车图片或行车视频信息id、行车图片或行车视频的拍摄时间、行车图片或行车视频的拍摄精度值、以及行车图片或行车视频的拍摄纬度值;
gps信息接收单元,用于所述Storm集群中的spout组件接收推送来的所述gps信息,并将所述gps信息传送给bolt组件进行处理;
第三判断单元,用于获取一条未匹配的行车轨迹、以及所述行车轨迹的拍摄时间,判断所述行车图片或行车视频的拍摄时间是否晚于所述行车轨迹的开始时间;
第四判断单元,用于若是,则获取所述行车轨迹中每一个轨迹点的gps信息,并判断所述行车图片或行车视频中的路线是否与所述行车轨迹匹配;
匹配设置单元,用于若路线相似度匹配成功,则将所述行车图片或行车视频的id同步写入所述行车轨迹中。
10.根据权利要求8所述基于Storm技术的行车记录信息处理系统,其特征在于,所述统计保存模块具体包括:
初始值预设单元,用于预先设置待计算的里程数、最低速度、最高速度以及平均速度的初始值为0;
第五判断单元,用于获取匹配好的行车轨迹中gps点的数量,计算分页的页数,并判断所述分页的页数是否小于或等于总页数;
赋值单元,用于若否,则获取第一个轨迹点的gps信息,并将所述第一个轨迹点的速度值赋给最高速度和最低速度;
更新单元,用于遍历行车轨迹中所有的轨迹点,获取相应的速度值,并根据所有轨迹点的速度值实时更新最高速度和最低速度;
计算单元,用于根据累加速度为0的轨迹点所消耗的时间计算里程数,同时根据所述行车轨迹的拍摄时间减去速度为0的轨迹点所消耗的时间计算平均速度;
保存单元,用于将所述最高速度、最低速度、里程数以及平均速度进行统计保存至云数据库中,并进行输出显示。
CN201510630720.0A 2015-09-29 2015-09-29 一种基于Storm技术的行车记录信息处理方法及系统 Active CN105336017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510630720.0A CN105336017B (zh) 2015-09-29 2015-09-29 一种基于Storm技术的行车记录信息处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510630720.0A CN105336017B (zh) 2015-09-29 2015-09-29 一种基于Storm技术的行车记录信息处理方法及系统

Publications (2)

Publication Number Publication Date
CN105336017A true CN105336017A (zh) 2016-02-17
CN105336017B CN105336017B (zh) 2017-12-05

Family

ID=55286517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510630720.0A Active CN105336017B (zh) 2015-09-29 2015-09-29 一种基于Storm技术的行车记录信息处理方法及系统

Country Status (1)

Country Link
CN (1) CN105336017B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407463A (zh) * 2016-10-11 2017-02-15 郑州云海信息技术有限公司 一种基于Hadoop的图像处理方法及系统
CN107067365A (zh) * 2017-04-25 2017-08-18 中国石油大学(华东) 基于深度学习的分布嵌入式实时视频流处理系统及方法
CN107452088A (zh) * 2016-05-31 2017-12-08 沈阳美行科技有限公司 关联存储和同步展示行车路径和图像的方法、装置及系统
CN108306904A (zh) * 2016-08-25 2018-07-20 大连楼兰科技股份有限公司 车联网路况视频采集与分享方法及系统
CN108986253A (zh) * 2018-06-29 2018-12-11 百度在线网络技术(北京)有限公司 用于存储数据的方法、装置、设备和计算机可读存储介质
CN110032131A (zh) * 2018-01-12 2019-07-19 中科院微电子研究所昆山分所 基于Storm的电动车状态监控处理系统及监控系统
CN110708567A (zh) * 2019-04-15 2020-01-17 中国石油大学(华东) 一种基于主动学习的分布式自优化视频实时解析框架

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079762A (zh) * 2006-05-25 2007-11-28 秦国锋 实时采集与发布行车记录的车载终端
CN102201132A (zh) * 2011-03-09 2011-09-28 宇龙计算机通信科技(深圳)有限公司 移动终端和行程提示方法
CN104468847A (zh) * 2014-12-31 2015-03-25 北京赛维安讯科技发展有限公司 一种车辆的行程记录信息分享方法、设备、服务器及系统
CN104766392A (zh) * 2015-04-17 2015-07-08 巫立斌 一种基于云端存储的行车记录监控装置
US20150228128A1 (en) * 2014-02-07 2015-08-13 Tata Consultancy Services Limited System and method for generating a driving profile of a user

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079762A (zh) * 2006-05-25 2007-11-28 秦国锋 实时采集与发布行车记录的车载终端
CN102201132A (zh) * 2011-03-09 2011-09-28 宇龙计算机通信科技(深圳)有限公司 移动终端和行程提示方法
US20150228128A1 (en) * 2014-02-07 2015-08-13 Tata Consultancy Services Limited System and method for generating a driving profile of a user
CN104468847A (zh) * 2014-12-31 2015-03-25 北京赛维安讯科技发展有限公司 一种车辆的行程记录信息分享方法、设备、服务器及系统
CN104766392A (zh) * 2015-04-17 2015-07-08 巫立斌 一种基于云端存储的行车记录监控装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452088A (zh) * 2016-05-31 2017-12-08 沈阳美行科技有限公司 关联存储和同步展示行车路径和图像的方法、装置及系统
CN108306904A (zh) * 2016-08-25 2018-07-20 大连楼兰科技股份有限公司 车联网路况视频采集与分享方法及系统
CN106407463A (zh) * 2016-10-11 2017-02-15 郑州云海信息技术有限公司 一种基于Hadoop的图像处理方法及系统
CN107067365A (zh) * 2017-04-25 2017-08-18 中国石油大学(华东) 基于深度学习的分布嵌入式实时视频流处理系统及方法
CN110032131A (zh) * 2018-01-12 2019-07-19 中科院微电子研究所昆山分所 基于Storm的电动车状态监控处理系统及监控系统
CN108986253A (zh) * 2018-06-29 2018-12-11 百度在线网络技术(北京)有限公司 用于存储数据的方法、装置、设备和计算机可读存储介质
CN110708567A (zh) * 2019-04-15 2020-01-17 中国石油大学(华东) 一种基于主动学习的分布式自优化视频实时解析框架

Also Published As

Publication number Publication date
CN105336017B (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
CN105336017A (zh) 一种基于Storm技术的行车记录信息处理方法及系统
CN108932303B (zh) 一种分布式可见光遥感影像动态目标检测与分析系统
US8971641B2 (en) Spatial image index and associated updating functionality
CN101339486B (zh) 用于提供画面文件的方法和设备
WO2018225069A1 (en) Digitizing and mapping the public space using collaborative networks of mobile agents and cloud nodes
CN102725755B (zh) 文件访问方法及系统
CN103189922A (zh) 合并关于副本图像的元数据
EP3351008B1 (en) Event-based image management using clustering
CN110442813B (zh) 一种基于ar的旅游纪念信息处理系统及方法
CN101620609A (zh) 多租户数据存储和访问方法和装置
EP2929451A2 (en) Method and system for global federation of wide area motion imagery collection web services
US10791173B2 (en) Decentralized and distributed continuous replication system for moving devices
CN101908057B (zh) 信息处理装置与信息处理方法
WO2022083436A1 (zh) 数据处理方法、装置、设备及可读存储介质
US11860846B2 (en) Methods, systems and apparatus to improve spatial-temporal data management
CN105159958A (zh) 一种基于移动终端的图片信息处理的方法及系统
CN112069368A (zh) 数据存储、调用方法及系统
CN111813875A (zh) 地图点位信息处理方法、装置及服务器
CN111355912A (zh) 一种执法记录方法及系统
Jung et al. Real-time car tracking system based on surveillance videos
CN109427031A (zh) 一种数据处理方法及设备
US9208171B1 (en) Geographically locating and posing images in a large-scale image repository and processing framework
CN113722276A (zh) 日志数据处理方法、系统、存储介质及电子设备
CN114157829A (zh) 模型训练优化方法、装置、计算机设备及存储介质
CN104063421A (zh) 海量交通遥感数据检索方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518057, Guangdong Province, Nanshan District hi tech Zone, North Road, Thunis Road, science and Technology Park, No. 9, layer A906, layer 13

Applicant after: Shenzhen Aipei Science and Technology Co., Ltd

Address before: 518057, Guangdong Province, Nanshan District hi tech Zone, North Road, Thunis Road, science and Technology Park, No. 9, layer A906, layer 13

Applicant before: Apical technology development (Shenzhen) Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant