CN109270565A - 一种车载gps大数据的处理装置 - Google Patents

一种车载gps大数据的处理装置 Download PDF

Info

Publication number
CN109270565A
CN109270565A CN201811028109.0A CN201811028109A CN109270565A CN 109270565 A CN109270565 A CN 109270565A CN 201811028109 A CN201811028109 A CN 201811028109A CN 109270565 A CN109270565 A CN 109270565A
Authority
CN
China
Prior art keywords
data
gps
vehicle
big data
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811028109.0A
Other languages
English (en)
Other versions
CN109270565B (zh
Inventor
殷建红
肖杰
李宏
陆龙
林少媚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ecar Telematics Service Co Ltd
Original Assignee
Guangdong Ecar Telematics Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ecar Telematics Service Co Ltd filed Critical Guangdong Ecar Telematics Service Co Ltd
Priority to CN201811028109.0A priority Critical patent/CN109270565B/zh
Publication of CN109270565A publication Critical patent/CN109270565A/zh
Application granted granted Critical
Publication of CN109270565B publication Critical patent/CN109270565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开一种车载GPS大数据的处理装置，其由Flume系统、Kafka系统、Sqoop系统和Python爬虫系统分别从若干车载终端、应用平台、用户终端应用和云系统实时采集各项源数据，由此生成车载GPS大数据生态圈；程序存储介质为车载GPS大数据生态圈分别设置各项数据标准化口径，并启动大数据分析处理器根据所设的数据标准化口径对车载GPS大数据生态圈进行实时分类分析，获取多维度标准的分析结果；程序存储介质将多维度标准的分析结果存储于数据存储模块，且通过WEB接口将多维度的分析结果实时展现于可视化界面。本发明通过对车载GPS大数据生态圈归类后进行大数据分析处理，为用户提供有实时的、相对准确的、高效的数据分析结果。

Description

一种车载GPS大数据的处理装置
技术领域
本发明涉及车联网通信技术领域，特别涉及一种车载GPS大数据的处理装置。
背景技术
车联网能够实现智能化交通管理、智能动态信息服务和车辆控制的一体化网络，通过车与车、车与路、车与人、车与传感设备交互，实现车辆与公众网络通信的动态移动通信系统。通过车与车、车与人、车与路互联互通实现信息共享，在信息网络平台上对多源采集的信息进行加工、计算、共享和安全发布，从网络结构上看，车联网（IOV：InternetofVehicle）是一个端管云的三层体系，第一层终端系统，终端系统是汽车智传感器，负责采集与获取车辆的智能信息，感知行车状态与环境，为车内通信、车间通信、车网通信的通信终端；第二层管系统，解决车与车、车与路、车与网、车与人等互联互通，实现车辆自组网及多种异构网络之间的通信与漫游；第三层云系统，车联网的云架构的车辆运行信息平台，它的生态链包括ITS、物流、客货运、危特车辆、汽修汽配、汽车租赁、企事业车辆管理、汽车制造商、4S店、车管、保险、紧急救援、移动互联网等，是多源海量信息的汇聚。随着汽车的普及，使用车载GPS逐渐增多，基于车载GPS的车联网数据日渐庞大，若是对车联网生成大数据进行实时分析处理，将会获取有利于车辆行驶控制或者是交通运输综合管理的实时的、相对准确的、高效的数据分析结果。
发明内容
本发明的主要目的是提出一种车载GPS大数据的处理装置，旨在克服以上问题。
为实现上述目的，本发明提出的一种车载GPS大数据的处理装置，包括用于日志采集的Flume系统、用于分布式发布订阅消息采集的Kafka系统、用于分布式文件架构数据传送的Sqoop系统、用于车载数据流量采集的Python爬虫系统、车载终端、应用平台、用户终端应用、云系统、程序存储介质、大数据分析处理器、数据库、WEB接口和可视化界面，
由Flume系统、Kafka系统、Sqoop系统和Python爬虫系统分别从若干车载终端、应用平台、用户终端应用和云系统实时采集各项源数据，由此生成车载GPS大数据生态圈；程序存储介质为车载GPS大数据生态圈分别设置各项数据标准化口径，并启动大数据分析处理器根据所设的数据标准化口径对车载GPS大数据生态圈进行实时分类分析，获取多维度标准的分析结果；程序存储介质将多维度标准的分析结果存储于数据库，且通过WEB接口将多维度的分析结果实时展现于可视化界面。
优选地，还包括数据频率镜像缓存redis，所述数据频率镜像缓存redis用于分别从Flume系统、Kafka系统和Sqoop系统定时采集各项源数据的相应获取频次，程序存储介质将所采集的各项源数据的相应获取频次传送至大数据分析处理器参与实时分类分析。
优选地，所述各项源数据包括：由Flume系统采集车载终端的巡航电源ACC日志、车辆启停日志、车载终端网络连接日志、GPS状态日志及TCP连接日志；由Flume系统采集应用平台的TCP连接日志，由Kafka系统采集应用平台的GPS消息，由Sqoop系统采集应用平台的车辆行程数据、原地设防状态数据；由Flume系统采集用户终端应用的用户请求应用、请求时间及返回状态的日志，由Sqoop系统采集用户终端应用的用户投诉及反馈信息，由Flume系统采集云系统的用户注册信息、设备自检信息的日志；由Python爬虫系统采集车载GPS网络流量分布。
优选地，还包括数据存储模块，所述程序存储介质将车载GPS大数据生态圈数据分类处理后将其存储于数据存储模块，再启动大数据分析处理器根据所设的数据标准化口径对车载GPS大数据生态圈进行实时分类分析，获取多维度标准的分析结果，所述程序存储介质执行以上操作的程序步骤为：
将车载GPS大数据生态圈分类为GPS信号数据群、车载终端连接数据群、车辆轨迹状态数据群和系统应用数据群后，存储于数据存储模块，其中GPS信号数据群包括云系统的用户注册信息、设备自检信息的日志、GPS状态日志、车载GPS网络流量分布及由Kafka系统采集应用平台的GPS消息；车载终端连接数据群包括车载终端的巡航电源ACC日志、车辆启停日志、车载终端网络连接日志、车载终端的TCP连接日志、应用平台的TCP连接日志；车辆轨迹状态数据群包括应用平台的车辆行程数据、车辆启停日志；系统应用数据群包括应用平台的原地设防状态数据、用户终端应用的用户请求应用、请求时间及返回状态的日志、用户终端应用的用户投诉及反馈信息；
启动大数据分析处理器从GPS信号数据群中提取GPS点数的相关词干，对所提取的GPS数据词干通过Apache Spark集群计算获取如下数据；GPS正常采集频次、GPS总点数、正常GPS点数、在线GPS点数、弱信号GPS点数；
启动大数据分析处理器从车载终端连接数据群中提取车载终端连接词干，对所提取的车载终端连接词干通过Apache Spark集群计算获取如下数据；车载启动次数及时长、TCP连接成功或失败次数、ACC 开启及关闭次数、车载终端网络连接次数及时长；
启动大数据分析处理器从系统应用数据群中提取原地设防消息词干、用户请求的在线查车词干、用户请求车辆轨迹查询词干、请求反馈词干，对上述提取的词干通过ApacheSpark集群计算获取如下数据；原地设防下发成功或失败消息次数、在线查车使用次数、在线查车成功次数、历史车辆轨迹查询失败/成功次数、请求反馈次数、历史车辆轨迹查询使用次数。
优选地，所述数据库采用分布式的、面向列的开源数据库HBASE。
优选地，所述大数据分析处理器所使用的芯片为集WIFI、Bluetooth、GPS、FM四合一的MT芯片，其中WIFI接口方式有SDIO；Bluetooth接口方式有UART或PCM；GPS接口方式有UART；FM接口方式UART、Audio或I2S。
优选地，所述大数据分析处理器所使用的芯片为MT6627芯片或MTK6627芯片。
优选地，所述各项源数据还包括GPS离线数据，所述GPS离线数据采集时根据制定的离线数据传输协议，车载终端对GPS离线数据进行压缩后上传云系统，传输成功后再将其按照在线数据传输协议串行传输至GPS信号数据群，通过Apache Spark集群计算获得GPS未开启点数、离线GPS点数和GPS速度为0的点数。
优选地，所述数据存储模块分类存储车载GPS大数据生态圈的存储方式有：由Flume系统采集的数据以日志方式存储；由Kafka系统采集的数据以消息方式存储；由Sqoop系统采集的数据存储于NoSql数据库或Mysql数据库；由Python爬虫系统采集的数据存储于Mysql数据库。
本发明技术方案通过车载GPS使用过程中，从用于日志采集的Flume系统、用于分布式发布订阅消息采集的Kafka系统、用于分布式文件架构数据传送的Sqoop系统、用于车载数据流量采集的Python爬虫系统实时采集GPS在线或离线数据，通过大数据分析处理器处理，再落地分布式存储于HBASE，并通过WEB接口展现于可视化界面，以为用户提供有实时的、相对准确的、高效的数据分析结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明车载GPS大数据的处理装置一实施例的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示（诸如上、下、左、右、前、后……），则该方向性指示仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出的一种车载GPS大数据的处理装置，包括用于日志采集的Flume系统、用于分布式发布订阅消息采集的Kafka系统、用于分布式文件架构数据传送的Sqoop系统、用于车载数据流量采集的Python爬虫系统、车载终端、应用平台、用户终端应用、云系统、程序存储介质、大数据分析处理器、数据库、WEB接口和可视化界面，由Flume系统、Kafka系统、Sqoop系统和Python爬虫系统分别从若干车载终端、应用平台、用户终端应用和云系统实时采集各项源数据，由此生成车载GPS大数据生态圈；程序存储介质为车载GPS大数据生态圈分别设置各项数据标准化口径，并启动大数据分析处理器根据所设的数据标准化口径对车载GPS大数据生态圈进行实时分类分析，获取多维度标准的分析结果；程序存储介质将多维度标准的分析结果存储于数据库，且通过WEB接口将多维度的分析结果实时展现于可视化界面。
在本实施例中，本发明技术方案通过车载GPS使用过程中，从用于日志采集的Flume系统、用于分布式发布订阅消息采集的Kafka系统、用于分布式文件架构数据传送的Sqoop系统、用于车载数据流量采集的Python爬虫系统实时采集GPS在线或离线数据，通过大数据分析处理器处理，再落地分布式存储于HBASE，并通过WEB接口展现于可视化界面，以为用户提供有实时的、相对准确的、高效的数据分析结果。该大数据分析处理结果即可为车辆用户提供全流程实时行驶定位及监控，也可为交通运营综合管理部门实时提供准确的数据支撑。
优选地，还包括数据频率镜像缓存redis，所述数据频率镜像缓存redis用于分别从Flume系统、Kafka系统和Sqoop系统定时采集各项源数据的相应获取频次，程序存储介质将所采集的各项源数据的相应获取频次传送至大数据分析处理器参与实时分类分析。
在本实施例中，本发明通过数据频率镜像缓存redis定时采集各项源数据的相应获取频次，将其参与大数据的实时分类分析，采用缓存redis既能定时采集，又不占用内存空间。
优选地，所述各项源数据包括：由Flume系统采集车载终端的巡航电源ACC日志、车辆启停日志、车载终端网络连接日志、GPS状态日志及TCP连接日志；由Flume系统采集应用平台的TCP连接日志，由Kafka系统采集应用平台的GPS消息，由Sqoop系统采集应用平台的车辆行程数据、原地设防状态数据；由Flume系统采集用户终端应用的用户请求应用、请求时间及返回状态的日志，由Sqoop系统采集用户终端应用的用户投诉及反馈信息，由Flume系统采集云系统的用户注册信息、设备自检信息的日志；由Python爬虫系统采集车载GPS网络流量分布。
优选地，还包括数据存储模块，所述程序存储介质将车载GPS大数据生态圈分类处理后将其存储于数据存储模块，再启动大数据分析处理器根据所设的数据标准化口径对车载GPS大数据生态圈进行实时分类分析，获取多维度标准的分析结果，所述程序存储介质执行以上操作的程序步骤为：
将车载GPS大数据生态圈分类为GPS信号数据群、车载终端连接数据群、车辆轨迹状态数据群和系统应用数据群后，存储于数据存储模块，其中GPS信号数据群包括云系统的用户注册信息、设备自检信息的日志、GPS状态日志、车载GPS网络流量分布及由Kafka系统采集应用平台的GPS消息；车载终端连接数据群包括车载终端的巡航电源ACC日志、车辆启停日志、车载终端网络连接日志、车载终端的TCP连接日志、应用平台的TCP连接日志；车辆轨迹状态数据群包括应用平台的车辆行程数据、车辆启停日志；系统应用数据群包括应用平台的原地设防状态数据、用户终端应用的用户请求应用、请求时间及返回状态的日志、用户终端应用的用户投诉及反馈信息；
启动大数据分析处理器从GPS信号数据群中提取GPS点数的相关词干，对所提取的GPS数据词干通过Apache Spark集群计算获取如下数据；GPS正常采集频次、GPS总点数、正常GPS点数、在线GPS点数、弱信号GPS点数；
启动大数据分析处理器从车载终端连接数据群中提取车载终端连接词干，对所提取的车载终端连接词干通过Apache Spark集群计算获取如下数据；车载启动次数及时长、TCP连接成功或失败次数、ACC 开启及关闭次数、车载终端网络连接次数及时长；
启动大数据分析处理器从系统应用数据群中提取原地设防消息词干、用户请求的在线查车词干、用户请求车辆轨迹查询词干、请求反馈词干，对上述提取的词干通过ApacheSpark集群计算获取如下数据；原地设防下发成功或失败消息次数、在线查车使用次数、在线查车成功次数、历史车辆轨迹查询失败/成功次数、请求反馈次数、历史车辆轨迹查询使用次数。
优选地，所述各项源数据还包括GPS离线数据，所述GPS离线数据采集时根据制定的离线数据传输协议，车载终端对GPS离线数据进行压缩后上传云系统，传输成功后再将其按照在线数据传输协议串行传输至GPS信号数据群，通过Apache Spark集群计算获得GPS未开启点数、离线GPS点数和GPS速度为0的点数。
优选地，所述数据存储模块分类存储车载GPS大数据生态圈的存储方式有：由Flume系统采集的数据以日志方式存储；由Kafka系统采集的数据以消息方式存储；由Sqoop系统采集的数据存储于NoSql数据库或Mysql数据库；由Python爬虫系统采集的数据存储于Mysql数据库。
在本实施中，本发明中的Apache Spark是开源和兼容Hadoop的集群计算平台，是一个围绕速度、易用性和复杂分析构建的大数据处理框架，程序存储介质的执行程序先将车载GPS大数据生态圈归类处理，再通过spark实时处理框架（Spark是UC Berkeley AMPlab ，加州大学伯克利分校的AMP实验室，所开源的类Hadoop MapReduce的通用并行框架）中Apache Spark集群算法获取分析结果。
在本发明中，考虑到车载GPS使用出现间歇断网或GPS数据丢失，若没有记录这些异常情况下的GPS采集信息，无法保证车辆轨迹的连续性和准确性，故在异常情况下的GPS采集数据记录下来，当网络正常后，继续把历史数据传送出来，从而提高行车轨迹的连续性和准确性，同时对GPS速度为0、GPS关闭时的即将丢失数据采集进行优化处理，根据制定的离线数据传输协议，车载终端对GPS离线数据进行压缩后上传云系统，传输成功后再将其按照在线数据传输协议传输至GPS信号数据群。GPS离线数据的传输采用串行传输方式，以保证GPS数据传输按照时序传输，不被打乱顺序。
在本发明中，考虑到由各项源数据组成的车载GPS大数据生态圈需要先存储才用于实时分析处理，故设数据存储模块，用于将分类后的各项源数据，按指定格式统一存储，不同属性的数据存储的格式不统一。
优选地，所述数据存储模块采用分布式的、面向列的开源数据库HBASE。
优选地，所述大数据分析处理器所使用的芯片为集WIFI、Bluetooth、GPS、FM四合一的MT芯片，其中WIFI接口方式有SDIO；Bluetooth接口方式有UART或PCM；GPS接口方式有UART；FM接口方式UART、Audio或I2S。
优选地，所述大数据分析处理器所使用的芯片为MT6627芯片或MTK6627芯片。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种车载GPS大数据的处理装置，其特征在于，包括用于日志采集的Flume系统、用于分布式发布订阅消息采集的Kafka系统、用于分布式文件架构数据传送的Sqoop系统、用于车载数据流量采集的Python爬虫系统、车载终端、应用平台、用户终端应用、云系统、程序存储介质、大数据分析处理器、数据库、WEB接口和可视化界面，
由Flume系统、Kafka系统、Sqoop系统和Python爬虫系统分别从若干车载终端、应用平台、用户终端应用和云系统实时采集各项源数据，由此生成车载GPS大数据生态圈；程序存储介质为车载GPS大数据生态圈分别设置各项数据标准化口径，并启动大数据分析处理器根据所设的数据标准化口径对车载GPS大数据生态圈进行实时分类分析，获取多维度标准的分析结果；程序存储介质将多维度标准的分析结果存储于数据库，且通过WEB接口将多维度的分析结果实时展现于可视化界面。
2.如权利要求1所述的车载GPS大数据的处理装置，其特征在于，还包括数据频率镜像缓存redis，所述数据频率镜像缓存redis用于分别从Flume系统、Kafka系统、Sqoop系统和Python爬虫系统定时采集各项源数据的相应获取频次，程序存储介质将所采集的各项源数据的相应获取频次传送至大数据分析处理器参与实时分类分析。
3.如权利要求2所述的车载GPS大数据的处理装置，其特征在于，所述各项源数据包括：由Flume系统采集车载终端的巡航电源ACC日志、车辆启停日志、车载终端网络连接日志、GPS状态日志及TCP连接日志；由Flume系统采集应用平台的TCP连接日志，由Kafka系统采集应用平台的GPS消息，由Sqoop系统采集应用平台的车辆行程数据、原地设防状态数据；由Flume系统采集用户终端应用的用户请求应用、请求时间及返回状态的日志，由Sqoop系统采集用户终端应用的用户投诉及反馈信息，由Flume系统采集云系统的用户注册信息、设备自检信息的日志；由Python爬虫系统采集车载GPS网络流量分布。
4.如权利要求3所述的车载GPS大数据的处理装置，其特征在于，还包括数据存储模块，所述程序存储介质将车载GPS大数据生态圈数据分类处理后将其存储于数据存储模块，再启动大数据分析处理器根据所设的数据标准化口径对车载GPS大数据生态圈进行实时分类分析，获取多维度标准的分析结果，所述程序存储介质执行以上操作的程序步骤为：
将车载GPS大数据生态圈分类为GPS信号数据群、车载终端连接数据群、车辆轨迹状态数据群和系统应用数据群后，存储于数据存储模块，其中GPS信号数据群包括云系统的用户注册信息、设备自检信息的日志、GPS状态日志、车载GPS网络流量分布及由Kafka系统采集应用平台的GPS消息；车载终端连接数据群包括车载终端的巡航电源ACC日志、车辆启停日志、车载终端网络连接日志、车载终端的TCP连接日志、应用平台的TCP连接日志；车辆轨迹状态数据群包括应用平台的车辆行程数据、车辆启停日志；系统应用数据群包括应用平台的原地设防状态数据、用户终端应用的用户请求应用、请求时间及返回状态的日志、用户终端应用的用户投诉及反馈信息；
启动大数据分析处理器从GPS信号数据群中提取GPS点数的相关词干，对所提取的GPS数据词干通过Apache Spark集群计算获取如下数据；GPS正常采集频次、GPS总点数、正常GPS点数、在线GPS点数、弱信号GPS点数；
启动大数据分析处理器从车载终端连接数据群中提取车载终端连接词干，对所提取的车载终端连接词干通过Apache Spark集群计算获取如下数据；车载启动次数及时长、TCP连接成功或失败次数、ACC 开启及关闭次数、车载终端网络连接次数及时长；
启动大数据分析处理器从系统应用数据群中提取原地设防消息词干、用户请求的在线查车词干、用户请求车辆轨迹查询词干、请求反馈词干，对上述提取的词干通过ApacheSpark集群计算获取如下数据；原地设防下发成功或失败消息次数、在线查车使用次数、在线查车成功次数、历史车辆轨迹查询失败/成功次数、请求反馈次数、历史车辆轨迹查询使用次数。
5.如权利要求1所述的车载GPS大数据的处理装置，其特征在于，所述数据库采用分布式的、面向列的开源数据库HBASE。
6.如权利要求1所述的车载GPS大数据的处理装置，其特征在于，所述大数据分析处理器所使用的芯片为集WIFI、Bluetooth、GPS、FM四合一的MT芯片，其中WIFI接口方式有SDIO；Bluetooth接口方式有UART或PCM；GPS接口方式有UART；FM接口方式UART、Audio或I2S。
7.如权利要求6所述的车载GPS大数据的处理装置，其特征在于，所述大数据分析处理器所使用的芯片为MT6627芯片或MTK6627芯片。
8.如权利要求2所述的车载GPS大数据的处理装置，其特征在于，所述数据频率镜像缓存redis从Flume系统实时采集各项源数据的相应获取频次；所述数据频率镜像缓存redis从Kafka系统实时采集各项源数据的相应获取频次；所述数据频率镜像缓存redis从Sqoop系统以日或时为单位定时采集各项源数据的相应获取频次；所述数据频率镜像缓存redis从Python爬虫系统以日为单位定时采集各项源数据的相应获取频次。
9.如权利要求3所述的车载GPS大数据的处理装置，其特征在于，所述各项源数据还包括GPS离线数据，所述GPS离线数据采集时根据制定的离线数据传输协议，车载终端对GPS离线数据进行压缩后上传云系统，传输成功后再将其按照在线数据传输协议串行传输至GPS信号数据群，通过Apache Spark集群计算获得GPS未开启点数、离线GPS点数和GPS速度为0的点数。
10.如权利要求4所述的车载GPS大数据的处理装置，其特征在于，所述数据存储模块分类存储车载GPS大数据生态圈的存储方式有：由Flume系统采集的数据以日志方式存储；由Kafka系统采集的数据以消息方式存储；由Sqoop系统采集的数据存储于NoSql数据库或Mysql数据库；由Python爬虫系统采集的数据存储于Mysql数据库。
CN201811028109.0A 2018-09-04 2018-09-04 一种车载gps大数据的处理装置 Active CN109270565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811028109.0A CN109270565B (zh) 2018-09-04 2018-09-04 一种车载gps大数据的处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811028109.0A CN109270565B (zh) 2018-09-04 2018-09-04 一种车载gps大数据的处理装置

Publications (2)

Publication Number Publication Date
CN109270565A true CN109270565A (zh) 2019-01-25
CN109270565B CN109270565B (zh) 2023-03-07

Family

ID=65188330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811028109.0A Active CN109270565B (zh) 2018-09-04 2018-09-04 一种车载gps大数据的处理装置

Country Status (1)

Country Link
CN (1) CN109270565B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069569A (zh) * 2019-04-29 2019-07-30 北京相数科技有限公司 一种多目标分离式实时监控显示系统
CN110262951A (zh) * 2019-06-10 2019-09-20 天翼电子商务有限公司 一种业务秒级监控方法及系统、存储介质及客户端
CN110322688A (zh) * 2019-05-20 2019-10-11 华为技术有限公司 一种数据处理的方法、数据查询的方法及相关设备
CN110659270A (zh) * 2019-08-19 2020-01-07 苏宁金融科技(南京)有限公司 一种数据处理及传输方法和装置
CN111884883A (zh) * 2020-07-29 2020-11-03 北京宏达隆和科技有限公司 一种用于业务接口的快速审计处理方法
CN112182212A (zh) * 2020-09-27 2021-01-05 广州汽车集团股份有限公司 一种网络车辆碰撞数据的处理方法及系统
CN112214463A (zh) * 2019-07-12 2021-01-12 中科云谷科技有限公司 Gps终端的监测方法、装置、系统及存储介质
CN112256551A (zh) * 2020-12-18 2021-01-22 智道网联科技(北京)有限公司 一种远程日志抓取方法、装置、电子设备和存储介质
CN112328670A (zh) * 2020-10-20 2021-02-05 周佳 一种生态环境数据资源管理方法及系统
CN112445923A (zh) * 2021-02-01 2021-03-05 智道网联科技(北京)有限公司 基于智慧交通的数据处理方法、装置及存储介质
CN115688196A (zh) * 2022-12-26 2023-02-03 萨科(深圳)科技有限公司 一种基于互联网平台订单大数据的在线数据处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020222A (zh) * 2012-12-13 2013-04-03 广州市香港科大霍英东研究院 用于车辆gps数据分析与异常监测的可视挖掘方法
US20150081162A1 (en) * 2013-09-16 2015-03-19 Fleetmatics Irl Limited Interactive timeline interface and data visualization
CN105843803A (zh) * 2015-01-12 2016-08-10 上海悦程信息技术有限公司 大数据安全可视化交互分析系统及方法
CN106326482A (zh) * 2016-08-31 2017-01-11 江苏中威科技软件系统有限公司 一种大数据可视化采集分析及文件转换系统和方法
CN107656971A (zh) * 2017-09-02 2018-02-02 国网辽宁省电力有限公司 一种基于Redis的智能电网采集监测数据存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020222A (zh) * 2012-12-13 2013-04-03 广州市香港科大霍英东研究院 用于车辆gps数据分析与异常监测的可视挖掘方法
US20150081162A1 (en) * 2013-09-16 2015-03-19 Fleetmatics Irl Limited Interactive timeline interface and data visualization
CN105843803A (zh) * 2015-01-12 2016-08-10 上海悦程信息技术有限公司 大数据安全可视化交互分析系统及方法
CN106326482A (zh) * 2016-08-31 2017-01-11 江苏中威科技软件系统有限公司 一种大数据可视化采集分析及文件转换系统和方法
CN107656971A (zh) * 2017-09-02 2018-02-02 国网辽宁省电力有限公司 一种基于Redis的智能电网采集监测数据存储方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069569A (zh) * 2019-04-29 2019-07-30 北京相数科技有限公司 一种多目标分离式实时监控显示系统
CN110322688A (zh) * 2019-05-20 2019-10-11 华为技术有限公司 一种数据处理的方法、数据查询的方法及相关设备
CN110262951A (zh) * 2019-06-10 2019-09-20 天翼电子商务有限公司 一种业务秒级监控方法及系统、存储介质及客户端
CN112214463A (zh) * 2019-07-12 2021-01-12 中科云谷科技有限公司 Gps终端的监测方法、装置、系统及存储介质
CN110659270A (zh) * 2019-08-19 2020-01-07 苏宁金融科技(南京)有限公司 一种数据处理及传输方法和装置
CN111884883A (zh) * 2020-07-29 2020-11-03 北京宏达隆和科技有限公司 一种用于业务接口的快速审计处理方法
CN112182212A (zh) * 2020-09-27 2021-01-05 广州汽车集团股份有限公司 一种网络车辆碰撞数据的处理方法及系统
CN112182212B (zh) * 2020-09-27 2024-06-07 广州汽车集团股份有限公司 一种网络车辆碰撞数据的处理方法及系统
CN112328670A (zh) * 2020-10-20 2021-02-05 周佳 一种生态环境数据资源管理方法及系统
CN112256551A (zh) * 2020-12-18 2021-01-22 智道网联科技(北京)有限公司 一种远程日志抓取方法、装置、电子设备和存储介质
CN112445923A (zh) * 2021-02-01 2021-03-05 智道网联科技(北京)有限公司 基于智慧交通的数据处理方法、装置及存储介质
CN115688196A (zh) * 2022-12-26 2023-02-03 萨科(深圳)科技有限公司 一种基于互联网平台订单大数据的在线数据处理方法

Also Published As

Publication number Publication date
CN109270565B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN109270565A (zh) 一种车载gps大数据的处理装置
CN107729413B (zh) 基于大数据的区域交通智能管理系统
US20210389293A1 (en) Methods and Systems for Water Area Pollution Intelligent Monitoring and Analysis
CN112544061B (zh) 一种数据传输方法以及装置
CN102982678B (zh) 交通数据信息服务系统及实现交通数据信息服务的方法
CN111092938A (zh) 一种基于云平台的智慧城市管理系统
CN104091375A (zh) 基于北斗定位系统的车联网监控系统
CN105610850A (zh) 基于车联网的车辆服务与管理系统
CN203870689U (zh) 基于北斗定位系统的车联网监控系统
US20200042657A1 (en) Multi-dimensional event model generation
CN107689161A (zh) 人‑车‑交通路况互联的智能汽车实际行驶工况构建系统
CN107395757B (zh) 基于acp方法和社会物理信息系统的平行车联网系统
CN112530156A (zh) 基于边缘计算的智能网联汽车开放道路系统和建设方法
CN115203078A (zh) 基于soa架构的车辆数据采集系统、方法、设备及介质
Liu Big data analytics architecture for internet-of-vehicles based on the spark
Lai et al. Rapid-response framework for defensive driving based on internet of vehicles using message-oriented middleware
CN115797403A (zh) 交通事故预测方法和装置、存储介质及电子设备
Hu et al. Design and implementation of intelligent vehicle control system based on Internet of Things and intelligent transportation
CN114221978A (zh) 城市轨道交通云平台系统
CN207529520U (zh) 人-车-交通路况互联的智能汽车实际行驶工况构建系统
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN112529466A (zh) 一种基于大数据的智慧城管方法及系统
Sun et al. Cloud control platform of vehicle and road collaborative and its implementation on intelligent networked vehicles
CN116455930A (zh) 一种智能物联网探索式数据分析焦点关联技术应用系统
Rehman et al. On Board Intelligence for Public Transportation in Developing Countries using IoT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant