CN111046118A - 一种基于消息队列的车端数据的实时处理方法及系统 - Google Patents

一种基于消息队列的车端数据的实时处理方法及系统 Download PDF

Info

Publication number
CN111046118A
CN111046118A CN201911091290.4A CN201911091290A CN111046118A CN 111046118 A CN111046118 A CN 111046118A CN 201911091290 A CN201911091290 A CN 201911091290A CN 111046118 A CN111046118 A CN 111046118A
Authority
CN
China
Prior art keywords
vehicle
end data
data
message queue
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911091290.4A
Other languages
English (en)
Other versions
CN111046118B (zh
Inventor
王一鹏
王璇
尹玉成
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN201911091290.4A priority Critical patent/CN111046118B/zh
Publication of CN111046118A publication Critical patent/CN111046118A/zh
Application granted granted Critical
Publication of CN111046118B publication Critical patent/CN111046118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于消息队列的车端数据的实时处理方法及系统，该方法包括：建立第一消息队列；车端数据的数据包上传成功后生产者向该第一消息队列发送车端数据信息，该车端数据信息包括车端数据存放位置；消费者从车端数据存放位置获取车端数据，将该车端数据转化为结构化数据后写入数据库中。根据车端数据数量多文件小的特点，基于消息队列对车端数据进行实时的预处理，每当有车端数据的数据包上传成功，消息队列就通知预处理程序立刻对该车端数据的数据包进行处理，当存在大量车端数据的情况下，可以降低整体的预处理的时间；车端数据的预处理程序将结构化的车端数据转换为结构化数据，在算法启动前，减少预处理的时间。

Description

一种基于消息队列的车端数据的实时处理方法及系统
技术领域
本发明涉及高精度地图生产领域，尤其涉及一种基于消息队列的车端数据的实时处理方法及系统。
背景技术
众包地图是一种新型的网络地理信息服务，具有数据量大、信息丰富以及成本低廉等优点，已经发展成为一种重要的地理信息来源。在众包制图的过程中，将带摄像头的视觉设备或者激光、雷达等光学设备安装在车身上，在车行驶过程中，视觉设备和光学设备会采集到道路的车道线，车道线颜色，标志牌，红绿灯等数据。
高精度众包地图的绘制需要对大量汽车的轨迹数据进行高效的处理。每辆车每次上传的车端数据的数据包不大，但是每辆车上传频率高、并且车辆数量多，同时对一批车端数据的数据包进行批量处理时可能会存在处理不及时的问题。
发明内容
本发明针对现有技术中存在的技术问题，提供种基于消息队列的车端数据的实时处理方法及系统，解决现有技术中对车端数据的数据包进行批量处理时可能会存在处理不及时的问题。
本发明解决上述技术问题的技术方案如下：一种基于消息队列的车端数据的实时处理方法，包括：
步骤1，建立第一消息队列；
步骤2，车端数据的数据包上传成功后生产者向所述第一消息队列发送车端数据信息，所述车端数据信息包括车端数据存放位置；
步骤3，消费者从所述车端数据存放位置获取所述车端数据，将所述车端数据转化为结构化数据后写入数据库中。
一种基于消息队列的车端数据的实时处理系统，包括：消息队列建立模块、生产者程序模块和消费者程序模块；
消息队列建立模块，用于建立第一消息队列；
生产者程序模块，用于在车端数据的数据包上传成功后向所述第一消息队列发送车端数据信息，所述车端数据信息包括数据存放位置；
消费者程序模块，用于从所述数据存放位置获取所述车端数据，将所述车端数据转化为结构化数据后写入数据库中。
本发明的有益效果是：根据车端数据数量多文件小的特点，基于消息队列对车端数据进行实时的预处理，每当有车端数据的数据包上传成功，消息队列就通知预处理程序立刻对该车端数据的数据包进行处理，当存在大量车端数据的情况下，可以降低整体的预处理的时间；由于现有的车端数据采用的是xml格式的非结构化数据，而轨迹分析算法开发需要使用的是结构化数据，因此车端数据的预处理程序将结构化的车端数据转换为结构化数据，在算法启动前，减少预处理的时间。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述车端数据信息还包括所述车端数据对应的时间戳和车辆标号。
进一步，所述车端数据信息还包括所述车端数据对应的时间戳和车辆标号。
进一步，所述步骤3中将所述车端数据转化为结构化数据时标记所述车端数据所属区域，使用表分区的方法，将不同区域对应的所述车端数据存放入不同的分区表中。
进一步，所述实时处理方法还包括：建立第二消息队列；
所述步骤3中当任一所述分区表中所述车端数据的数据量超过设定阈值时，向所述第二消息队列发送启动算法消息，从所述数据库中获取所述分区表中的所述车端数据，启动融合算法对所述分区表中的所述车端数据进行处理。
进一步，所述第一消息队列包括至少两个的生产者和消费者，所述生产者和消费者分布式部署在各个处理装置上。
进一步，根据所述车端数据的历史数据的数据量设置所述处理装置的数量。
采用上述进一步方案的有益效果是；对车端数据对应的区域进行判断，通过标记数据所属区域，将不同分区对应的数据量累加到red i s数据库中时，不断更新区域状态，在某一地理区域达到融合算法启动条件即数据量达到阈值时，表示可以启动该分区的融合算法，在车端数据源源不断地上传的过程中，不需要定时装置以及人工操作的情况下，可以在保证地图数据准确计算的同时，以最高频率做出高精度地图的更新。
消息队列可以进行分布式部署，一个消息队列可以有多个生产者和多个消费者，不同处理装置上可以部署多个生成者或消费者，可以根据车端数据的历史数据的数据量选择处理装置的数量，在不同处理装置上同时启动对同一消息队列的生产者和消费者程序，有效提高系统的性能和稳定性。
附图说明
图1为本发明提供的一种基于消息队列的车端数据的实时处理方法的流程图；
图2为本发明提供的一种基于消息队列的车端数据的实时处理方法的实施例的流程图；
图3所示为本发明提供的一种基于消息队列的车端数据的实时处理系统的实施例的结构框图；
图4为本发明实施例提供的一种电子设备的实体结构示意图。
附图中，各标号所代表的部件列表如下：
101、消息队列建立模块，102、生产者程序模块，103、消费者程序模块，201、处理器，202、通信接口，203、存储器，204、通信总线。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示为本发明提供的一种基于消息队列的车端数据的实时处理方法的流程图，由图1可知，该方法包括：
步骤1，建立第一消息队列。
步骤2，车端数据的数据包上传成功后生产者向该第一消息队列发送车端数据信息，该车端数据信息包括车端数据存放位置。
步骤3，消费者从车端数据存放位置获取车端数据，将该车端数据转化为结构化数据后写入数据库中。
本发明提供的一种基于消息队列的车端数据的实时处理方法，根据车端数据数量多文件小的特点，基于消息队列对车端数据进行实时的预处理，每当有车端数据的数据包上传成功，消息队列就通知预处理程序立刻对该车端数据的数据包进行处理，当存在大量车端数据的情况下，可以降低整体的预处理的时间。
实施例1
本发明提供的实施例1为本发明提供的一种基于消息队列的车端数据的实时处理方法的实施例，如图2所示为本发明提供的一种基于消息队列的车端数据的实时处理方法的实施例的流程图，由图2可知，该方法包括：
步骤1，建立第一消息队列mq_1和第二消息队列mq_2。
步骤2，车端数据的数据包上传成功后生产者向该第一消息队列发送车端数据信息，该车端数据信息包括车端数据存放位置、车端数据对应的时间戳和车辆标号。
步骤3，消费者从数据存放位置获取车端数据，将该车端数据转化为结构化数据后，根据时间戳和车辆标号为该车端数据打上标签后写入数据库中。
车端数据的数据包上传成功后发送上传成功的消息到该第一消息队列mq_1。消费者程序收到车端数据信息后启动消费者程序即车端数据的预处理程序，由于现有的车端数据采用的是xml格式的非结构化数据，而轨迹分析算法开发需要使用的是结构化数据，因此车端数据的预处理程序将结构化的车端数据转换为结构化数据，在算法启动前，减少预处理的时间。
优选的，将该车端数据转化为结构化数据时标记该车端数据所属区域，使用表分区的方法，将不同区域对应的车端数据存放入不同的分区表中。
当任一分区表中车端数据的数据量超过设定阈值时，向第二消息队列mq_2发送启动算法消息，从数据库中获取该分区表中的车端数据，启动融合算法对该分区表中的车端数据进行处理。
本发明实施例提供的一种基于消息队列的车端数据的实时处理方法，还会对车端数据对应的区域进行判断，通过标记数据所属区域，将不同分区对应的数据量累加到redis数据库中时，不断更新区域状态，在某一地理区域达到融合算法启动条件即数据量达到阈值时，表示可以启动该分区的融合算法，在车端数据源源不断地上传的过程中，不需要定时装置以及人工操作的情况下，可以在保证地图数据准确计算的同时，以最高频率做出高精度地图的更新。
进一步的，消息队列可以进行分布式部署，一个消息队列可以有多个生产者和多个消费者，不同处理装置上可以部署多个生成者或消费者，可以根据车端数据的历史数据的数据量选择处理装置的数量，在不同处理装置上同时启动对同一消息队列的生产者和消费者程序，有效提高系统的性能和稳定性。
实施例2
如图3所示为本发明提供的一种基于消息队列的车端数据的实时处理系统的实施例的结构框图，由图3可知，该系统包括：消息队列建立模块101、生产者程序模块102和消费者程序模块103。
消息队列建立模块101，用于建立第一消息队列。
生产者程序模块102，用于在车端数据的数据包上传成功后向该第一消息队列发送车端数据信息，该车端数据信息包括数据存放位置。
消费者程序模块103，用于从数据存放位置获取车端数据，将该车端数据转化为结构化数据后写入数据库中。
需要说明的是，本发明实施例提供的系统，具体执行上述各实施例中的方法，具体详见上述各方法实施例，本发明实施例对此不再进行赘述。
图4为本发明实施例提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器201、通信接口202、存储器203和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信。处理器201可以调用存储在存储器203上并可在处理器201上运行的计算机程序，以执行上述各实施例提供的基于消息队列的车端数据的实时处理方法，例如包括：步骤1，建立第一消息队列；步骤2，车端数据的数据包上传成功后生产者向该第一消息队列发送车端数据信息，该车端数据信息包括车端数据存放位置；步骤3，消费者从车端数据存放位置获取车端数据，将该车端数据转化为结构化数据后写入数据库中。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于消息队列的车端数据的实时处理方法，例如包括：步骤1，建立第一消息队列；步骤2，车端数据的数据包上传成功后生产者向该第一消息队列发送车端数据信息，该车端数据信息包括车端数据存放位置；步骤3，消费者从车端数据存放位置获取车端数据，将该车端数据转化为结构化数据后写入数据库中。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于消息队列的车端数据的实时处理方法，其特征在于，包括：
步骤1，建立第一消息队列；
步骤2，车端数据的数据包上传成功后生产者向所述第一消息队列发送车端数据信息，所述车端数据信息包括车端数据存放位置；
步骤3，消费者从所述车端数据存放位置获取所述车端数据，将所述车端数据转化为结构化数据后写入数据库中。
2.根据权利要求1所述的实时处理方法，其特征在于，所述车端数据信息还包括所述车端数据对应的时间戳和车辆标号。
3.根据权利要求2所述的实时处理方法，其特征在于，所述步骤3中将所述车端数据转化为结构化数据后，根据时间戳和车辆标号为所述车端数据打上标签后写入所述数据库中。
4.根据权利要求1所述的实时处理方法，其特征在于，所述步骤3中将所述车端数据转化为结构化数据时标记所述车端数据所属区域，使用表分区的方法，将不同区域对应的所述车端数据存放入不同的分区表中。
5.根据权利要求4所述的实时处理方法，其特征在于，所述实时处理方法还包括：建立第二消息队列；
所述步骤3中当任一所述分区表中所述车端数据的数据量超过设定阈值时，向所述第二消息队列发送启动算法消息，从所述数据库中获取所述分区表中的所述车端数据，启动融合算法对所述分区表中的所述车端数据进行处理。
6.根据权利要求1所述的实时处理方法，其特征在于，所述第一消息队列包括至少两个的生产者和消费者，所述生产者和消费者分布式部署在各个处理装置上。
7.根据权利要求6所述的实时处理方法，其特征在于，根据所述车端数据的历史数据的数据量设置所述处理装置的数量。
8.一种基于消息队列的车端数据的实时处理系统，其特征在于，所述系统包括：消息队列建立模块、生产者程序模块和消费者程序模块；
消息队列建立模块，用于建立第一消息队列；
生产者程序模块，用于在车端数据的数据包上传成功后向所述第一消息队列发送车端数据信息，所述车端数据信息包括数据存放位置；
消费者程序模块，用于从所述数据存放位置获取所述车端数据，将所述车端数据转化为结构化数据后写入数据库中。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于消息队列的车端数据的实时处理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于消息队列的车端数据的实时处理方法的步骤。
CN201911091290.4A 2019-11-09 2019-11-09 一种基于消息队列的车端数据的实时处理方法及系统 Active CN111046118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911091290.4A CN111046118B (zh) 2019-11-09 2019-11-09 一种基于消息队列的车端数据的实时处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911091290.4A CN111046118B (zh) 2019-11-09 2019-11-09 一种基于消息队列的车端数据的实时处理方法及系统

Publications (2)

Publication Number Publication Date
CN111046118A true CN111046118A (zh) 2020-04-21
CN111046118B CN111046118B (zh) 2023-02-03

Family

ID=70232599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911091290.4A Active CN111046118B (zh) 2019-11-09 2019-11-09 一种基于消息队列的车端数据的实时处理方法及系统

Country Status (1)

Country Link
CN (1) CN111046118B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267747A1 (en) * 2015-03-09 2016-09-15 Sportsmedia Technology Corporation Systems, methods, and computer-readable media for determining and synchronizing live event information
CN107391719A (zh) * 2017-07-31 2017-11-24 南京邮电大学 一种云环境中分布式流数据处理方法及系统
CN107451526A (zh) * 2017-06-09 2017-12-08 蔚来汽车有限公司 地图的构建及其应用
CN108965355A (zh) * 2017-05-18 2018-12-07 北京京东尚科信息技术有限公司 用于数据传输的方法、装置及计算机可读存储介质
CN109002465A (zh) * 2017-06-06 2018-12-14 万事达卡国际公司 用于具有智能众包选项的对话输入设备的方法和系统
CN110389957A (zh) * 2019-07-24 2019-10-29 深圳市盟天科技有限公司 基于分库分表的文件生成方法、装置、存储介质及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267747A1 (en) * 2015-03-09 2016-09-15 Sportsmedia Technology Corporation Systems, methods, and computer-readable media for determining and synchronizing live event information
CN108965355A (zh) * 2017-05-18 2018-12-07 北京京东尚科信息技术有限公司 用于数据传输的方法、装置及计算机可读存储介质
CN109002465A (zh) * 2017-06-06 2018-12-14 万事达卡国际公司 用于具有智能众包选项的对话输入设备的方法和系统
CN107451526A (zh) * 2017-06-09 2017-12-08 蔚来汽车有限公司 地图的构建及其应用
CN107391719A (zh) * 2017-07-31 2017-11-24 南京邮电大学 一种云环境中分布式流数据处理方法及系统
CN110389957A (zh) * 2019-07-24 2019-10-29 深圳市盟天科技有限公司 基于分库分表的文件生成方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN111046118B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN109862084B (zh) 地图数据更新方法、装置、系统及存储介质
CN109510851B (zh) 地图数据的构建方法和设备
DE102019131118A1 (de) System und verfahren zur bewertung des betriebs von umgebungserfassungssystemen von fahrzeugen
CN109410567B (zh) 一种基于车联网的易发事故道路智慧分析系统及方法
CN103605349A (zh) 一种基于CAN-bus的远程数据实时采集及分析统计系统及方法
CN102682590A (zh) 实时交通信息处理方法和装置
CN109640294B (zh) 无人车数据传输方法、装置、系统及存储介质
CN101329814A (zh) 一种公共交通信息无线查询系统
CN111046118B (zh) 一种基于消息队列的车端数据的实时处理方法及系统
CN107301240B (zh) 借助云平台的无人机地理大数据信息处理方法
CN204650755U (zh) 一种基于云计算的物流追踪监控系统
CN113423088A (zh) 一种信息分发方法、装置、设备、系统及存储介质
CN115116224B (zh) 一种边缘端数据采集传输系统及方法
CN115440037B (zh) 交通流量数据采集方法、装置、电子设备及存储介质
CN108738056B (zh) 路边单元的监测方法、装置和系统
CN103714701B (zh) 一种复杂线路快速判断超速的方法
CN114199274A (zh) 一种车辆行程确定方法、装置、设备及可读存储介质
CN113870594A (zh) 智慧城市场景下的特种车辆避让提醒系统及方法
CN115512511A (zh) 一种预警方法、装置、移动终端及可读存储介质
CN103401920A (zh) 一种快速获取公交车位置信息的方法
CN111103869A (zh) 场景模拟系统及方法
CN109064747A (zh) 基于实时移动地图的行车路线规划与到站时间上报的方法
CN104464373A (zh) 一种基于云计算的信息引导方法及系统
CN204633815U (zh) 一种车载物联网运营平台的中间件系统
CN117208043B (zh) 铁路防溜预警方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant