CN116052420B - 一种用于园区的车路云协同大数据管理系统 - Google Patents

一种用于园区的车路云协同大数据管理系统 Download PDF

Info

Publication number
CN116052420B
CN116052420B CN202310013222.6A CN202310013222A CN116052420B CN 116052420 B CN116052420 B CN 116052420B CN 202310013222 A CN202310013222 A CN 202310013222A CN 116052420 B CN116052420 B CN 116052420B
Authority
CN
China
Prior art keywords
data
vehicle
road
module
perception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310013222.6A
Other languages
English (en)
Other versions
CN116052420A (zh
Inventor
李成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingfeng Zhixing Technology Co ltd
Original Assignee
Beijing Qingfeng Zhixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qingfeng Zhixing Technology Co ltd filed Critical Beijing Qingfeng Zhixing Technology Co ltd
Priority to CN202310013222.6A priority Critical patent/CN116052420B/zh
Publication of CN116052420A publication Critical patent/CN116052420A/zh
Application granted granted Critical
Publication of CN116052420B publication Critical patent/CN116052420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种用于园区的车路云协同大数据管理系统,包括:驾驶环境感知子系统和云端大数据管理子系统;驾驶环境感知子系统用于获取车辆行驶中对于车辆内外以及周边环境的感知数据;云端大数据管理子系统用于对不同类型数据进行识别,针对识别后的数据,首先完成数据清洗,排除上报数据中的重复和虚假目标,之后针对清洗后车辆和路侧数据进行车路数据融合,再将车端感知数据和路侧感知数据与车路融合后数据进行汇总,作为同一批数据进行分析和数据写入,最后,对车路系统数据进行分析,分析结果输送给驾驶环境感知子系统,驾驶环境感知子系统实时获取局部路径规划,并发送给相应的自动驾驶车辆。本发明能够实现数据低时延传输,高性能存储。

Description

一种用于园区的车路云协同大数据管理系统
技术领域
本发明涉及自动驾驶应用技术领域,特别是关于一种用于园区的车路云协同大数据管理系统。
背景技术
园区作为城市的组成部分,汇集了大量企业单位,随着云计算、物联网、大数据和5G技术在园区落地,构建相对封闭式自动驾驶环境将会越来越成熟。园区内除了车辆本身的摄像头、毫米波雷达和激光雷达等传感器,还要依靠网联技术的支持,并安装对应的路侧设备,车辆行驶过程中需要实时了解路况,会产生海量数据,当前园区环境下,车端不适合处理和存储如此巨大的数据,将数据回传到云端,云端经过车辆和路侧数据融合、数据清洗和数据分析后,数据再下发给车,实现车辆远程路径规划,最终实现车路云协同管理。在此过程中,数据遍布各个环节,如何高效利用并转换海量实际路况和车辆数据,并进行数据实时和离线存储,基于存储的数据的对外提供服务,并实现可视化展现变得尤为关键。因此,需要一种基于海量数据进行管理的系统和方法,最终实现数据低时延传输,高性能存储的要求。
发明内容
本发明的目的在于提供一种用于园区的车路云协同大数据管理系统来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的,本发明提供一种用于园区的车路云协同大数据管理系统,其包括:驾驶环境感知子系统1和云端大数据管理子系统2;
驾驶环境感知子系统1用于获取车辆行驶中对于车辆内外以及周边环境的感知数据,上报给云端大数据管理子系统2;
云端大数据管理子系统2用于接收驾驶环境感知子系统1的上报数据,对不同类型数据进行识别,针对识别后数据,首先完成数据清洗,排除上报数据中的重复和虚假目标,之后针对清洗后车辆和路侧数据进行车路数据融合操作,再将上报数据中车端感知数据和路侧感知数据与车路融合后数据进行汇总,作为同一批数据进行分析,并完成数据写入,最后,对车路系统数据进行分析,分析结果输送给驾驶环境感知子系统1,驾驶环境感知子系统1再实时获取局部路径规划,并发送给相应的自动驾驶车辆。
进一步地,云端大数据管理子系统2包括数据接收单元21、数据处理单元22、数据存储单元23和数据应用单元24;
数据接收单元21预先部署大数据组件Kafka集群,Kafka集群下有由数据使用者用作区分定义的各种主题,数据接收单元21用于将接收到的上报数据输送到Kafka集群对应的主题下;
数据处理单元22通过订阅Kafka各自主题数据,对数据进行识别,并将识别后数据经过清洗、融合和分析,回传给驾驶环境感知子系统1的车载边缘服务器122,同时发送给数据存储单元23;
数据存储单元23用于对输入的数据进行实时和离线存储,进行数据持久化;
数据应用单元24用于根据数据存储单元23的实时和离线数据库,封装接口查询服务。
进一步地,数据处理单元22包括数据识别模块、数据清洗模块、数据融合模块和数据分析模块;
数据识别模块用于读取数据接收单元21的Kafka集群消息数据,使用大数据组件获取消息队列不同主题下上报数据的信息,通过主题名称识别分辨其所属的类别,并输送给数据清洗模块;
数据清洗模块用于对数据识别模块输入的数据进行数据清洗、数据格式校验、缺失数据补全,并输送给数据融合模块;
数据融合模块用于首先对数据清洗模块输入的多源路侧数据融合,当有路侧感知数据时,将上一次融合结果与下一个路侧感知进行融合,并检测是否含有车辆上报的自车信息,当有车辆信息时,将路侧中类型为车的目标与车辆上报信息进行融合,此时输出的车路融合结果;若路侧中不含有自车信息时,若无车辆信息,融合结果以路侧感知数据为准;当无路侧感知数据时,融合结果以车辆上报数据为准,然后将融合后感知数据、红绿灯数据、交通事件的上报数据进行汇总后发送给数据分析模块;
数据分析模块用于首先针对数据融合模块输入的数据中车身数据、道路数据、红绿灯和交通事件数据,结合车辆位置信息,进行车路协同状况驾驶分析、交通事件分析和车辆及周边路况分析,再将分析结果通过驾驶环境感知子系统(1)发送给相应的自动驾驶车辆。
进一步地,数据清洗模块对数据识别模块输入的数据进行数据清洗的方法包括初次清洗,其清洗规则包括:
i.数据重复规则:判断车端感知数据和路侧感知数据的相邻两帧数据在当前帧和上一帧的时间戳、目标类型、唯一编号是否同时相同,若是,则丢弃当前帧数据;
ii.数据格式校验规则:判断车端感知数据和路侧感知数据的当前帧数据是否符合预定义规则,如果否,则丢弃未通过校验的数据,其中,预定义规则包括数据的每个字段的类型、数据范围、是否为空、数据格式、坐标跳变阈值;
iii.缺失数据补全规则:判断车端感知数据和路侧感知数据的相邻两帧数据之间的时间是否大于相应预设值,如果是,则判定数据缺失,进而根据车端感知数据和路侧感知数据的历史数据,并采用求均值方式进行数据补全,历史数据中车端感知数据和路侧感知数据存在队列中,并实时更新。
进一步地,数据清洗模块对数据识别模块输入的数据进行数据清洗的方法还包括重复数据清洗,其具体包括:
实时更新上一帧数据并记录到临时变量中,获取当前帧和上一帧数据的时间戳和目标类型、唯一编号,判断同一个感知物的目标类型相同、时间戳是否同时相同,若是,丢弃当前帧数据,否则更新上一帧数据为当前帧数据,并进行下一次比较,此过程随着新的数据传入,反复循环操作。
进一步地,格式校验的方法具体包括如下校验方式中的一种或多种:
I.校验数据类型:判断车端感知数据和路侧感知数据的各个字段类型与预先定义类型是否匹配,如是,则校验通过,否则校验失败;
II.校验数值类型数据的范围:判断车端感知数据和路侧感知数据的数值类型数据是否超过预定义的字段约定范围,如是,则校验通过,否则校验失败;
III.校验空值:判断车端感知数据和路侧感知数据的预定义字段的唯一编号是否为空,如是,则校验失败,否则校验通过;
IV.校验乱码:判断车端感知数据和路侧感知数据是否含有乱码,如是,则校验失败,否则校验通过;
V.校验时间格式:判断车端感知数据和路侧感知数据的时间戳是否满足预定义规则时如是,则校验通过,否则校验失败;
VI.校验坐标跳变:判断车端感知数据和路侧感知数据的相邻两帧数据的坐标差值是否超过预定义跳变阈值,如是,则校验失败,否则校验通过。
进一步地,数据补全方法具体包括:
S1,创建存储历史数据存储队列:定义车端感知数据和路侧感知数据的历史数据存储队列,再分别存储历史数据,预先定义存储的帧数;
S2,更新历史数据存储队列:实时获取车端感知数据和路侧感知数据,并检测其历史数据存储队列中数据帧数是否小于S1中预先定义存储的帧数,如果是,则直接写入当前帧数到队列尾部,反之,则清除历史数据存储队列中的最早的数据,并写入当前帧数据到历史数据存储队列的尾部;
S3,判断缺失数据:判断历史数据存储队列中最后一帧数据的时间戳与当前帧的时间戳的时间差是否超过预设值,如果是,则判定数据缺失,进入步骤S4,否则不处理;
S4,数据补全:从S1中历史数据存储队列中取出数据,采取求均值的方式,计算得到当前感知物的速度、大小、高度、宽度的均值信息,并求当前帧数据和上一帧数据坐标的均值,通过求均值方式获取到的数据,作为缺失帧数据的补全信息,补全后的数据发送给数据融合模块。
进一步地,数据存储单元23包括Kafka集群和数据存储模块;
数据存储单元23的Kafka集群用于接收经由数据处理单元22处理后的车路融合数据、车端感知数据和路侧感知数据;
数据存储模块包括离线数据存储子模块和实时数据存储子模块,其中,离线数据存储子模块用于存储车端感知数据和路侧感知数据,应用于数据分析场景,实时数据存储子模块用于存储车路融合数据,使用大数据组件将批处理数据视作具备有限边界的数据流,将批处理任务作为流处理子集加以处理。
进一步地,数据应用单元24包括查询接口服务模块及应用展示模块;
查询接口服务模块包括实时查询接口和离线查询接口,实时查询接口从Redis中实时获取数据,离线查询接口从hive中批量查询数据,对实时和离线查询数据进行接口封装,并提供查询服务;
应用展示模块包括离线应用展示子模块和实时数据查询子模块,其中,离线应用展示子模块用于针对车辆历史数据进行批量查询,并对轨迹进行分析;实时数据查询子模块用于查询车路融合数据,基于Unity进行3D可视化展示,实时查询车辆和道路状态信息,可以实时监控车辆运行情况。
由于本发明能够实现数据低时延传输,高性能存储,因此能够高效利用并转换海量实际路况和车辆数据,并进行数据实时和离线存储,基于存储的数据的对外提供服务,并实现可视化展现。
附图说明
图1为一种用于园区的车路云协同大数据管理系统的数据交互流程图;
图2为本发明实施例所提供的数据处理单元的系统流程图;
图3位本发明实施例所提供的数据处理单元中数据清洗模块操作流程图;
图4为本发明实施例所提供的数据存储单元的系统流程图;
图5为本发明实施例提供的数据应用单元的系统流程图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示,本发明实施例提供的用于园区的车路云协同大数据管理系统包括驾驶环境感知子系统1和云端大数据管理子系统2。
驾驶环境感知子系统1用于获取车辆行驶中对于车辆内外以及周边环境的感知数据。
在一个实施例中,驾驶环境感知子系统1具体包括路侧感知单元11和车端感知单元12。
路侧感知单元11包括路侧设备111和路侧边缘服务器112。
路侧设备111按照预设速度(例如:以帧为单位,每帧之间数据间隔100ms)向路侧边缘服务器112输送路侧感知数据,这些都是原始数据。路侧设备111包含路侧通信设备和路侧感知设备,其中,路侧通信设备集成LET-V2X通信技术,提供路侧传感器和边缘服务器之间低延时连接能力。路侧感知设备111包含摄像机、毫米波雷达、激光雷达等,用于采集后进行图像处理并融合,获取道路检测、车辆信息、障碍物识别信息、交通事件数据和红绿灯数据以及设备唯一编号等路侧感知数据,以检测交通参与者的状态和道路状况及红绿灯信息。
路侧边缘服务器112用于将接收到的路侧感知数据进行汇总、边缘计算,形成上报数据,输送给云端大数据管理子系统2的数据接收单元21。例如:路侧边缘服务器112将感知数据按照json格式发送到数据接收单元21的Kafka消息队列。
车端感知单元12包括车载终端121和车载边缘服务器122。
车载终端121用于获取车辆信息,并输送给车载边缘服务器122。其中,车辆信息包括唯一编号、车速、航向、加速度、角速度、位置、里程、油耗等信息,通过车载传感器获取速度、加速度和角速度等车端感知数据,这些都是原始数据。
车载终端121按照预设速度(例如:以帧为单位,每帧之间数据间隔100ms)向车载边缘服务器122输送路侧感知数据。
车载边缘服务器122用于实时接收云端大数据管理子系统2的数据处理单元22传输的全局路径信息,并完成无人驾驶任务。车载边缘服务器122还用于实时接收交通信息,并控制车安全行驶,并探测行驶路径上的障碍物,重新规划得到局部路径信息,全局规划下按照局部路径信息实现避障和绕行。
在一个实施例中,云端大数据管理子系统2使用大数据技术进行管理,用于实现低延时传输和高性能存储,其主要功能具体表现在:
接收驾驶环境感知子系统1的上报数据,对不同类型数据进行识别,识别后先将上报数据进行数据清洗,排除上报数据中的重复和虚假目标,这意味着需要排除的信息一方面是重复信息,另一方面是虚假信息。其中,重复信息的排除方法包括:针对于车端上报数据,相邻辆帧数据,时间戳和车辆编号重复,则认定为重复数据;对于路侧上报数据:相邻两帧数据之间,时间戳、检测感知物编号重复,则认定为重复数据。而对于虚假信息,其排除方法例如可以包括:车辆和路侧上报数据,数据格式不正确,比如预设数据字段是数值型,实际上报的数据是字符型,则表示无效数据。其次,对清洗后车辆和路侧感知数据进行数据融合,形成车路融合数据,最后将上述的上报数据中车端感知数据和路侧感知数据与车路融合后数据进行汇总,作为同一批数据,提供给数据处理单元下的数据分析模块进行分析,并由图1中数据存储单元完成数据写入。
再者,结合路侧感知数据中道路检测信息,进行综合数据分析,其数据分析具体包括两方面:一方面是针对道路检测信息的综合分析,如碰撞、拥堵、故障等;当有异常情况发生时,则云端大数据管理子系统2中的数据处理单元22,下发异常到车载边缘服务器122,再经车载边缘服务器122发布异常到车辆。另一方面是针对车辆位置所做的数据分析:由云端大数据管理子系统2中数据处理单元22根据车端感知数据中车辆位置和路侧感知数据中道路检测信息、红绿灯,进行综合分析,分析结果输送给车载边缘服务器122,车载边缘服务器122实时进行局部路径规划,以完成避障、启停,最终实现车辆自动驾驶。
在一个实施例中,云端大数据管理子系统2包括数据接收单元21、数据处理单元22、数据存储单元23和数据应用单元24。
由驾驶环境感知子系统1的边缘服务器,上报数据到Kafka集群各自的主题下;数据处理单元22通过订阅Kafka各自主题数据,对数据进行识别,并将识别后数据经过清洗、融合和分析,回传给车端,同时数据发送给数据存储单元23;数据存储单元进行实时和离线存储,进行数据持久化;数据应用单元24封装接口查询服务,数据来源于数据存储单元的实时和离线数据库,以满足不同应用场景。
数据接收单元21作为园区的自动驾驶车辆和路侧设备的数据上传入口,用于部署大数据组件Kafka集群,数据之间使用不同主题进行区分,主题名称按照数据流向,由数据使用者区分定义,使用命令脚本预先在Kafka集群中创建。主题名称按照车路类型+上报/下发类型+唯一编号方式进行定义,用来区分不同的车辆和路侧感知设备的数据,例如:车辆上报主题:vehicle_up、下发车辆指令主题:vehicle_donw、路侧上报主题:roadside_up。因此,使用时,驾驶环境感知子系统1将上报数据输送到Kafka集群对应的主题下,例如:路侧边缘服务器112和车载边缘服务器122首先采集路侧设备111和车载终端121的数据,使用长连接方式,保持和Kafka集群连接,通过c++等编程语言写入Kafka集群。
在一个实施例中,如图2所示,数据处理单元22包括数据识别模块、数据清洗模块、数据融合模块和数据分析模块。下面分别对各个模块进行详细说明,如下:
数据识别模块用于读取数据接收单元21的Kafka集群消息数据,使用大数据组件,例如:Flink组件,获取消息队列不同主题下上报数据的信息,通过主题名称进行识别分辨其所属的类别,并输送给数据清洗模块。其中,类别包括车端感知数据、路侧感知数据、交通事件数据。
在一个实施例中,数据识别模块通过主题名称进行识别分辨其所属的类别的方法具体包括:
车端感知数据和路侧感知数据经由路侧边缘服务器112和车载边缘服务器122写入到kafka集群,车辆数据包含车自身信息、周边障碍物信息,路侧数据包含路侧感知信息、交通事件信息。写入到kafka集群不同主题下,数据识别模块读取kakfa集群下不同主题数据,通过主题名称识别哪一类是车上报的感知数据,哪一类是路侧上报的感知数据。需要说明的是,车辆、路侧上报的主题名称是不同的,都按照预设规则进行,通过主题名称,能够识别类别。
数据清洗模块用于对数据识别模块输入的数据进行数据清洗、数据格式校验、缺失数据补全。
在一个实施例中,如图3所示,数据清洗模块对数据识别模块输入的数据进行数据清洗的方法包括初次清洗,其清洗规则包括:
i.数据重复规则:针对路侧感知单元11和车端感知单元12上报的数据,分别对相邻两帧之间数据比对,当前帧和上一帧的时间戳(例如:东八区UTC时间,13位,精确到毫秒)、目标类型(例如包含车、人、行车人)、唯一编号同时相同时,则表示两帧数据重复,此时丢弃当前帧数据。其中,当前帧是指车辆和路侧上报的最新一条数据,上一帧是指上一条车辆和路侧上报的数据(存储在临时变量中,并实时更新)。
ii.数据格式校验规则:判断车端感知数据和路侧感知数据的当前帧数据是否符合预定义规则,如果否,则丢弃未通过校验的数据,其中,预定义规则包括数据的每个字段的类型、数据范围、是否为空、数据格式、坐标跳变阈值(比如相邻坐标之间相差不能超过50米)等。比如,限定字段格式为数值类型,车路上报的数据是字符型,就是不符合预定规则的,即校验失败。
iii.缺失数据补全规则:因网络延迟等原因,可能造成路侧和车端上报数据缺失的问题,正常情况下两帧之间数据相差第一预设值,例如100ms,但实际情况可能由于网络抖动等原因,造成路侧和车辆上报数据延迟,因此取一个延迟最大误差值,例如:100ms,也就是路侧感知单元11和车端感知单元12上报的数据,两帧之间时间超过200ms,则认为是数据缺失。当数据缺失时,需要根据历史数据中车辆和路侧感知物信息,并采用求均值方式进行数据补全,历史数据中车辆和路侧感知数据存在队列中,并由程序实时更新。
在一个实施例中,数据清洗模块对数据识别模块输入的数据进行数据清洗的方法还包括重复数据清洗,其具体包括:
按照初次清洗的清洗规则,首先获取数据识别模块识别后的车辆和路侧感知数据,分别对车辆和路侧感知数据进行重复数据识别,实时更新上一帧数据并记录到临时变量中,获取当前帧和上一帧数据的时间戳和目标类型、唯一编号,当同一个感知物的目标类型相同、时间戳相同时,当前帧数据丢弃,否则更新上一帧数据为当前帧数据,并进行下一次比较,此过程随着新的数据传入,反复进行,这是一个循环的操作过程。
在一个实施例中,格式校验的方法具体包括如下校验方式中的一种或多种:
I.校验数据类型:按照初次清洗的清洗规则,分别对数据识别模块识别后的车辆和路侧感知数据,进行格式校验。对于校验失败的,直接丢弃。具体的包含数据类型校验,车辆和路侧数据中各个字段类型已经预先定义好,获取车路数据后,使用每个字段的数据和预定义类型进行比较,当类型不匹配时,则校验失败,比如:感知物目标长、宽、高为数值类型的,而路侧感知单元11和车端感知单元12上报的数据中传入了字符类型数据。
II.校验数值类型数据的范围:检测车辆和路侧上报数据中,数值类型数据是否超过了预定义的字段约定范围,比如:预定义车辆朝向为(0,360)度,此时,车辆上报数据传入的数据不在此范围内,则校验失败;
III.校验空值:所述的格式校验环节也包含空值的校验,空值校验是针对预定义中非空字段进行校验,比如:预定义字段中车辆和路侧的唯一编号不能为空,车辆和路侧上报的感知数据中唯一编号传入空值,则校验失败。
IV.校验乱码:判断车端感知数据和路侧感知数据是否含有乱码,如是,则校验失败,否则校验通过。
V.校验时间格式:车辆和路侧上报的数据中均含有时间戳,预定义时间戳字段为东八区,并取13位毫秒精度数据,当车辆和路侧上报感知数据的时间戳不满足预定义规则时,校验失败,比如:上报时间戳不是13位、上报时间戳经度不是毫秒等。
VI.校验坐标跳变:规则是比对车辆和路侧感知数据相邻两帧的坐标。当相邻两帧坐标相差超过预定义跳变阈值时,则校验失败。
在一个实施例中,数据补全方法具体包括:
S1,创建存储历史数据存储队列:定义车辆和路侧历史数据存储队列,分别用于存储车辆和路侧历史数据,数据中包含了当前帧之前的历史数据,保存的帧数预先定义好,比如前30帧数据(不包含当前帧数据)。
S2,更新历史数据存储队列:实时获取车辆和路侧感知上报的数据,检测车辆和路侧历史数据存储队列中数据帧数,当帧数小于上述1中预定义帧数时,直接写入当前帧数到队列尾部,当超过预定义帧数时,将历史数据存储队列中的最早的数据(队列头部)清除掉,并写入当前帧数据到队列尾部。
S3,判断缺失数据:从历史数据存储队列数据中取出最后一帧(队列尾部)数据的时间戳,同当前帧(最新获取的一条车辆和路侧上报的感知数据)的时间戳进行比较,当时间超相差超过200ms时,表示数据缺失,进入S4对数据补全,否则不处理。
S4,数据补全:从S1中车辆和路侧的历史数据存储队列取出数据,采取求均值的方式,计算得到当前感知物的速度、大小、高度、宽度的均值信息,并求当前帧数据和上一帧数据(历史数据队列中最后一帧数据,及尾部的数据)坐标的均值,以上通过求均值方式获取到的数据,作为缺失帧数据的补全信息。补全的数据最终也作为合理数据发送给数据融合模块,补全后的数据发送给数据融合模块。
数据融合模块用于针对数据清洗模块清洗后符合规则的车辆和路侧数据,首先进行多源路侧数据融合,当有路侧感知数据时,将上一次融合结果与下一个路侧感知进行融合,并检测是否含有车辆上报的自车信息,当有车辆信息时,将路侧中类型为车的目标与车辆上报信息进行融合,此时输出的车路融合结果;若路侧中不含有自车信息时,若无车辆信息,融合结果以路侧感知数据为准;当无路侧感知数据时,融合结果以车辆上报数据为准。其次并将融合后感知数据(目标类型、目标编号、目标位置、目标宽度、目标高度、目标朝向、目标电量、上报时间戳等)、红绿灯数据、交通事件上报数据进行汇总后发送给数据分析模块。
数据分析模块用于首先经过数据融合模块获取经过清洗和融合后的数据,其次用于针对车身数据、道路数据、红绿灯和交通事件数据,结合车辆位置信息,进行车路协同状况驾驶分析,分析结果发送到驾驶环境感知子系统1的车载边缘服务器122,再由车载边缘服务器122发送给不同的车辆使用,以实现车辆避障、红绿灯识别、交通事件识别和实时的局部路径规划。数据分析模块作为数据处理单元22的最后一个环节,直接对接数据存储单元23的Kafka集群。
进一步的,对数据分析模块中交通事件分析进行说明,首先进行交通事件数据的特征提取,采用结构化数据进行模型创建,根据设定的数据结构将历史交通事件中(从数据存储单元中离线数据库获取)特征数据存储为结构化数据格式,数据包含:时间发生开始时间、结束时间、持续时间、时间发生地环境、车辆状态、车辆受损情况等。使用大数据组件Fink实时获取车路融合后的数据,并与上述历史交通事件数据特征进行相似度对比,如相似度接近,则将交通事件数据发送给车载边缘服务器,再由车载边缘服务器发送给车,使得自动驾驶车通过减速、变道、加速、刹车灯方式,实现避让。
进一步的,数据分析模块基于车路融合模块融合后的车路数据,对车辆及周边路况进行分析,车辆包含当前行驶参数(车速、转向角等)、位置参数、周边障碍物参数(周边车辆、行车人、行人)等,路况包含车辆周边道路数据、红绿灯数据等以及上述的交通事件数据,将二者数据通过车辆位置进行关联,并基于现有的模糊神经网络算法实现全局路径规划。
如图4所示,数据存储单元23包括Kafka集群和数据存储模块。
需要说明的是,数据存储单元23中Kafka集群与数据接收单元21的Kafka集群相互独立。数据存储单元23的Kafka集群用于接收经由数据处理单元22处理后的车路融合数据、车端感知数据和路侧感知数据。
数据存储模块包括离线数据存储子模块和实时数据存储子模块。
离线数据存储子模块用于存储车端感知数据和路侧感知数据,应用于数据分析场景。
实时数据存储子模块用于存储车路融合数据,其使用大数据组件,例如:Flink组件,将批处理数据视作具备有限边界的数据流,将批处理任务作为流处理子集加以处理。具体地,通过流处理和批处理两种数据处理方式,将数据按照产生时间划分为历史数据(或叫做离线数据)和实时数据,计算一体成为批流一体计算,即同一套计算逻辑可以同时应用于流处理和批处理两种模式。
其中,批处理指在特定时间段内批量处理大量数据,这样可以一次可以处理大量数据。当数据大小已知且有限时,使用批处理。本实施例经过批处理,将离线数据写入到Hdfs(英文全称为Hadoop Distributed File System,中文全称为分布式文件系统),包含交通事件数据存储等,便于数据应用单元24进行查询和离线分析。
流处理指在产生连续数据流时立即对其进行处理,以实时分析流数据。当数据大小未知且无限且连续时,将使用流处理。在流处理中,数据输出速率与数据输入速率一样快。当数据流是连续的并且需要立即响应时(响应时间通常在毫秒和秒级),则在这种情况下使用流处理。本实施例经过流处理,将车路融合数据快速写入到Redis(英文全称为Remote Dictionary Server;中文全称为远程字典服务)缓存数据库,便于实时应用查询。
如图5所示,数据应用单元24同样与数据存储单元22进行信息交互。数据应用单元24包括查询接口服务模块及应用展示模块。
查询接口服务模块包括实时查询接口和离线查询接口,实时查询接口从Redis中实时获取数据,离线查询接口从hive中批量查询数据,对实时和离线查询数据进行接口封装,并提供查询服务。
应用展示模块包括离线应用展示子模块和实时数据查询子模块,其中,离线应用展示子模块用于针对车辆历史数据进行批量查询,并对轨迹进行分析。实时数据查询子模块用于查询车路融合数据,基于Unity进行3D可视化展示,实时查询车辆和道路状态信息,可以实时监控车辆运行情况。其中,Unity3D是由Unity Technologies开发的一个让用户轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型工具,可用于车辆数字孪生系统中可视化展示,实时展示车辆状态,对车辆进行监控。
最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种用于园区的车路云协同大数据管理系统,其特征在于,包括:驾驶环境感知子系统(1)和云端大数据管理子系统(2);
驾驶环境感知子系统(1)用于获取车辆行驶中对于车辆内外以及周边环境的感知数据,上报给云端大数据管理子系统(2);
云端大数据管理子系统(2)用于接收驾驶环境感知子系统(1)的上报数据,对不同类型数据进行识别,针对识别后数据,首先完成数据清洗,排除上报数据中的重复和虚假目标,之后针对清洗后车辆和路侧数据进行车路数据融合操作,再将上报数据中车端感知数据和路侧感知数据与车路融合后数据进行汇总,作为同一批数据进行分析,并完成数据写入,最后,对车路系统数据进行分析,分析结果输送给驾驶环境感知子系统(1),驾驶环境感知子系统(1)再实时获取局部路径规划,并发送给相应的自动驾驶车辆;
云端大数据管理子系统(2)包括数据接收单元(21)、数据处理单元(22)、数据存储单元(23)和数据应用单元(24);
数据接收单元(21)预先部署大数据组件Kafka集群,Kafka集群下有由数据使用者用作区分定义的各种主题,数据接收单元(21)用于将接收到的上报数据输送到Kafka集群对应的主题下;
数据处理单元(22)通过订阅Kafka各自主题数据,对数据进行识别,并将识别后数据经过清洗、融合和分析,回传给驾驶环境感知子系统(1)的车载边缘服务器(122),同时发送给数据存储单元(23);
数据存储单元(23)用于对输入的数据进行实时和离线存储,进行数据持久化;
数据应用单元(24)用于根据数据存储单元(23)的实时和离线数据库,封装接口查询服务。
2.如权利要求1所述的用于园区的车路云协同大数据管理系统,其特征在于,数据处理单元(22)包括数据识别模块、数据清洗模块、数据融合模块和数据分析模块;
数据识别模块用于读取数据接收单元(21)的Kafka集群消息数据,使用大数据组件获取消息队列不同主题下上报数据的信息,通过主题名称识别分辨其所属的类别,并输送给数据清洗模块;
数据清洗模块用于对数据识别模块输入的数据进行数据清洗、数据格式校验、缺失数据补全,并输送给数据融合模块;
数据融合模块用于首先对数据清洗模块输入的多源路侧数据融合,当有路侧感知数据时,将上一次融合结果与下一个路侧感知进行融合,并检测是否含有车辆上报的自车信息,当有车辆信息时,将路侧中类型为车的目标与车辆上报信息进行融合,此时输出的车路融合结果;若路侧中不含有自车信息时,若无车辆信息,融合结果以路侧感知数据为准;当无路侧感知数据时,融合结果以车辆上报数据为准,然后将融合后感知数据、红绿灯数据、交通事件的上报数据进行汇总后发送给数据分析模块;
数据分析模块用于首先针对数据融合模块输入的数据中车身数据、道路数据、红绿灯和交通事件数据,结合车辆位置信息,进行车路协同状况驾驶分析、交通事件分析和车辆及周边路况分析,再将分析结果通过驾驶环境感知子系统(1)发送给相应的自动驾驶车辆。
3.如权利要求2所述的用于园区的车路云协同大数据管理系统,其特征在于,数据清洗模块对数据识别模块输入的数据进行数据清洗的方法包括初次清洗,其清洗规则包括:
i.数据重复规则:判断车端感知数据和路侧感知数据的相邻两帧数据在当前帧和上一帧的时间戳、目标类型、唯一编号是否同时相同,若是,则丢弃当前帧数据;
ii.数据格式校验规则:判断车端感知数据和路侧感知数据的当前帧数据是否符合预定义规则,如果否,则丢弃未通过校验的数据,其中,预定义规则包括数据的每个字段的类型、数据范围、是否为空、数据格式、坐标跳变阈值;
iii.缺失数据补全规则:判断车端感知数据和路侧感知数据的相邻两帧数据之间的时间是否大于相应预设值,如果是,则判定数据缺失,进而根据车端感知数据和路侧感知数据的历史数据,并采用求均值方式进行数据补全,历史数据中车端感知数据和路侧感知数据存在队列中,并实时更新。
4.如权利要求2所述的用于园区的车路云协同大数据管理系统,其特征在于,数据清洗模块对数据识别模块输入的数据进行数据清洗的方法还包括重复数据清洗,其具体包括:
实时更新上一帧数据并记录到临时变量中,获取当前帧和上一帧数据的时间戳和目标类型、唯一编号,判断同一个感知物的目标类型相同、时间戳是否同时相同,若是,丢弃当前帧数据,否则更新上一帧数据为当前帧数据,并进行下一次比较,此过程随着新的数据传入,反复循环操作。
5.如权利要求2或3所述的用于园区的车路云协同大数据管理系统,其特征在于,格式校验的方法具体包括如下校验方式中的一种或多种:
I.校验数据类型:判断车端感知数据和路侧感知数据的各个字段类型与预先定义类型是否匹配,如是,则校验通过,否则校验失败;
II.校验数值类型数据的范围:判断车端感知数据和路侧感知数据的数值类型数据是否超过预定义的字段约定范围,如是,则校验通过,否则校验失败;
III.校验空值:判断车端感知数据和路侧感知数据的预定义字段的唯一编号是否为空,如是,则校验失败,否则校验通过;
IV.校验乱码:判断车端感知数据和路侧感知数据是否含有乱码,如是,则校验失败,否则校验通过;
V.校验时间格式:判断车端感知数据和路侧感知数据的时间戳是否满足预定义规则,如是,则校验通过,否则校验失败;
VI.校验坐标跳变:判断车端感知数据和路侧感知数据的相邻两帧数据的坐标差值是否超过预定义跳变阈值,如是,则校验失败,否则校验通过。
6.如权利要求5所述的用于园区的车路云协同大数据管理系统,其特征在于,数据补全方法具体包括:
S1,创建存储历史数据存储队列:定义车端感知数据和路侧感知数据的历史数据存储队列,用于分别存储历史数据,并预先定义存储的帧数;
S2,更新历史数据存储队列:实时获取车端感知数据和路侧感知数据,并检测其历史数据存储队列中数据帧数是否小于S1中预先定义存储的帧数,如果是,则直接写入当前帧数到队列尾部,反之,则清除历史数据存储队列中的最早的数据,并写入当前帧数据到历史数据存储队列的尾部;
S3,判断缺失数据:判断历史数据存储队列中最后一帧数据的时间戳与当前帧的时间戳的时间差是否超过预设值,如果是,则判定数据缺失,进入步骤S4,否则不处理;
S4,数据补全:从S1中历史数据存储队列中取出数据,采取求均值的方式,计算得到当前感知物的速度、大小、高度、宽度的均值信息,并求当前帧数据和上一帧数据坐标的均值,通过求均值方式获取到的数据,作为缺失帧数据的补全信息,补全后的数据发送给数据融合模块。
7.如权利要求1或6所述的用于园区的车路云协同大数据管理系统,其特征在于,数据存储单元(23)包括Kafka集群和数据存储模块;
数据存储单元(23)的Kafka集群用于接收经由数据处理单元(22)处理后的车路融合数据、车端感知数据和路侧感知数据;
数据存储模块包括离线数据存储子模块和实时数据存储子模块,其中,离线数据存储子模块用于存储车端感知数据和路侧感知数据,应用于数据分析场景,实时数据存储子模块用于存储车路融合数据,使用大数据组件将批处理数据视作具备有限边界的数据流,将批处理任务作为流处理子集加以处理。
8.如权利要求1或6所述的用于园区的车路云协同大数据管理系统,其特征在于,数据应用单元(24)包括查询接口服务模块及应用展示模块;
查询接口服务模块包括实时查询接口和离线查询接口,实时查询接口从Redis中实时获取数据,离线查询接口从hive中批量查询数据,对实时和离线查询数据进行接口封装,并提供查询服务;
应用展示模块包括离线应用展示子模块和实时数据查询子模块,其中,离线应用展示子模块用于针对车辆历史数据进行批量查询,并对轨迹进行分析;实时数据查询子模块用于查询车路融合数据,基于Unity进行3D可视化展示,实时查询车辆和道路状态信息,实时监控车辆运行情况。
CN202310013222.6A 2023-01-05 2023-01-05 一种用于园区的车路云协同大数据管理系统 Active CN116052420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310013222.6A CN116052420B (zh) 2023-01-05 2023-01-05 一种用于园区的车路云协同大数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310013222.6A CN116052420B (zh) 2023-01-05 2023-01-05 一种用于园区的车路云协同大数据管理系统

Publications (2)

Publication Number Publication Date
CN116052420A CN116052420A (zh) 2023-05-02
CN116052420B true CN116052420B (zh) 2023-09-22

Family

ID=86121395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310013222.6A Active CN116052420B (zh) 2023-01-05 2023-01-05 一种用于园区的车路云协同大数据管理系统

Country Status (1)

Country Link
CN (1) CN116052420B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117439941A (zh) * 2023-12-20 2024-01-23 厦门金龙联合汽车工业有限公司 一种面向无人车的基于多链路数据传输方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109709593A (zh) * 2018-12-28 2019-05-03 国汽(北京)智能网联汽车研究院有限公司 基于“云-端”紧耦合的智能网联汽车车载终端平台
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技(上海)股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN113485319A (zh) * 2021-06-08 2021-10-08 中兴智能汽车有限公司 基于5g车路协同的自动驾驶系统
CN114397877A (zh) * 2021-06-25 2022-04-26 南京交通职业技术学院 一种智能汽车自动驾驶系统
WO2022227105A1 (zh) * 2021-04-30 2022-11-03 广州中国科学院软件应用技术研究所 一种基于端云融合的协同控制系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109709593A (zh) * 2018-12-28 2019-05-03 国汽(北京)智能网联汽车研究院有限公司 基于“云-端”紧耦合的智能网联汽车车载终端平台
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技(上海)股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
WO2022227105A1 (zh) * 2021-04-30 2022-11-03 广州中国科学院软件应用技术研究所 一种基于端云融合的协同控制系统及方法
CN113485319A (zh) * 2021-06-08 2021-10-08 中兴智能汽车有限公司 基于5g车路协同的自动驾驶系统
CN114397877A (zh) * 2021-06-25 2022-04-26 南京交通职业技术学院 一种智能汽车自动驾驶系统

Also Published As

Publication number Publication date
CN116052420A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US20200402323A1 (en) Intervention in operation of a vehicle having autonomous driving capabilities
CN110570538B (zh) 智能驾驶汽车中黑匣子数据的管理方法、装置和设备
US20190258246A1 (en) Intervention in operation of a vehicle having autonomous driving capabilities
CN113240909B (zh) 车辆监测方法、设备、云控平台和车路协同系统
US20200387155A1 (en) Intervention in operation of a vehicle having autonomous driving capabilities
US20210341915A1 (en) Intervention in operation of a vehicle having autonomous driving capabilities
US20180364700A1 (en) Intervention in operation of a vehicle having autonomous driving capabilities
WO2018047115A1 (en) Object recognition and classification using multiple sensor modalities
EP4276567A2 (en) Intervention in operation of a vehicle having autonomous driving capabilities
US20210331686A1 (en) Systems and Methods for Handling Autonomous Vehicle Faults
CN116052420B (zh) 一种用于园区的车路云协同大数据管理系统
US20220068052A1 (en) Simulation of autonomous vehicle to improve safety and reliability of autonomous vehicle
CN106056697A (zh) 一种事件监控方法、装置和系统
CN114492022A (zh) 路况传感数据处理方法、装置、设备、程序以及存储介质
CN115909740A (zh) 车路协同实现方法、装置、计算机设备及存储介质
CN113538909A (zh) 一种自动驾驶车辆交通事件预测方法及装置
JP2023539643A (ja) 車両の確認および検証のためのクリティカルシナリオの識別
Chang et al. CAV driving safety monitoring and warning via V2X-based edge computing system
US12019449B2 (en) Rare event simulation in autonomous vehicle motion planning
CN115112138A (zh) 轨迹规划信息生成方法、装置、电子设备以及存储介质
RU2807410C1 (ru) Способ дистанционного управления высокоавтоматизированным транспортным средством
CN117591847B (zh) 基于车况数据的模型指向评测方法和装置
CN117593686B (zh) 基于车况真值数据的模型评测方法和装置
CN117593892B (zh) 真值数据的获取方法和装置、存储介质及电子设备
CN117456737B (zh) 基于3d视觉智能的智慧交通大数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant