CN116052469A - 一种基于车路协同轨迹预测的车辆碰撞预警方法 - Google Patents

一种基于车路协同轨迹预测的车辆碰撞预警方法 Download PDF

Info

Publication number
CN116052469A
CN116052469A CN202211477114.6A CN202211477114A CN116052469A CN 116052469 A CN116052469 A CN 116052469A CN 202211477114 A CN202211477114 A CN 202211477114A CN 116052469 A CN116052469 A CN 116052469A
Authority
CN
China
Prior art keywords
vehicle
road
track
data
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211477114.6A
Other languages
English (en)
Inventor
宋梁
胡兴
倪伟
林捷郁
李增文
陈昌学
江朋翊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Chongqing Changan Automobile Co Ltd
Original Assignee
Fudan University
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Chongqing Changan Automobile Co Ltd filed Critical Fudan University
Priority to CN202211477114.6A priority Critical patent/CN116052469A/zh
Publication of CN116052469A publication Critical patent/CN116052469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于车路协同轨迹预测的车辆碰撞预警方法,包括如下步骤,车端及路端感知器不仅可以提供本身的相关信息,还可以检测附件范围内物体有关信息;道路上每辆车都安装GPS接收器,并向路侧端发送本车数据;路端装有激光雷达和视觉传感器,可以实现对目标的跟踪,利用目标检测与跟踪算法,对范围内的目标进行有效的跟踪;为了降低后续融合阶段算法的时间复杂度,对数据进行了排序以及去重操作;GPS轨迹和视觉跟踪轨迹的融合;预测目标的轨迹实现对未来交通事故的预警;通过预测的轨迹在相同坐标系内有无可能出现的交汇点,实现对车辆碰撞的预警。本发明能够快速准确高效的预测可能发生的交通碰撞事故。

Description

一种基于车路协同轨迹预测的车辆碰撞预警方法
技术领域
本发明涉及智能交通技术领域,具体为一种基于车路协同轨迹预测的车辆碰撞预警方法。
背景技术
当前,自动驾驶技术作为当前智能交通领域的最前沿技术,包括了车辆的环境感知、路径规划与决策以及车辆运动控制。然而,到目前为止,单车智能的发展已经进入到瓶颈阶段,智能驾驶的研究陷入了长尾效应,即花费99%的精力去解决1%的问题。目前,限制单车智能的发展的重要因素之一是单车的感知能力受限。自动驾驶汽车主流的环境感知技术是通过多种车载传感器融合,并结合高精度地图实现对周边道路环境的全面感知,该种方法有以下几点缺点:
(1)车辆感知范围受传感器性能影响较大,当前感知最大距离200米左右,对于高速行驶的车辆感知范围更小。
(2)感知范围易受到障碍物影响,难以实现对周边环境的全面感知,当前车辆自主。
式的感知技术不能够实现越过障碍物感知前方状况,不能解决视野遮挡情况下的行驶安全问题。
(3)各个自动驾驶车辆独立的环境感知系统对自动驾驶编队行驶带来挑战,自动驾驶车辆编队行驶时难以融合车队内所有车辆的传感器数据,造成车队系统鲁棒性差,极易解体。
(4)当前高精度地图存在更新频率较低,采集制作成本较高等问题,难以满足自动驾驶汽车的实际需求。
随着车辆协同技术的方法,原本安装在车辆上的传感器被转移到路侧,并通过快捷的无线通信技术和通信范围的车辆自动连接,使得车辆的视野不再受到车体本身的限制,极大的拓展了车辆对交通状况的感知能力。
发明内容
本发明的目的在于提供一种基于车路协同轨迹预测的车辆碰撞预警方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于车路协同轨迹预测的车辆碰撞预警方法,具体包括如下步骤:
S1、车端路端通信:利用车端感知器、路端感知器检测附近范围内有关物体信息,并提供本身相关信息,路端感知器检测到处于当前时间戳范围内的若干物体相关信息后生成JSON格式数据,路端感知器获取到所处范围所有物体信息后与多车端数据融合,从而在车端显示数据中不但包括车的信息还包括路端感知器检测到的物体信息;
S2、车端GPS数据发送:道路上每辆车都安装GPS接收器,并在预设帧实时发送本车数据,路端感知器收到附近一定范围内若干车端发送的数据后根据预设时间戳范围进行多车视角融合;
S3、路端视觉跟踪:路端装有激光雷达和视觉传感器,可以实现对目标的跟踪,利用目标检测与跟踪算法,对范围内的目标进行有效的跟踪;
S4、车端数据整合:为了降低后续融合阶段算法的时间复杂度,在进行融合之前,对预处理后的数据进行了排序以及去重操作;
S5、GPS轨迹和视觉跟踪轨迹融合:采用卡尔曼滤波方法将GPS轨迹、视觉跟踪轨迹相互校正,获得最终的鲁棒轨迹,可有效获得目标轨迹的准确性;
S6、轨迹预测:基于车辆的历史估计,采用基于LSTM模型,预测出在未来5秒内的目标的轨迹,以实现对未来交通事故的预警;
S7、轨迹交叉点检测:通过预测的轨迹在相同坐标系内有无可能出现的交汇点,实现对车辆碰撞的预警;
S8、预警信息回传至车辆预警并显示:将预测的结果回传至可能发送碰撞的车辆,并在车辆上发出预警信息。
优选的,路端感知器配置了物体识别等模块可以对物体完成分类并感知物体状态信息。
优选的,S5中两种轨迹的融合采用松组合策略,是用GPS观测值修正系统输出的导航解,使用视觉跟踪误差状态反馈来改正下一时刻目标跟踪输出位置解。
与现有技术相比,本发明的有益效果是:本发明能够有效拓展车辆的感知范围,能够从局部拓展到全局范围。与现有技术的不同之处在于本发明利用多个自由移动车辆感知交通场景,并通过RSU实现感知碰撞预警信息,最后传递到每个可能发生碰撞的车辆,本发明能够快速准确高效的预测可能发生的交通碰撞事故。
附图说明
图1GPS和目标视觉跟踪器的组合滤波框架;
图2为基于LSTM的轨迹预测模型。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
请参阅图1,本发明提供一种技术方案:一种基于车路协同轨迹预测的车辆碰撞预警方法,具体包括如下步骤:
S1、车端路端通信
车端及路端感知器不仅可以提供本身的相关信息,还可以检测附件范围内物体有关信息。RSU(路端)检测到处于当前时间戳范围内的若干物体相关信息后生成JSON格式数据,其中包括某物体的位置,速度等。这些物体自身未安装感知器,但RSU配置了物体识别等模块可以对物体完成分类并感知物体状态信息。
RSU获取到所处范围所有物体信息后与多车端数据融合,从而在车端显示数据中不但包括车的信息还包括RSU检测到的物体信息,包括但不限于人、非机动车等不含感知器的物体。使得车端对当前道路状态有更加详细的了解。车端数据格式框架与路端数据格式框架保持一致,主要包括信号id,信号时间戳,信号纬度,信号经度,信号航向角,信号速度。对于网络层传输得到的数据进行必要的预处理工作,大致实现如下:对网络层数据中的车端数据与路端数据进行分离操作,将其存放在不同的列表中,然后分别对数据进行合适的封装,保留其中对后续融合操作有用的部分。在具体的项目中,我们通过纬度、经度、目标类型等数据信息对不同终端设备采集到的数据进融合。
S2、车端GPS数据发送
道路上每辆车都安装GPS接收器,并在预设帧实时发送本车数据,包括车辆所处位置,航向角,速度等等,路端接收器收到附近一定范围内若干车端发送的数据后根据预设时间戳范围进行多车视角融合,简单来说,就是把不同车辆所处位置及状态都发送给路端,路端将所有数据具体化后重现车辆的GPS轨迹,路端之间也通过通信进行数据共享。从而车辆视野得到进一步扩展,可以对前后一定距离的情况有详细的了解。
S3、路端视觉跟踪
路端装有激光雷达和视觉传感器,可以实现对目标的跟踪,利用目标检测与跟踪算法,对范围内的目标进行有效的跟踪。拟采用视觉多目标跟踪方法实现跟踪。
S4、车端数据整合
为了降低后续融合阶段算法的时间复杂度,在进行融合之前,我们对预处理后的数据进行了排序以及去重操作。排序是根据车辆所在维度对车辆数据进行排序,这样做的原因是考虑同一车辆的数据信息可能由多台车载单元及路测设备感知得到,在总的数据集合中可能存在针对同一车辆的多条数据信息,因此需要的数据进行去重操作,而排序的目标在于降低执行去重操作时的计算复杂度,此外由于每两次融合处理之间的时间间隔是极短的,同一车辆在两次融合时的地理位置相差极为接近,对车辆数据进行排序可能对后续进一步优化拼接算法有一定帮助的。在去重阶段,根据车辆的位置信息、航行状况对数据集合中的重复的数据进行删除操作,降低融合阶段处理的数据量,提升算法的执行效率。
对车端和路端数据进行融合的具体操作如下:通过一个函数对某一条具体的车端数据和路端数据进行判断,如果判断为同一目标对象,则将其在车载单元和路侧设备中所感知到的数据进行融合并删除,生成一个对于该对象的唯一数据表示;如果判断其不是同一目标对象,则继续其他数据的对比。其中的判断逻辑如下:以车端或路端的一个数据目标1为中心划定一个范围,当另一个数据目标2所在位置超出这个范围是直接判定二者并非同一目标,当数据目标2没有超出这个范围时,则继续基于两个数据中的时间差、速度变化、航向角变化等进行比较,在上述数据的差值处于某一阈值内时,认为目标1与目标2表示的是同一目标。
S5、GPS轨迹和视觉跟踪轨迹融合
GPS数据容易出现飘逸,导致误差较大,而视觉跟踪轨迹收到遮挡、相似目标、光线等干扰,导致产生跟踪误差。GPS轨迹和视觉跟踪轨迹的融合可以有效获得目标轨迹的准确性。采用卡尔曼滤波方法,实现两种轨迹之间的相互校正,获得最终的鲁棒轨迹。GPS的输出常见为:经度,维度,和高度表示为:
Figure BDA0003959649370000051
每个时刻视觉跟踪的结果为目标的定位表示为
Figure BDA0003959649370000061
两者的融合采用松组合策略,其特点是:用GPS观测值修正系统输出的导航解;使用视觉跟踪误差状态反馈来改正下一时刻目标跟踪输出位置解。松组合指的是GPS接收机使用导航滤波器把伪距和载波相位观测值处理成独立的位置,速度导航解,把GPS位置,速度数据作为观测量直接输入到卡尔曼滤波器中,执行递归最小二乘估计,并对视觉跟踪器进行导航修正;GPS和视觉跟踪器作为两套独立的位置和姿态参数输入到组合导航框架中,组合导航框架与GPS和视觉跟踪器之间存在反馈回路,最终产生单一的组合导航解,GPS和目标视觉跟踪器之间的组合如图1所示。
S6、轨迹预测
预测目标的轨迹,可以实现对未来交通事故的预警。基于车辆的历史估计,采用基于LSTM模型,预测出在未来5秒内的目标的轨迹。图2为轨迹预测框架。LSTM模型,包括前向计算方法、基于时间的反向传播(Back Propagation Through Time,BPTT)算法、Adam参数优化算法,以及相关的RNN、GRU模型。对于给定序列x=(x,xz,…,x),应用一个标准的RNN模型,可以计算出一个隐藏层序列h=(h hz,…,h,)和一个输出序列y=(y,y,…,y)。
h=fa(Wxhxt+Whhht-1+bh)
y=WhyhT+by
式中:W为权重系数矩阵(比如W表示输入层到隐藏层的权重系数矩阵);b为偏置向量(比如b表示隐藏层的偏置向量);f为激活函数(比如tanh函数);下标t表示时刻。
尽管RNN能够有效地处理非线性时间序列,但是仍然存在以下2个问题4:①由于梯度消失和梯度爆炸的问题,RNN不能处理延迟过长的时间序列;②训练RNN模型需要预先确定延迟窗口长度,然而实际应用中很难自动地获取这一参数的最优值。由此,LSTM模型应用而生。LSTM模型是将隐藏层的RNN细胞替换为LSTM细胞,使其具有长期记忆能力。经过不断地演化,目前应用最为广泛的LSTM模型细胞结构z为输入模块,其前向计算方法可以表示为
it=σ(Wxixt+Whiht-1+Wcict-1+bi)
ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)
ct=ftct-1+ittanh(Wxcxt+Whcht-1+bc)
ot=σ(Wxoxt+Whoht-1+Wcoct+b0)
ht=ottanh(ct)
式中,i f,c,o分别为输入门,遗忘门,细胞状态。
S7、轨迹交叉点检测
通过预测的轨迹在相同坐标系内有无可能出现的交汇点,实现对车辆碰撞的预警。设定一个阈值t,如果两个车辆轨迹同一时刻的坐标点之间的欧式距离
Figure BDA0003959649370000071
小于t,且方向夹角小于θ,通常设为30°,且前车的速度小于后车的速度大于v,通常设为5m/s时,可以认定a车和b车将发生碰撞。
S8、预警信息回传至车辆预警并显示
将预测的结果回传至可能发送碰撞的车辆,并在车辆上发出预警信息。在得到融合数据之后,可视化通过静态、交互或动画方式可视化软件系统及其相关信息的信息(包括其源代码的体系结构或路端运行时行为的度量),采用2D或3D的结构,执行行为的视觉表示。可视化过程包括整合智能化车载监控系统产生大量的场景车辆运行数据和路面路况数据,通过后台应用可视化系统将流式数据进行结构化并结合现有的路侧监测数据,构建单点到区间再到路段,最后是路网的交通运行状态知识图谱,涵盖车辆平均速度、行驶方向等多维度的交通运行参数。创建可视化平台可以满足开发人员和用户的需求,可以通过网页或android等平台以标准可视化格式查看数据,从而做到简化协作、知识理解、深入分析以及整体数据质量的信任。根据可视化的结果,可以直观地探索自动驾驶传感器数据、预测路径、跟踪对象以及速度等状态信息,对于分类过程非常有效,提高开发人员的效率,长期来看可以为每个人提供更安全、更清洁、更高效的交通解决方案。可视化显示主要分为三个模块:一,后端数据处理;二,地图建模;三,前端可视化。按时间戳接收拼接后的数据,将数据中的经纬度转换为坐标系,并将其按地图尺寸进行缩放。将转化后的数据通过websocket传递给前端。以相应Node节点的经纬度坐标为基准,结合前端可视化界面的要求和后端坐标转换算法,制作出符合要求的地图。通过架设在路端的路侧单元获取道路和车辆信息,后台完成车辆感知和数据融合后,在前端页面展示实时的可视化地图界面。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于车路协同轨迹预测的车辆碰撞预警方法,其特征在于,具体包括如下步骤:
S1、车端路端通信:利用车端感知器、路端感知器检测附近范围内有关物体信息,并提供本身相关信息,路端感知器检测到处于当前时间戳范围内的若干物体相关信息后生成JSON格式数据,路端感知器获取到所处范围所有物体信息后与多车端数据融合,从而在车端显示数据中不但包括车的信息还包括路端感知器检测到的物体信息;
S2、车端GPS数据发送:道路上每辆车都安装GPS接收器,并在预设帧实时发送本车数据,路端感知器收到附近一定范围内若干车端发送的数据后根据预设时间戳范围进行多车视角融合;
S3、路端视觉跟踪:路端装有激光雷达和视觉传感器,对目标的跟踪,利用目标检测与跟踪算法对范围内的目标进行有效的跟踪;
S4、车端数据整合:为了降低后续融合阶段算法的时间复杂度,在进行融合之前,对预处理后的数据进行排序以及去重操作;
S5、GPS轨迹和视觉跟踪轨迹融合:采用卡尔曼滤波方法将GPS轨迹、视觉跟踪轨迹相互校正,获得最终的鲁棒轨迹,可有效获得目标轨迹的准确性;
S6、轨迹预测:基于车辆的历史估计,采用基于LSTM模型,预测出在未来5秒内的目标的轨迹,以实现对未来交通事故的预警;
S7、轨迹交叉点检测:通过预测的轨迹在相同坐标系内有无可能出现的交汇点,实现对车辆碰撞的预警;
S8、预警信息回传至车辆预警并显示:将预测的结果回传至可能发送碰撞的车辆,并在车辆上发出预警信息。
2.根据权利要求1所述的一种基于车路协同轨迹预测的车辆碰撞预警方法,其特征在于:路端感知器配置了物体识别等模块可以对物体完成分类并感知物体状态信息。
3.根据权利要求1所述的一种基于车路协同轨迹预测的车辆碰撞预警方法,其特征在于:S5中两种轨迹的融合采用松组合策略,是用GPS观测值修正系统输出的导航解,使用视觉跟踪误差状态反馈来改正下一时刻目标跟踪输出位置解。
CN202211477114.6A 2022-11-23 2022-11-23 一种基于车路协同轨迹预测的车辆碰撞预警方法 Pending CN116052469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211477114.6A CN116052469A (zh) 2022-11-23 2022-11-23 一种基于车路协同轨迹预测的车辆碰撞预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211477114.6A CN116052469A (zh) 2022-11-23 2022-11-23 一种基于车路协同轨迹预测的车辆碰撞预警方法

Publications (1)

Publication Number Publication Date
CN116052469A true CN116052469A (zh) 2023-05-02

Family

ID=86120739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211477114.6A Pending CN116052469A (zh) 2022-11-23 2022-11-23 一种基于车路协同轨迹预测的车辆碰撞预警方法

Country Status (1)

Country Link
CN (1) CN116052469A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994436A (zh) * 2023-09-26 2023-11-03 青岛慧拓智能机器有限公司 一种智慧矿山道路碰撞预警方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994436A (zh) * 2023-09-26 2023-11-03 青岛慧拓智能机器有限公司 一种智慧矿山道路碰撞预警方法
CN116994436B (zh) * 2023-09-26 2024-02-20 青岛慧拓智能机器有限公司 一种智慧矿山道路碰撞预警方法

Similar Documents

Publication Publication Date Title
US11836623B2 (en) Object detection and property determination for autonomous vehicles
US10310087B2 (en) Range-view LIDAR-based object detection
CN112368662B (zh) 用于自主运载工具操作管理的定向调整动作
EP3717324B1 (en) Autonomous vehicle operational management scenarios
US10229363B2 (en) Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US11537127B2 (en) Systems and methods for vehicle motion planning based on uncertainty
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
US20220188695A1 (en) Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model
CN113085852A (zh) 自动驾驶车辆的行为预警方法、装置及云端设备
CA3126236A1 (en) Systems and methods for sensor data packet processing and spatial memoryupdating for robotic platforms
Wang et al. Trajectory prediction for turning vehicles at intersections by fusing vehicle dynamics and driver’s future input estimation
Jeong Predictive lane change decision making using bidirectional long shot-term memory for autonomous driving on highways
CN115635961A (zh) 样本数据生成方法及应用其的轨迹预测方法、装置
CN116052469A (zh) 一种基于车路协同轨迹预测的车辆碰撞预警方法
Teng et al. Fusionplanner: A multi-task motion planner for mining trucks using multi-sensor fusion method
WO2023249857A1 (en) Semi-closed loop rollouts for data augmentation
US11400958B1 (en) Learning to identify safety-critical scenarios for an autonomous vehicle
US20220135068A1 (en) Method and system for motion planning for an autonmous vehicle
CN113808270B (zh) 基于网联的无人驾驶测试环境地图搭建方法及系统
US20230237793A1 (en) False track mitigation in object detection systems
US20230159026A1 (en) Predicting Motion of Hypothetical Agents
US20240151817A1 (en) Systems and methods for static detection based amodalization placement
US20230399026A1 (en) State Identification For Road Actors With Uncertain Measurements Based On Compliant Priors
US20240051568A1 (en) Discriminator network for detecting out of operational design domain scenarios
US20240075923A1 (en) Systems and methods for deweighting veering margins based on crossing time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination