CN114898585A - 基于路口多视角的车辆轨迹预测规划方法及系统 - Google Patents
基于路口多视角的车辆轨迹预测规划方法及系统 Download PDFInfo
- Publication number
- CN114898585A CN114898585A CN202210413344.XA CN202210413344A CN114898585A CN 114898585 A CN114898585 A CN 114898585A CN 202210413344 A CN202210413344 A CN 202210413344A CN 114898585 A CN114898585 A CN 114898585A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- view
- intersection
- predicted
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000009826 distribution Methods 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000002087 whitening effect Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 8
- 230000008447 perception Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于路口多视角的车辆轨迹预测规划方法及系统，基于部署在路测设备的多视角相机实现，所述方法包括：对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。本发明的方法不需要使用激光雷达设备进行定位，避免了昂贵的费用；本发明在路侧设备中进行更便于维护，信息通过交互的方式传递给路口车辆，也会降低车载系统的体量。
Description
技术领域
本发明属于车辆轨迹预测与规划领域，具体涉及一种利用多视角的路口车辆轨迹预测方法，特别涉及基于路口多视角的车辆轨迹预测规划方法及系统。
背景技术
随着技术的发展，智能交通极大的改变着人们的生活方式，而作为核心的无人驾驶系统更是近年来的研究热点。无人驾驶车辆的关键技术有环境感知、导航定位、路径规划和决策控制。
环境感知中，最常用的是对输入的图片信息进行目标检测，区分行人与车辆，也会使用点云信息，用以提供目标物的深度信息，两者相互结合，确定了自动驾驶车辆周围的环境信息。但雷达点云信息相对于图片信息，获取的价格昂贵，所以有大量的研究学者对点云信息的可替代性进行研究。多视角的图片信息作为一种可行的方案，不仅价格相对便宜，同时多视角的图片信息也能获得目标物的深度信息，能够替代激光点云，成为自动驾驶系统中环境感知部分的主要信息来源。单一图片的目标检测，可能会因为目标物之间的遮挡，光线的因素，视角的不同，从而使得获得的目标物信息有限，对这种情况下得到的图片做目标检测，得到的检测精度不高。对同一地点的多视角图片进行目标检测，最后将检测结果融合到一起，由于提供了更多的环境信息，得到的检测结果精度更高。
路径规划连接了环境感知定位和决策控制两个部分，是实现自动驾驶功能的基础。路径规划的目的是参考某一个参数指标，在路口的状态下选择一条可以实现最优或次优的避障路径。路径规划可以分为全局路径规划和局部路径规划。全局路径规划首先需要获得全局环境信息，建立全局地图模型后进而做出路径规划。而局部路径规划是根据实时获得的环境信息，动态做出路径规划。
发明内容
本发明的目的在于克服现有技术缺陷，提出了基于路口多视角的车辆轨迹预测规划方法及系统。
为了实现上述目的，本发明提出了一种基于路口多视角的车辆轨迹预测规划方法，基于部署在路测设备的多视角相机实现，所述方法包括：
步骤1)对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；
步骤2)对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；
步骤3)根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；
步骤4)根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。
作为上述方法的一种改进，所述步骤1)的预处理包括白化和去噪处理。
作为上述方法的一种改进，所述步骤2)具体包括：
步骤2-1)将预处理后的多视角图像依次输入预先建立和训练好的特征提取模型得到每一帧图像对应的特征；
步骤2-2)通过联合旋转-平移矩阵对每一帧图像对应的特征进行转换，设置采样网格的尺寸为H×W，将转换后的特征图透视变换到地平面上，视野外的区域用统一的数字填充；其中，H和W分别表示预测的路口车辆鸟瞰图的高度和宽度；
步骤2-3)将平面栅格化为H×W的大小，平面位置的X-Y坐标信息分别存放在一个二维张量中，将坐标张量和投影到地平面上的张量沿通道方向进行拼接，得到对应时刻路口车辆分布的鸟瞰图，重复该步骤得到一段时间内连续多帧路口车辆分布鸟瞰图。
作为上述方法的一种改进，所述特征提取模型使用ResNet50作为主干网络，并将两个3×3的卷积替换为1×1+3×3+1×1的卷积层以减少计算时间。
作为上述方法的一种改进，所述步骤3)具体包括：
根据连续多帧路口车辆分布鸟瞰图，得到每个待预测车辆在最后一帧的预测位置信息，并建立每个待预测车辆对应于卡尔曼滤波中的目标状态模型X为：
其中，u和v分别表示待预测车辆的位置中心相对于分布鸟瞰图的横纵坐标，s和r分别表示该车辆的目标边界框尺寸大小和比例，
和
分别表示待预测车辆的横纵方向分量速度，T表示转置；
使用匈牙利指派算法进行数据关联，根据待预测车辆的预测位置信息和真实位置信息之间的距离，对待预测车辆的预测位置信息和车辆进行关联，从而得到鸟瞰图中每个待预测车辆位置的匹配信息。
作为上述方法的一种改进，所述步骤4)具体包括：
遍历鸟瞰图中每辆待预测车辆，重复以下步骤：
根据卡尔曼滤波预测的待预测车辆下一时刻的中心位置和边界框的位置，结合前一时刻鸟瞰图中该车辆位置信息，得到矢量方向即为待预测车辆的前进方向；
将预测位置信息和最后一帧鸟瞰图中该车辆实际位置的标量大小除以鸟瞰图帧与帧之间的时间间隔，得到待预测车辆的速度；
将该车辆的预测方向和预测速度信息绑定唯一指向该车的ID号，发送至对应车辆。
一种基于路口多视角的车辆轨迹预测规划系统，所述系统部署在路测设备，包括：预处理模块、鸟瞰图生成模块、关联匹配模块和预测发送模块；其中，
所述预处理模块，用于对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；
所述鸟瞰图生成模块，用于对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；
所述关联匹配模块，用于根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；
所述预测发送模块，用于根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。
一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的方法。
一种非易失性存储介质，用于存储计算机程序，所述计算机程序当被处理器执行时执行上述的方法。
与现有技术相比，本发明的优势在于：
1、本发明的方法不需要使用激光雷达设备进行定位，避免了昂贵的费用；
2、本发明的方法整合了自动驾驶系统中环境感知与路径规划过程，并将结果传递到决策控制阶段，为决策控制提供更多的车辆信息；
3、轨迹预测过程，连续帧的数据处理计算量很大，本发明在路侧设备中进行更便于维护，且信息通过交互的方式传递给路口车辆，也会降低车载系统的体量。
附图说明
图1是本发明的基于路口多视角的车辆轨迹预测规划方法流程图；
图2为本发明的架构模型图。
具体实施方式
本发明的目的是整合自动驾驶系统中环境感知与路径规划过程，并将结果传递到决策控制阶段，为决策控制提供更多的车辆信息。由于目标检测和路径规划的过程是在路侧设备中进行，并与车辆进行信息交互，所以相比于单独基于车辆视角获得的数据并进行预测来说，路侧设备可以获得路口更全面的信息，为后续的决策阶段做准备。
为了实现上述目的，本发明提出了一个用于整合环境感知和路径规划中轨迹预测的系统，包括步骤：
1.从路侧设备的多视角相机中，捕获关于路口一个时间点的多视角图片，并进行预处理；
2.对该时间点的多视角图片进行特征提取、透视变换和聚合，生成路口车辆的分布鸟瞰图；
3.对多个连续的时间点，重复上述过程，获得一段时间的分布鸟瞰图变化；
4.对连续帧的路口车辆分布鸟瞰图，通过卡尔曼滤波，获得鸟瞰图中车辆位置的匹配；
5.将分布鸟瞰图和匹配信息，应用预测，得到某一车的状态，预测其轨迹、方向和速度信息，并对该车辆生成唯一的ID；
6.对路口的所有车辆生成其状态和预测信息，并随同其ID，从路侧设备发送给路口所有车辆；
7.自动驾驶车辆会接收到从路侧设备发送的路口所有车辆的状态以及预测的轨迹、方向和速度信息，为自动驾驶车辆后续的决策控制阶段做准备。
为完成获取路口车辆状态并预测车辆轨迹的任务，本发明主要包括两个部分，分别为获取连续帧的路口车辆分布鸟瞰图以及预测车辆轨迹方向和速度信息，具体流程如下：
1.连续帧路口车辆鸟瞰图：对路侧设备得到的多视角图片信息进行降噪等数据预处理操作，而后通过特征提取、透视变换和聚合，得到路口车辆的分布鸟瞰图，对一段时间内的多视角图片，分别获得鸟瞰图，连续时间点的路口车辆分布鸟瞰图；
预测路口车辆状态并发送给车端：对于连续帧的路口车辆分布鸟瞰图，利用卡尔曼滤波，获得帧与帧之间的车辆关系。对同一辆车，利用连续帧的车辆位置信息，预测下一时刻该车辆的轨迹，包括其速度和运动方向信息，而后将该信息绑定唯一的ID。对于鸟瞰图中每一辆车都预测同样的信息，并绑定唯一的ID后，将这些信息发送给路口的所有自动驾驶车辆。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图1所示，本发明的实施例1提出了基于路口多视角的车辆轨迹预测规划方法。具体实施步骤如下：
步骤1)路侧设备从多视角相机获取单一时刻图像数据进行预处理，包括去均值、归一化等操作；
步骤2)路侧设备中使用CNN网络对多视角图像数据进行特征提取，具体内容为：ResNet50作为主干网络，将两个3×3的卷积，替换为1×1+3×3+1×1卷积层以减少计算时间；为减小模型的大小，通过1×1的卷积核将通道数从256降低到64，在最后再通过1×1的卷积核恢复通道数。图2为本发明的架构模型图。
步骤3)多视角特征投影和特征融合：具体包括：
步骤301)多视角特征投影：透视变换将多个单视角图像特征投影到鸟瞰图中，变换过程为：
采样网格尺寸为H×W，将多视角特征图透视变换到地平面上，视野外的区域用统一的数字填充(0或255)
步骤302)特征融合单一时刻获得路口车辆分布鸟瞰图：
将平面栅格化为H×W的大小，H和W表示预测的路口车辆鸟瞰图的高度和宽度。平面位置的X-Y坐标信息分别存放在一个二维张量中，将坐标张量和投影到地平面上的张量沿通道方向进行拼接，得到该时刻路口车辆分布的鸟瞰图。
步骤4)重复上述步骤，获得连续时间间隔的路口车辆分布鸟瞰图；
步骤5)位置关联和预测，具体包括：
步骤501)给定一段时间间隔内的路口车辆分布位置信息，利用卡尔曼滤波，得到最后一帧的预测位置信息。路口车辆分布鸟瞰图中，每个目标对应于卡尔曼滤波中的目标状态模型为
其中u和v分别表示路口车辆目标的位置中心相对于分布鸟瞰图的横纵坐标，s和r表示车辆目标边界框的尺寸大小和比例，
和
分别表示待预测车辆的分量速度，T表示转置。
步骤502)使用匈牙利指派算法进行数据关联，根据预测的位置信息和该帧真实的位置信息之间的距离，对预测的位置和车辆进行关联；
步骤6)根据卡尔曼滤波计算预测的车辆运动方向和速度，具体包括：
步骤601)单一目标的方向预测：根据卡尔曼滤波预测的下一时刻的目标车辆的中心和边界框的位置，结合前一时刻鸟瞰图中的车辆位置信息，其矢量方向即为预测的目标车辆的前进方向；
步骤602)对预测位置和最后一帧鸟瞰图中车辆实际位置的标量大小除以鸟瞰图帧与帧之间的时间间隔，即可得到预测的目标车辆的速度；
步骤603)将该车辆的预测方向和预测速度信息绑定唯一指向该车的ID；
步骤604)对路口分布鸟瞰图中的所有车辆都进行步骤6的操作，获得路口所有车辆预测的位置、运动方向和速度信息及对应的ID；
步骤7)路侧设备将车辆的状态和预测的信息连同其ID，发送给路口所有自动驾驶车辆；
步骤8)路口车辆接收来自路侧设备发送的路口所有车辆的状态和预测的轨迹、方向和速度信息，为决策控制做准备。
实施例2
本发明的实施例2提出了一种基于路口多视角的车辆轨迹预测规划方法系统，该系统部署在路测设备，包括：预处理模块、鸟瞰图生成模块、关联匹配模块和预测发送模块；其中，
所述预处理模块，用于对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；
所述鸟瞰图生成模块，用于对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；
所述关联匹配模块，用于根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；
所述预测发送模块，用于根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。
实施例3
本发明的实施例3还可提供的一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。
在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：
执行实施例1的方法的步骤。
实施例1的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
实施例4
本发明实施例4提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现实施例1中方法的各个步骤。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于路口多视角的车辆轨迹预测规划方法，基于部署在路测设备的多视角相机实现，所述方法包括：
步骤1)对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；
步骤2)对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；
步骤3)根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；
步骤4)根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。
2.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤1)的预处理包括白化和去噪处理。
3.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤2)具体包括：
步骤2-1)将预处理后的多视角图像依次输入预先建立和训练好的特征提取模型得到每一帧图像对应的特征；
步骤2-2)通过联合旋转-平移矩阵对每一帧图像对应的特征进行转换，设置采样网格的尺寸为H×W，将转换后的特征图透视变换到地平面上，视野外的区域用统一的数字填充；其中，H和W分别表示预测的路口车辆鸟瞰图的高度和宽度；
步骤2-3)将平面栅格化为H×W的大小，平面位置的X-Y坐标信息分别存放在一个二维张量中，将坐标张量和投影到地平面上的张量沿通道方向进行拼接，得到对应时刻路口车辆分布的鸟瞰图，重复该步骤得到一段时间内连续多帧路口车辆分布鸟瞰图。
4.根据权利要求3所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述特征提取模型使用ResNet50作为主干网络，并将两个3×3的卷积替换为1×1+3×3+1×1的卷积层以减少计算时间。
5.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤3)具体包括：
根据连续多帧路口车辆分布鸟瞰图，得到每个待预测车辆在最后一帧的预测位置信息，并建立每个待预测车辆对应于卡尔曼滤波中的目标状态模型X为：
其中，u和v分别表示待预测车辆的位置中心相对于分布鸟瞰图的横纵坐标，s和r分别表示该车辆的目标边界框尺寸大小和比例，
和
分别表示待预测车辆的横纵方向分量速度，T表示转置；
使用匈牙利指派算法进行数据关联，根据待预测车辆的预测位置信息和真实位置信息之间的距离，对待预测车辆的预测位置信息和车辆进行关联，从而得到鸟瞰图中每个待预测车辆位置的匹配信息。
6.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤4)具体包括：
遍历鸟瞰图中每辆待预测车辆，重复以下步骤：
根据卡尔曼滤波预测的待预测车辆下一时刻的中心位置和边界框的位置，结合前一时刻鸟瞰图中该车辆位置信息，得到矢量方向即为待预测车辆的前进方向；
将预测位置信息和最后一帧鸟瞰图中该车辆实际位置的标量大小除以鸟瞰图帧与帧之间的时间间隔，得到待预测车辆的速度；
将该车辆的预测方向和预测速度信息绑定唯一指向该车的ID号，发送至对应车辆。
7.一种基于路口多视角的车辆轨迹预测规划系统，其特征在于，所述系统部署在路测设备，包括：预处理模块、鸟瞰图生成模块、关联匹配模块和预测发送模块；其中，
所述预处理模块，用于对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；
所述鸟瞰图生成模块，用于对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；
所述关联匹配模块，用于根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；
所述预测发送模块，用于根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。
8.一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
9.一种非易失性存储介质，用于存储计算机程序，其特征在于，所述计算机程序当被处理器执行时执行权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210413344.XA CN114898585B (zh) | 2022-04-20 | 2022-04-20 | 基于路口多视角的车辆轨迹预测规划方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210413344.XA CN114898585B (zh) | 2022-04-20 | 2022-04-20 | 基于路口多视角的车辆轨迹预测规划方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114898585A true CN114898585A (zh) | 2022-08-12 |
| CN114898585B CN114898585B (zh) | 2023-04-14 |
Family
ID=82717035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210413344.XA Active CN114898585B (zh) | 2022-04-20 | 2022-04-20 | 基于路口多视角的车辆轨迹预测规划方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114898585B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009066506A1 (ja) * | 2007-11-20 | 2009-05-28 | Sanyo Electric Co., Ltd. | 運転支援システム、車両、立体物領域推定方法 |
| CN108877269A (zh) * | 2018-08-20 | 2018-11-23 | 清华大学 | 一种交叉路口车辆状态检测及v2x广播方法 |
| CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
| CN112257698A (zh) * | 2020-12-23 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 环视图车位检测结果的处理方法、装置、设备和存储介质 |
| CN112270272A (zh) * | 2020-10-31 | 2021-01-26 | 武汉中海庭数据技术有限公司 | 高精度地图制作中道路路口提取方法及系统 |
| CN112307897A (zh) * | 2020-09-27 | 2021-02-02 | 青岛邃智信息科技有限公司 | 一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法 |
| CN112444311A (zh) * | 2020-11-22 | 2021-03-05 | 同济大学 | 一种桥梁车辆时空荷载监控方法 |
| CN112721950A (zh) * | 2021-01-14 | 2021-04-30 | 肖玉连 | 一种基于深度学习的自主车辆控制方法及系统 |
| CN113191353A (zh) * | 2021-04-15 | 2021-07-30 | 华北电力大学扬中智能电气研究中心 | 一种车速确定方法、装置、设备和介质 |
| CN113673444A (zh) * | 2021-08-19 | 2021-11-19 | 清华大学 | 一种基于角点池化的路口多视角目标检测方法及系统 |
| CN113673425A (zh) * | 2021-08-19 | 2021-11-19 | 清华大学 | 一种基于Transformer的多视角目标检测方法及系统 |
| CN113705636A (zh) * | 2021-08-12 | 2021-11-26 | 重庆邮电大学 | 一种自动驾驶车辆轨迹预测方法、装置及电子设备 |
| CN113903011A (zh) * | 2021-10-26 | 2022-01-07 | 江苏大学 | 一种适用于室内停车场的语义地图构建及定位方法 |
| CN113954864A (zh) * | 2021-09-22 | 2022-01-21 | 江苏大学 | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 |
| CN114359334A (zh) * | 2020-09-30 | 2022-04-15 | 北京万集科技股份有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
-
2022
- 2022-04-20 CN CN202210413344.XA patent/CN114898585B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009066506A1 (ja) * | 2007-11-20 | 2009-05-28 | Sanyo Electric Co., Ltd. | 運転支援システム、車両、立体物領域推定方法 |
| CN108877269A (zh) * | 2018-08-20 | 2018-11-23 | 清华大学 | 一种交叉路口车辆状态检测及v2x广播方法 |
| CN109785363A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第五十二研究所 | 一种无人机航拍视频运动小目标实时检测与跟踪方法 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
| CN112307897A (zh) * | 2020-09-27 | 2021-02-02 | 青岛邃智信息科技有限公司 | 一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法 |
| CN114359334A (zh) * | 2020-09-30 | 2022-04-15 | 北京万集科技股份有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| CN112270272A (zh) * | 2020-10-31 | 2021-01-26 | 武汉中海庭数据技术有限公司 | 高精度地图制作中道路路口提取方法及系统 |
| CN112444311A (zh) * | 2020-11-22 | 2021-03-05 | 同济大学 | 一种桥梁车辆时空荷载监控方法 |
| CN112257698A (zh) * | 2020-12-23 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 环视图车位检测结果的处理方法、装置、设备和存储介质 |
| CN112721950A (zh) * | 2021-01-14 | 2021-04-30 | 肖玉连 | 一种基于深度学习的自主车辆控制方法及系统 |
| CN113191353A (zh) * | 2021-04-15 | 2021-07-30 | 华北电力大学扬中智能电气研究中心 | 一种车速确定方法、装置、设备和介质 |
| CN113705636A (zh) * | 2021-08-12 | 2021-11-26 | 重庆邮电大学 | 一种自动驾驶车辆轨迹预测方法、装置及电子设备 |
| CN113673444A (zh) * | 2021-08-19 | 2021-11-19 | 清华大学 | 一种基于角点池化的路口多视角目标检测方法及系统 |
| CN113673425A (zh) * | 2021-08-19 | 2021-11-19 | 清华大学 | 一种基于Transformer的多视角目标检测方法及系统 |
| CN113954864A (zh) * | 2021-09-22 | 2022-01-21 | 江苏大学 | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 |
| CN113903011A (zh) * | 2021-10-26 | 2022-01-07 | 江苏大学 | 一种适用于室内停车场的语义地图构建及定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114898585B (zh) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111615703B (zh) | 传感器数据分割 | |
| US20220319046A1 (en) | Systems and methods for visual positioning | |
| CN109470254B (zh) | 地图车道线的生成方法、装置、系统及存储介质 | |
| CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
| US20200082182A1 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
| DE102019115455A1 (de) | Fokus-basiertes markieren von sensordaten | |
| JP2022003508A (ja) | 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム | |
| CN112258519B (zh) | 一种高精度地图制作中道路的让行线自动化提取方法及装置 | |
| US20230005278A1 (en) | Lane extraction method using projection transformation of three-dimensional point cloud map | |
| JPWO2007083494A1 (ja) | 図形認識装置、図形認識方法および図形認識プログラム | |
| WO2023123837A1 (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| CN111402414A (zh) | 一种点云地图构建方法、装置、设备和存储介质 | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| US20230049383A1 (en) | Systems and methods for determining road traversability using real time data and a trained model | |
| CN114782865B (zh) | 一种基于多视角和重识别的路口车辆定位方法及系统 | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| CN116740127A (zh) | 障碍物轨迹预测方法、装置、计算机设备和存储介质 | |
| CN116978010A (zh) | 图像标注方法和装置、存储介质和电子设备 | |
| CN112765302B (zh) | 位置信息的处理方法、装置及计算机可读介质 | |
| CN118038409A (zh) | 车辆可行驶区域检测方法、装置、电子设备及存储介质 | |
| CN114898585B (zh) | 基于路口多视角的车辆轨迹预测规划方法及系统 | |
| CN116452911A (zh) | 目标检测模型训练方法及装置、目标检测方法及装置 | |
| US11555928B2 (en) | Three-dimensional object detection with ground removal intelligence | |
| CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
| US20230154127A1 (en) | 2-d image reconstruction in a 3-d simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |