CN115792894A - 一种多传感器融合车辆目标跟踪方法、系统及存储介质 - Google Patents
一种多传感器融合车辆目标跟踪方法、系统及存储介质 Download PDFInfo
- Publication number
- CN115792894A CN115792894A CN202211396149.7A CN202211396149A CN115792894A CN 115792894 A CN115792894 A CN 115792894A CN 202211396149 A CN202211396149 A CN 202211396149A CN 115792894 A CN115792894 A CN 115792894A
- Authority
- CN
- China
- Prior art keywords
- target
- radar
- camera
- tracking
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种多传感器融合车辆目标跟踪方法、系统及存储介质,该方法包括:S100:获取车辆行驶环境的毫米波雷达数据和图像数据;S200:根据雷达数据获得当前周期雷达有效目标的局部航迹;S300:根据图像数据获得当前时刻相机目标的局部航迹;S400:将雷达和相机进行时空对准,之后对雷达有效目标和相机目标进行匹配,将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹,采用融合全局轨迹对上一时刻全局航迹进行更新。本申请可提升车辆跟踪的稳定性,可获得更为准确的全局航迹。
Description
技术领域
本申请属于智能驾驶辅助技术领域,具体涉及一种多传感器融合车辆目标跟踪方法、系统及存储介质。
背景技术
目前拥有智能驾驶辅助功能的汽车逐步进入交通环境,当车载传感器确认行驶环境存在危险时,会在必要时刻进入避险状态,通过其自身的环境感知-决策规划-控制系统避免事故发生。环境感知是智能驾驶的基础前提,良好的环境感知系统能为后续的工作提供可靠信息。
在环境感知方面,起主要作用的是激光雷达、毫米波雷达、相机等传感器。激光雷达分辨率高可成像,其丰富的点云信息能进行目标分类与检测,获取目标的3D信息,但易受雨雪天气干扰且造价昂贵,尚未大规模匹配在车辆上。毫米波雷达穿透性强且稳定,能在恶劣环境下工作,成本低,尽管其不具备目标分辨能力以及角分辨较差,但是较准的距离探测使其成为智能驾驶汽车功能领域开发必不可少的传感器之一。相机可获得丰富的图像信息,能辨别目标类别,是可靠的车辆感知传感器之一,但在位置信息的测量上存在较大误差。单传感器都有明显短板,多传感器融合则可优势互补,是环境感知的趋势。
在车辆检测与跟踪技术中,多传感器融合是研究重心,在已有的LKA(车道保持辅助系统)、ACC(自适应巡航系统)等智能驾驶辅助系统中,相机和毫米波雷达是不可或缺的传感器。如何有效的融合多传感器,互补各自的优缺点,并进一步提高跟踪的稳定性和精度是车辆跟踪目前面临的研究关键。
发明内容
本申请的目的是提供一种多传感器融合车辆目标跟踪方法、系统及存储介质,该方法和系统可进一步提高跟踪的稳定性和精度。
为达到上述目的,本申请第一方面提供一种多传感器融合车辆目标跟踪方法,包括:
S100:获取车辆行驶环境的毫米波雷达数据和图像数据;
S200:从雷达数据提取雷达有效目标及其位置、速度信息,对所提取雷达有效目标赋予唯一ID;之后预测并更新雷达有效目标状态,获得当前周期雷达有效目标的局部航迹;
S300:从图像数据中检测相机目标,对相机目标进行跟踪并赋予唯一ID,估算相机目标的位置、速度信息,获得当前时刻相机目标的局部航迹;
S400:将雷达和相机进行时空对准,之后对雷达有效目标和相机目标进行匈牙利匹配,将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹,采用融合全局轨迹对上一时刻全局航迹进行更新。
在一些具体实施方式中,步骤S200中,采用卡尔曼滤波法预测并更新雷达有效目标状态。
在一些具体实施方式中,步骤S300中,采用DeepSORT法对相机目标进行跟踪。
在一些具体实施方式中,步骤S300进一步包括:
S310:从图像数据中检测相机目标获取检测框;
S320:以检测框状态为输入,预测检测框在下一时刻的跟踪框;所述检测框状态至少包括检测框位置特征、形状特征以及位置特征和形状特征在图像中的变化率;
S330:对当前时刻的跟踪框与检测框进行匹配,对匹配后得到的相机目标赋予唯一ID,估算相机目标的位置信息和速度信息,形成相机目标局部航迹。
在一些具体实施方式中,检测框位置特征包括检测框中心位置;形状特征包括检测框宽高比及高度;位置特征和形状特征在图像中的变化率指相对上一时刻检测框中心位置、检测框宽高比及高度的变化率。
在一些具体实施方式中,步骤S330再进一步包括:
S331:计算检测框和跟踪框的交并比IOU,以1-IOU作为代价矩阵的值进行匈牙利匹配,获得匹配成功的跟踪框和检测框;
S332:重复子步骤S331进行连续跟踪,当跟踪次数达到预设次数N,跟踪框为确认状态,此后执行子步骤S333;
S333:对确认状态的跟踪框进行级联匹配,计算跟踪框和检测框的距离度量,以距离度量生成代价矩阵,基于代价矩阵进行匹配,进行匹配时优先匹配丢失次数最少的跟踪框和未匹配的检测框;之后,执行子步骤S334;所述距离度量指跟踪框和检测框间的马氏距离和余弦距离的线性加权和;
S334:计算未匹配的跟踪框和检测框的交并比IOU,以1-IOU作为代价矩阵的值进行匈牙利匹配,输出匹配以及未匹配的跟踪框和检测框,对得到的相机目标赋予唯一ID,若相机目标上一时刻已存在,则沿用上一时刻的ID,估算相机目标位置、速度信息,形成相机目标局部航迹。
以上,对匹配成功的检测框和跟踪框,跟踪框的跟踪次数加1,用检测框对跟踪框进行卡尔曼滤波更新;对匹配失败的跟踪框,丢失次数加1,当丢失次数达到丢失阈值,删除该跟踪框。
上述步骤S400中,将雷达和相机进行时空对准,具体为:以毫米波雷达的扫描周期为准进行时间对齐。
在一些具体实施方式中,步骤S400进一步包括:
以雷达有效目标和相机目标的位置和速度的综合差值作为代价矩阵,对雷达有效目标和相机目标进行匈牙利匹配,获得雷达有效目标和相机目标的匹配关系;将匹配成功的相机目标和雷达有效目标融合形成全局目标;
初次匹配完成后,对匹配成功目标的位置、速度信息融合,形成当前时刻的全局航迹信息,并保存配对成功的雷达有效目标和相机目标的ID;在下一时刻,执行如下:
(1)当上一时刻全局航迹保存的相机目标ID、雷达有效目标ID和当前融合全局轨迹的相机目标ID、雷达有效目标ID对应,且雷达有效目标和相机目标的综合差值不大于设定阈值,则以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(2)当上一时刻全局航迹保存的相机目标ID和当前融合全局轨迹的相机目标ID对应,但雷达有效目标ID不对应时,将上一时刻全局航迹中雷达有效目标ID更新为当前融合全局轨迹中的雷达有效目标ID,同时判断雷达有效目标和相机目标的综合差值是否不大于设定阈值,若是,则匹配成功,以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(3)当上一时刻全局航迹保存的相机目标ID和当前融合全局轨迹的相机目标ID不对应,但雷达有效目标ID对应时,将上一时刻全局航迹中相机目标ID更新为当前融合全局轨迹中的相机目标ID;同时判断雷达有效目标和相机目标的综合差值是否不大于设定阈值,若是,则匹配成功,以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(4)当上一时刻全局航迹保存的相机目标ID、雷达有效目标ID和当前融合全局轨迹中相机目标ID、雷达有效目标ID均不对应时,将当前融合全局轨迹作为新全局航迹,跟踪次数记为0。
在一些具体实施方式中,以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,具体为:
全局轨迹、全局航迹对应的是不同时刻的全局目标;采用匀速模型描述全局目标的运动状态,运动状态包括全局目标的位置和速度信息;对上一时刻全局目标进行卡尔曼滤波法预测,得到当前时刻全局目标的状态;以匹配成功的雷达有效目标和相机目标的局部航迹融合所获的融合全局轨迹作为观测向量,利用卡尔曼滤波更新全局目标的状态向量,即完成对全局航迹的更新。
本申请第二方面提供一种多传感器融合车辆目标跟踪系统,包括:
第一模块,用来获取车辆行驶环境的毫米波雷达数据和图像数据;
第二模块,用来从雷达数据提取雷达有效目标及其位置、速度信息,对所提取雷达有效目标赋予唯一ID;之后预测并更新雷达有效目标状态,获得当前周期雷达有效目标的局部航迹;
第三模块,用来从图像数据中检测相机目标,对相机目标进行跟踪并赋予唯一ID,估算相机目标的位置、速度信息,获得当前时刻相机目标的局部航迹;
第四模块,用来将雷达和相机进行时空对准,之后对雷达有效目标和相机目标进行匈牙利匹配,将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹,采用融合全局轨迹对上一时刻全局航迹进行更新。
在一些具体实施方式中,第三模块进一步包括如下子模块:
第一子模块,用来从图像数据中检测相机目标获取检测框;
第二子模块,用来以检测框状态为输入,预测检测框在下一时刻的跟踪框;所述检测框状态至少包括检测框位置特征、形状特征以及位置特征和形状特征在图像中的变化率;
第三子模块,用来对当前时刻的跟踪框与检测框进行匹配,对匹配后得到的相机目标赋予唯一ID,估算相机目标的位置信息和速度信息,形成相机目标局部航迹。
本申请第三方面提供一种存储介质,所述存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述方法。
与现有技术相比,本申请具有如下优点和有益效果:
本申请中,利用毫米波雷达和相机分别形成各自的局部航迹,两个局部航迹相融形成全局航迹;通过全局航迹进行相机目标和雷达有效目标的ID匹配确认,在跟踪次数达到阈值后全局航迹目标稳定跟踪,同时设定阈值条件,避免因错误匹配而导致错误的跟踪。本申请中只要全局航迹目标、相机目标、雷达目标三者中有两个能对应,即可融合信息并输出全局航迹。
本申请可解决单传感器因环境变化而导致的短暂失效问题,可提升车辆跟踪的稳定性;所输出全局航迹信息是由雷达有效目标和相机目标的历史航迹信息融合而得,因此位置和距离信息更准确,即所获全局航迹更为准确。
附图说明
图1为本申请实施例所提供多传感器融合车辆目标跟踪方法的流程图;
图2为本申请实施例中相机目标跟踪流程图;
图3为本申请实施例中相机与毫米波雷达的目标ID匹配流程图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人显式地或隐式地理解的是,本文所描述的实施例可以与其他实施例相结合。在本说明书中使用的术语“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。
本申请多传感器融合车辆目标跟踪方法用来检测并跟踪车辆,具体来说,利用毫米波雷达与相机采集车辆行驶环境的毫米波雷达数据和图像数据,根据毫米波雷达数据和图像数据获取目标的全局航迹信息并输出。
本申请实施例采用的传感器包括毫米波雷达和相机,分别安装于汽车的前进气栅位置和前挡风玻璃内,用来采集前方的毫米波雷达数据和图像数据。对毫米波雷达和相机进行联合标定,使毫米波雷达和相机时空对准。采用一执行目标跟踪方法的设备,用来接收毫米波雷达数据和图像数据,并根据所接收的毫米波雷达数据和图像数据实现目标跟踪。
本申请实施例中,时间对准以毫米波雷达的扫描周期为准,当接收毫米波雷达当前周期的毫米波雷达数据时,同步接收来自相机的图像数据。本申请实施例中,先使用张正友标定法对相机内参标定,再把相机和毫米波雷达的坐标系通过旋转平移转换到全局坐标系下,得到外参矩阵。至此,相机和毫米波雷达均映射在全局坐标系下,从而完成相机和毫米波雷达的空间对准。全局坐标系的定义为:以车辆后轴中心为原点,以车辆行驶方向为y轴方向,垂直车辆行驶方向水平向右为x轴方向,垂直地面向上方向为z轴方向,其中,x轴和y轴位于同一水平面。
请参见图1,所示为本申请实施例提供的一种多传感器融合车辆目标跟踪方法的流程图,下面将结合流程图详细描述本申请实施例。
本申请实施例提供的一种多传感器融合车辆目标跟踪方法,包括步骤:
S100:获取毫米波雷达和相机采集的行驶环境的毫米波雷达数据和图像数据。
本申请实施例中毫米波雷达和相机为经时空配准的车载传感器,当车辆行驶时,毫米波雷达和相机即可分别采集行驶环境的毫米波雷达数据和图像数据。
S200:从雷达数据提取雷达有效目标及其位置、速度信息,对所提取雷达有效目标赋予唯一ID;之后利用卡尔曼滤波法预测并更新雷达有效目标状态,获得当前周期雷达有效目标的局部航迹。周期指毫米波雷达的扫描周期。
本申请实施例中雷达局部航迹至少包括有效目标的位置信息、速度信息、ID、匹配次数、丢失次数,其中匹配次数和丢失次数初始化为0。局部航迹还可以包括RCS(雷达散射截面积)和角度信息,此处角度指目标车辆相对毫米波雷达的角度。位置信息包括纵向距离和横向距离,纵向距离和横向距离分别为有效目标在雷达坐标系上的y值和x值;速度信息包括纵向相对速度和横向相对速度,相对速度指雷达有效目标相对本车的速度;纵向相对速度指速度在行驶方向的分量,横向相对速度指速度在垂直行驶方向的分量。
下面将提供本步骤的具体实施方式,包括子步骤:
S210:从雷达数据提取雷达有效目标及其位置、速度信息。
首先,从雷达数据提取目标及其位置、速度信息;然后,去除噪点目标和静止目标,剩余目标即有效目标,有效目标即其他行驶车辆。
有效目标可采用如下式(1)确定:
式(1)中,yk+1、xk+1、vy,k+1分别表示k+1时刻目标的纵向距离、横向距离、纵向相对速度;yk、xk、vy,k分别表示k时刻目标的纵向距离、横向距离、纵向相对速度;Δy、Δx、Δvy分别表示纵向距离、横向距离、纵向相对速度对应的阈值。
根据相邻时刻目标的纵向距离、横向距离、纵向相对速度的变化值来判断该目标是否为有效目标。满足式(1)的目标即有效目标,即,相邻时刻,同一目标的位置和速度信息不应变化过大,超出阈值则为噪点目标,应予以剔除。
S220:对提取的有效目标后赋予唯一ID;若有效目标上一周期已存在,则沿用上一周期的ID。
S230:预测并更新雷达有效目标状态,具体采用卡尔曼滤波法,所述目标状态包括位置和速度信息。
本申请实施例中,采用匀速模型描述雷达有效目标的状态,如下:
式(2)中:
X表示状态向量,X=[x y vx vy]T,其中,x、y分别表示有效目标的横向距离和纵向距离;vx、vy则分别表示有效目标的横向相对速度和纵向相对速度;A表示状态转移矩阵,ω表示过程噪声;Z表示观测向量,H表示观测矩阵,ψ表示观测噪声;
下标k、k+1表示时刻,则Xk、Xk+1分别表示k、k+1时刻的状态向量;ωk+1表示k+1时刻的过程噪声;Zk+1分别表示k、k+1时刻的观测向量;ψk+1表示k+1时刻的观测噪声。
利用卡尔曼滤波法预测并更新雷达有效目标状态即:获取雷达有效目标当前时刻的状态Xk,根据当前时刻状态Xk预测下一时刻状态Xk+1。
S300:从图像数据中检测相机目标,对相机目标进行跟踪并赋予唯一ID,估算相机目标的位置、速度信息,获得当前时刻相机目标的局部航迹。本申请实施例中利用DeepSORT法对相机目标进行跟踪。
本申请实施例中本步骤的流程见图2,下面将结合图2描述本步骤的具体实施过程,如下:
S310:从图像数据中检测相机目标获取检测框。
本申请实施例中,具体采用深度学习模型检测相机目标获取检测框。考虑能兼顾到准确与实时性能,深度学习模型优选采用YOLOV4目标检测模型。
S320:以检测框状态为输入,采用卡尔曼滤波法预测检测框在下一时刻的跟踪框;所述检测框状态至少包括检测框位置特征、形状特征以及位置特征和形状特征在图像中的变化。
本申请实施例中,位置特征包括检测框中心位置,形状特征包括检测框宽高比及高度,位置特征在图像中的变化率即中心位置在图像中的变化,形状特征在图像中的变化率即宽高比和高度在图像中的变化。
本申请实施例中,检测框状态向量X'表示为:
量测向量Z'表示为:
Z'=[pu pv γ h]T (4)
S330:对当前时刻的跟踪框与检测框进行匹配,对匹配后得到的相机目标赋予唯一ID,估算相机目标的位置信息和速度信息,形成相机目标局部航迹。
本申请实施例中,采用地平面假设法获取位置信息并估算速度信息。
本步骤进一步包括:
S331:计算检测框和跟踪框的交并比IOU,以1-IOU作为代价矩阵的值进行匈牙利匹配,获得关联目标,关联目标是匹配成功的跟踪框和检测框,并保存检测框的外观特征,外观特征即检测框与跟踪框的余弦距离;
S332:重复子步骤S331进行连续跟踪,当跟踪次数达到预设次数N,跟踪框为确认状态,此后执行子步骤S333;
S333:对确认状态的跟踪框进行级联匹配,计算跟踪框和检测框的距离度量,以距离度量生成代价矩阵,基于代价矩阵进行匹配,优先匹配丢失次数最少的跟踪框和未匹配的检测框;之后,执行子步骤S334;此处距离度量指跟踪框和检测框间的马氏距离和余弦距离的线性加权和;
S334:计算未匹配的跟踪框和检测框的交并比IOU,以1-IOU作为代价矩阵的值进行匈牙利匹配,输出匹配以及未匹配的跟踪框和检测框,对得到的相机目标赋予唯一ID,若相机目标上一时刻已存在,则沿用上一时刻的ID,估算相机目标位置、速度信息,形成相机目标局部航迹。
本申请实施例中,匹配成功的检测框和跟踪框,跟踪框的跟踪次数加1,用检测框对跟踪框进行卡尔曼滤波更新;当跟踪框次数达到预设次数N,则跟踪框为确认状态;匹配失败的检测框,跟踪框的丢失次数加1,当丢失次数达到丢失阈值,删除该跟踪框。
本申请实施例中,通过对检测框(即相机目标)局部跟踪,形成当前时刻相机目标的局部航迹。本申请实施例中相机目标局部航迹包括目标类别、纵向相对速度、横向相对速度、纵向距离、横向距离、置信度、匹配次数、丢失次数、ID以及检测框的像素坐标。
S400:将雷达和相机进行时空对准,之后对雷达有效目标和相机目标进行匈牙利匹配,将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹,采用融合全局轨迹对上一时刻全局航迹进行更新。
本申请实施例中,时间对准以毫米波雷达的扫描周期为准进行对齐,空间对准通过旋转平移变换进行标定。
本申请实施例中,进行匈牙利匹配以雷达有效目标和相机目标的位置和速度的综合差值作为代价矩阵,综合差值e的计算如下:
式(5)中:σ、α、β表示比例系数,vy.e、ye、xe分别表示相机目标与雷达有效目标的纵向相对速度、纵向距离、横向距离的绝对差值。
将综合差值e作为代价矩阵,基于代价矩阵对相机目标与雷达有效目标进行匈牙利匹配,获得相机目标与雷达有效目标的匹配关系,将匹配成功的相机目标和雷达有效目标融合形成全局目标。判断全局目标的跟踪次数是否达到预设阈值,若未达到,则未形成稳定跟踪;达到则形成稳定跟踪。
当未形成稳定跟踪时,计算当前时刻相机目标与所有雷达目标对应的综合差值,进行匈牙利匹配计算,获得匹配结果。当全局目标形成稳定跟踪时,若当前时刻全局目标的相机目标和雷达有效目标的ID都能在相机和雷达局部目标中找到,计算对应的相机目标和雷达目标对应的综合差值,对应的相机目标与剩余的雷达目标的综合差值都设定为某常数;因此,相机目标与雷达目标始终都能匹配上。同时设定相机与雷达的纵向距离、横向距离、纵向相对速度的综合差值的阈值,当差值连续n次超过阈值,则跳出该跟踪,相机目标与所有雷达目标都重新计算综合差值,再进行匈牙利匹配计算,避免一直跟踪错误目标。
初次匹配完成后,对匹配成功目标的位置、速度信息进行融合,形成当前时刻的全局航迹信息fusion,并保存配对成功的相机目标与雷达有效的目标的ID;在下一时刻,得到匹配成功的相机目标和雷达有效目标的ID后,找上一时刻对应的全局航迹保存的相机目标和雷达有效目标的ID,分以下四种情况,具体可参见图3:
(1)当上一时刻全局航迹保存的相机目标ID、雷达有效目标ID和当前融合全局轨迹的相机目标ID、雷达有效目标ID对应,且雷达有效目标和相机目标的综合差值不大于设定阈值,则匹配成功,以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(2)当上一时刻全局航迹保存的相机目标ID和当前融合全局轨迹的相机目标ID对应,但雷达有效目标ID不对应时,将上一时刻全局航迹中雷达有效目标ID更新为当前融合全局轨迹中的雷达有效目标ID,同时判断雷达有效目标和相机目标的综合差值是否不大于设定阈值,若是,则匹配成功,仍然以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(3)当上一时刻全局航迹保存的相机目标ID和当前融合全局轨迹的相机目标ID不对应,但雷达有效目标ID对应时,将上一时刻全局航迹中相机目标ID更新为当前融合全局轨迹中的相机目标ID;同时判断雷达有效目标和相机目标的综合差值是否不大于设定阈值,若是,则匹配成功,以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(4)当上一时刻全局航迹保存的相机目标ID、雷达有效目标ID和当前融合全局轨迹中相机目标ID、雷达有效目标ID均不对应时,将当前融合全局轨迹作为新全局航迹,跟踪次数记为0。
本申请实施例中,对上一时刻全局航迹进行卡尔曼滤波法预测与更新,具体为:
全局轨迹、全局航迹对应的是不同时刻的全局目标;采用匀速模型描述全局目标的运动状态,运动状态方程为 表示全局目标在k+1时刻的状态向量,对k时刻全局目标进行卡尔曼滤波法预测,得到k+1时刻全局目标的状态;以相机和雷达融合后的全局轨迹信息(至少包括纵向距离、横向距离、纵向相对速度、横向相对速度)作为观测向量Zk+1,Zk+1表示全局轨迹目标在k+1时刻的观测向量;输入观测向量Zk+1,利用卡尔曼滤波更新k+1时刻全局目标的状态向量,即完成对全局航迹的更新。
全局航迹结合了雷达和相机的信息,当目标稳定跟踪后,若相机或雷达暂时检测不到某稳定目标,只要有一个传感器能检测到,说明该目标仍是存在的。
注意,上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请的构思的情况下,还可以包括更多其他等效实施例,均属于本申请的保护范畴。
Claims (10)
1.一种多传感器融合车辆目标跟踪方法,其特征是,包括:
S100:获取车辆行驶环境的毫米波雷达数据和图像数据;
S200:从雷达数据提取雷达有效目标及其位置、速度信息,对所提取雷达有效目标赋予唯一ID;之后预测并更新雷达有效目标状态,获得当前周期雷达有效目标的局部航迹;
S300:从图像数据中检测相机目标,对相机目标进行跟踪并赋予唯一ID,估算相机目标的位置、速度信息,获得当前时刻相机目标的局部航迹;
S400:将雷达和相机进行时空对准,之后对雷达有效目标和相机目标进行匈牙利匹配,将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹,采用融合全局轨迹对上一时刻全局航迹进行更新。
2.如权利要求1所述的多传感器融合车辆目标跟踪方法,其特征是:
步骤S300进一步包括:
S310:从图像数据中检测相机目标获取检测框;
S320:以检测框状态为输入,预测检测框在下一时刻的跟踪框;所述检测框状态至少包括检测框位置特征、形状特征以及位置特征和形状特征在图像中的变化率;
S330:对当前时刻的跟踪框与检测框进行匹配,对匹配后得到的相机目标赋予唯一ID,估算相机目标的位置信息和速度信息,形成相机目标局部航迹。
3.如权利要求2所述的多传感器融合车辆目标跟踪方法,其特征是:
所述检测框位置特征包括检测框中心位置;所述形状特征包括检测框宽高比及高度;所述位置特征和形状特征在图像中的变化率指相对上一时刻检测框中心位置、检测框宽高比及高度的变化率。
4.如权利要求2所述的多传感器融合车辆目标跟踪方法,其特征是:
步骤S330进一步包括:
S331:计算检测框和跟踪框的交并比IOU,以1-IOU作为代价矩阵的值进行匈牙利匹配,获得匹配成功的跟踪框和检测框;
S332:重复子步骤S331进行连续跟踪,当跟踪次数达到预设次数N,跟踪框为确认状态,此后执行子步骤S333;
S333:对确认状态的跟踪框进行级联匹配,计算跟踪框和检测框的距离度量,以距离度量生成代价矩阵,基于代价矩阵进行匹配,进行匹配时优先匹配丢失次数最少的跟踪框和未匹配的检测框;之后,执行子步骤S334;所述距离度量指跟踪框和检测框间的马氏距离和余弦距离的线性加权和;
S334:计算未匹配的跟踪框和检测框的交并比IOU,以1-IOU作为代价矩阵的值进行匈牙利匹配,输出匹配以及未匹配的跟踪框和检测框,对得到的相机目标赋予唯一ID,若相机目标上一时刻已存在,则沿用上一时刻的ID,估算相机目标位置、速度信息,形成相机目标局部航迹;
以上,对匹配成功的检测框和跟踪框,跟踪框的跟踪次数加1,用检测框对跟踪框进行卡尔曼滤波更新;对匹配失败的跟踪框,丢失次数加1,当丢失次数达到丢失阈值,删除该跟踪框。
5.如权利要求1所述的多传感器融合车辆目标跟踪方法,其特征是:
步骤S400中所述将雷达和相机进行时空对准,具体为:以毫米波雷达的扫描周期为准进行时间对齐。
6.如权利要求1所述的多传感器融合车辆目标跟踪方法,其特征是:
步骤S400进一步包括:
以雷达有效目标和相机目标的位置和速度的综合差值作为代价矩阵,对雷达有效目标和相机目标进行匈牙利匹配,获得雷达有效目标和相机目标的匹配关系;将匹配成功的相机目标和雷达有效目标融合形成全局目标;
初次匹配完成后,对匹配成功目标的位置、速度信息融合,形成当前时刻的全局航迹信息,并保存配对成功的雷达有效目标和相机目标的ID;在下一时刻,执行如下:
(1)当上一时刻全局航迹保存的相机目标ID、雷达有效目标ID和当前融合全局轨迹的相机目标ID、雷达有效目标ID对应,且雷达有效目标和相机目标的综合差值不大于设定阈值,则以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(2)当上一时刻全局航迹保存的相机目标ID和当前融合全局轨迹的相机目标ID对应,但雷达有效目标ID不对应时,将上一时刻全局航迹中雷达有效目标ID更新为当前融合全局轨迹中的雷达有效目标ID,同时判断雷达有效目标和相机目标的综合差值是否不大于设定阈值,若是,则匹配成功,以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(3)当上一时刻全局航迹保存的相机目标ID和当前融合全局轨迹的相机目标ID不对应,但雷达有效目标ID对应时,将上一时刻全局航迹中相机目标ID更新为当前融合全局轨迹中的相机目标ID;同时判断雷达有效目标和相机目标的综合差值是否不大于设定阈值,若是,则匹配成功,以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,跟踪次数加1;
(4)当上一时刻全局航迹保存的相机目标ID、雷达有效目标ID和当前融合全局轨迹中相机目标ID、雷达有效目标ID均不对应时,将当前融合全局轨迹作为新全局航迹,跟踪次数记为0。
7.如权利要求6所述的多传感器融合车辆目标跟踪方法,其特征是:
所述以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新,具体为:
全局轨迹、全局航迹对应的是不同时刻的全局目标;采用匀速模型描述全局目标的运动状态,运动状态包括全局目标的位置和速度信息;对上一时刻全局目标进行卡尔曼滤波法预测,得到当前时刻全局目标的状态;以匹配成功的雷达有效目标和相机目标的局部航迹融合所获的融合全局轨迹作为观测向量,利用卡尔曼滤波更新全局目标的状态向量,即完成对全局航迹的更新。
8.一种多传感器融合车辆目标跟踪系统,其特征是,包括:
第一模块,用来获取车辆行驶环境的毫米波雷达数据和图像数据;
第二模块,用来从雷达数据提取雷达有效目标及其位置、速度信息,对所提取雷达有效目标赋予唯一ID;之后预测并更新雷达有效目标状态,获得当前周期雷达有效目标的局部航迹;
第三模块,用来从图像数据中检测相机目标,对相机目标进行跟踪并赋予唯一ID,估算相机目标的位置、速度信息,获得当前时刻相机目标的局部航迹;
第四模块,用来将雷达和相机进行时空对准,之后对雷达有效目标和相机目标进行匈牙利匹配,将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹,采用融合全局轨迹对上一时刻全局航迹进行更新。
9.如权利要求8所述的一种多传感器融合车辆目标跟踪系统,其特征是:
所述第三模块进一步包括如下子模块:
第一子模块,用来从图像数据中检测相机目标获取检测框;
第二子模块,用来以检测框状态为输入,预测检测框在下一时刻的跟踪框;所述检测框状态至少包括检测框位置特征、形状特征以及位置特征和形状特征在图像中的变化率;
第三子模块,用来对当前时刻的跟踪框与检测框进行匹配,对匹配后得到的相机目标赋予唯一ID,估算相机目标的位置信息和速度信息,形成相机目标局部航迹。
10.一种存储介质,其特征是:
所述存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211396149.7A CN115792894A (zh) | 2022-11-09 | 2022-11-09 | 一种多传感器融合车辆目标跟踪方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211396149.7A CN115792894A (zh) | 2022-11-09 | 2022-11-09 | 一种多传感器融合车辆目标跟踪方法、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115792894A true CN115792894A (zh) | 2023-03-14 |
Family
ID=85436238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211396149.7A Pending CN115792894A (zh) | 2022-11-09 | 2022-11-09 | 一种多传感器融合车辆目标跟踪方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115792894A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189116A (zh) * | 2023-04-24 | 2023-05-30 | 江西方兴科技股份有限公司 | 一种交通状态感知方法及系统 |
CN117541910A (zh) * | 2023-10-27 | 2024-02-09 | 北京市城市规划设计研究院 | 城市道路多雷视数据的融合方法及装置 |
-
2022
- 2022-11-09 CN CN202211396149.7A patent/CN115792894A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189116A (zh) * | 2023-04-24 | 2023-05-30 | 江西方兴科技股份有限公司 | 一种交通状态感知方法及系统 |
CN116189116B (zh) * | 2023-04-24 | 2024-02-23 | 江西方兴科技股份有限公司 | 一种交通状态感知方法及系统 |
CN117541910A (zh) * | 2023-10-27 | 2024-02-09 | 北京市城市规划设计研究院 | 城市道路多雷视数据的融合方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111391823A (zh) | 一种用于自动泊车场景的多层地图制作方法 | |
US11525682B2 (en) | Host vehicle position estimation device | |
CN115792894A (zh) | 一种多传感器融合车辆目标跟踪方法、系统及存储介质 | |
Barjenbruch et al. | Joint spatial-and Doppler-based ego-motion estimation for automotive radars | |
EP4124829A1 (en) | Map construction method, apparatus, device and storage medium | |
CN112781599B (zh) | 确定车辆的位置的方法 | |
CN109900490B (zh) | 基于自主式和协同式传感器的车辆运动状态检测方法及系统 | |
CN113920198B (zh) | 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 | |
CN112147651B (zh) | 一种异步多车协同目标状态鲁棒估计方法 | |
CN113252051A (zh) | 一种地图构建方法及装置 | |
Kellner et al. | Road curb detection based on different elevation mapping techniques | |
CN113819905A (zh) | 一种基于多传感器融合的里程计方法及装置 | |
Abramov et al. | Multi-lane perception using feature fusion based on GraphSLAM | |
CN113947639A (zh) | 基于多雷达点云线特征的自适应在线估计标定系统及方法 | |
CN114323050A (zh) | 车辆定位方法、装置和电子设备 | |
CN115923839A (zh) | 一种车辆路径规划方法 | |
CN113405555B (zh) | 一种自动驾驶的定位传感方法、系统及装置 | |
Hara et al. | Vehicle localization based on the detection of line segments from multi-camera images | |
CN113296120B (zh) | 一种障碍物检测方法及终端 | |
CN111539305B (zh) | 一种地图构建方法及系统、车辆及存储介质 | |
Meis et al. | A new method for robust far-distance road course estimation in advanced driver assistance systems | |
CN112862818A (zh) | 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 | |
CN115471526A (zh) | 基于多源异构信息融合的自动驾驶目标检测与跟踪方法 | |
CN116242375A (zh) | 一种基于多传感器的高精度电子地图生成方法和系统 | |
CN114740448A (zh) | 用于车载雷达的目标状态估计方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |