CN117689907B - 车辆跟踪方法、装置、计算机设备和存储介质 - Google Patents
车辆跟踪方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117689907B CN117689907B CN202410158383.9A CN202410158383A CN117689907B CN 117689907 B CN117689907 B CN 117689907B CN 202410158383 A CN202410158383 A CN 202410158383A CN 117689907 B CN117689907 B CN 117689907B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- speed
- blocked
- distance
- vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims description 78
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 12
- 238000012805 post-processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种车辆跟踪方法、装置、计算机设备和存储介质。所述方法包括:获取当前时刻目标区域内至少两个车辆的车辆信息;基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。采用本方法能够提高遮挡情况下的车辆跟踪准确率。
Description
技术领域
本申请涉及自动驾驶技术领域,特别是涉及一种车辆跟踪方法、装置、计算机设备和存储介质。
背景技术
随着技术的进步和科技发展,自动驾驶技术逐渐趋于成熟。感知系统作为实现自动驾驶的基础和前提,以车辆跟踪为核心技术组成,其目的是进行不同图像间的多个车辆目标匹配以获得车辆的行驶轨迹信息,为前方车辆的行驶状态监测和自车行驶路线规划提供有用可靠的信息。摄像头因价格低廉、实用性强、稳定性高等优点被广泛用做车载视觉传感器,具有大感知范围,和小视觉盲区,常采用单目摄像头获取图像数据,并处理获取车辆跟踪信息,有效提升自动驾驶安全性。
在传统自动驾驶技术中,包括基于滤波的车辆跟踪算法,例如均值漂移算法、层次关联法、子图分解法等,还包括基于深度学习的车辆跟踪算法,如SORT、CenterTrack等。然而,在复杂的遮挡工况下,传统的基于滤波的车辆跟踪算法难以满足现实环境中光照大幅度变化、目标尺度变化等常见情况,鲁棒性不强,易跟踪失败和轨迹断连,而基于深度学习类方法利用神经网络学习特征获得车辆检测框,简单采用IoU匹配策略、级联匹配及卡尔曼滤波会导致目标错误关联及运动估计不准,进而造成多次ID跳变及测速测距不准确。
因此,目前传统的车辆跟踪技术仍然存在遮挡情况下车辆跟踪准确率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高遮挡情况下车辆跟踪准确率的车辆跟踪方法、装置、计算机设备和存储介质。
第一个方面,本申请提供了一种车辆跟踪方法,所述车辆跟踪方法包括:
获取当前时刻目标区域内至少两个车辆的车辆信息;
基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;
基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;
基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。
在其中一个实施例中,所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:
根据所述受遮挡车辆的受遮挡率,确定遮挡等级;所述遮挡等级包括重度遮挡和非重度遮挡;
若所述遮挡等级为重度遮挡,则基于所述受遮挡车辆的受遮挡率以及受遮挡车辆第一速度和所述受遮挡车辆周围车辆的第二速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,当所述目标区域内为一条车道时,所述受遮挡车辆周围车辆包括自车车道上的遮挡车辆;所述遮挡车辆为自车车道上距离自身车辆最近的车辆;所述至少两个车辆的车辆信息包括所述遮挡车辆和所述受遮挡车辆的车辆信息;所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:
基于所述受遮挡率,确定遮挡车辆的第一权重,和所述受遮挡车辆的第二权重;
基于所述遮挡车辆的第一速度和第一权重,以及所述受遮挡车辆的第二速度和第二权重,计算所述受遮挡车辆的第一估计速度;
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,当所述目标区域内为两条及以上的车道时,所述受遮挡车辆周围车辆包括自车车道上的遮挡车辆以及侧边车道上的侧边车辆,所述受遮挡车辆周围车辆的第二速度包括遮挡车辆的第二遮挡速度以及侧边车辆的第二侧边速度;所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:
获取当前时刻遮挡车辆与前一时刻所述受遮挡车辆的第一距离以及当前时刻侧边车辆与前一时刻所述受遮挡车辆的第二距离;所述第一距离包括第一横向距离和第一纵向距离;所述第二距离包括第二横向距离和第二纵向距离;
基于所述第一距离以及第二距离,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,包括:
基于所述第一距离以及第二距离确定第一距离系数和第二距离系数;当目标区域为两条车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;当目标区域为三条及以上的车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和的二倍值,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;
基于所述第一距离系数和第二距离系数,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,其中,所述第一权重为第二距离系数除以第一距离系数与第二距离系数之和的二倍值;所述第二权重为二分之一;所述第三权重为第一距离系数除以第一距离系数与第二距离系数之和的二倍值;
基于所述遮挡车辆的第二遮挡速度和第一权重、所述受遮挡车辆的第一速度和第二权重,以及所述侧边车辆的第二侧边速度和第三权重,计算所述受遮挡车辆的第一估计速度;
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,所述基于所述第一估计速度,更新所述受遮挡车辆的第一速度包括:
获取前一时刻所述受遮挡车辆的第三速度;
基于所述第一估计速度,确定所述第一估计速度对应的速度变化阈值;
根据所述第一估计速度以及第三速度,确定速度变化量;
若所述速度变化量小于等于速度变化阈值,则基于所述第一估计速度,更新所述受遮挡车辆的第一速度;
若所述速度变化量大于速度变化阈值,则基于所述第三速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,所述基于所述第三速度,更新所述受遮挡车辆的第一速度包括:
若所述速度变化量大于速度变化阈值的连续时刻数量在预设第一数量范围内,则基于所述第三速度,更新所述受遮挡车辆的第一速度;
若所述速度变化量大于速度变化阈值的连续时刻数量大于预设第一数量范围,则基于第三速度进行卡尔曼滤波估计得到第二估计速度,基于第二估计速度,更新所述受遮挡车辆的第一速度;且若连续预设时刻下所述第一估计速度与所述第二估计速度小于等于相对误差阈值,则基于第一估计速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,所述基于更新后的所述第一速度,对所述至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述目标区域内至少两个车辆的车辆信息包括:
获取当前时刻目标区域内的车道信息;
基于所述车道信息和所述至少两个车辆的车辆信息,确定至少一个车道的目标检测区域;
基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联。
在其中一个实施例中,所述基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联之后包括:
基于关联失败车辆的图像,计算当前时刻的关联失败车辆的第一深度特征;基于所述关联失败车辆的历史图像,计算所述关联失败车辆在多个历史时刻保存的第二深度特征;
计算所述第一深度特征与每个第二深度特征的余弦距离,得到代价矩阵;
获取所述关联失败车辆的预测结果和检测结果,基于所述预测结果与检测结果,计算距离相似度;
基于所述距离相似度对所述代价矩阵进行调整;
基于匈牙利算法和所述代价矩阵,将关联失败车辆与所述车辆信息进行目标关联。
第二个方面,本申请提供了一种车辆跟踪装置,所述装置包括:
信息获取模块,用于获取当前时刻目标区域内至少两个车辆的车辆信息;
遮挡确定模块,用于基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;
速度更新模块,用于基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;
信息更新模块,用于基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。
第三个方面,本申请提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法。
第四个方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
上述车辆跟踪方法、装置、计算机设备和存储介质,通过获取当前时刻目标区域内至少两个车辆的车辆信息;基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息,是实现基于车辆的受遮挡情况,对受遮挡车辆的速度进行更新,并基于更新后的速度,对目前区域内的车辆信息进行关联匹配,可以大幅降低在遮挡情况下的车辆信息关联错误的频率,达到提高遮挡情况下车辆跟踪准确率的效果。
附图说明
图1为一个实施例中车辆跟踪方法的应用环境图;
图2为一个实施例中车辆跟踪方法的流程示意图;
图3为一个实施例中车辆跟踪系统的结构框图;
图4为另一个实施例中车辆跟踪方法的流程示意图;
图5为一个实施例中目标绑定的流程示意图;
图6为一个实施例中二次匹配的流程示意图;
图7为一个实施例中车辆跟踪装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的车辆跟踪方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102用于获取当前时刻目标区域内至少两个车辆的车辆信息;基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种车辆跟踪方法,以该方法应用于图1中的终端102为例进行说明,包括以下步骤:
第一个方面,本申请提供了一种车辆跟踪方法,所述车辆跟踪方法包括:
步骤S100,获取当前时刻目标区域内至少两个车辆的车辆信息。
其中,目标区域可以包括自身车辆在直行道路下的周围区域,周围区域可以是包括前方区域,也可以是包括侧边区域。
获取当前时刻目标区域内至少两个车辆的车辆信息,可以是通过视觉传感器检测出前方和周围道路的车辆信息。车辆信息可以是基于视觉传感器采集的特征和目标检测而得到的初始车辆信息。示例性的,视觉传感器采集的特征可以是但不限于几何特征、颜色特征、纹理特征、运动特征、空间定位特征、特定目标识别特征和深度信息等特征信息。
步骤S200,基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率。
其中,基于车辆信息确定受遮挡车辆,和受遮挡车辆的受遮挡率,可以是基于感知后处理得到。
受遮挡车辆可以是可观测区域不完整的车辆,示例性的,在同一车道的前方区域存在至少两个车辆的情况下,视距离自身车辆最近的车辆为遮挡车辆;视距离自身车辆第二近的车辆为受遮挡车辆;在存在左车道和/或右车道时,视位于左车道、右车道上的车辆为侧边车辆。
受遮挡车辆的受遮挡率,是受遮挡车辆的不可观测区域在完整观测区域中的占比。示例性的,完整观测区域是指在未受遮挡情况下的完整车辆区域,不可观测区域是指该完整车辆区域中被其他车辆或障碍物遮挡的区域。
步骤S300,基于所述受遮挡车辆的受遮挡率以及受遮挡车辆第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度。
其中,第一速度和第二速度可以是基于车辆信息和感知后处理确定的车辆速度。基于所述受遮挡车辆的受遮挡率以及第一速度和所述受遮挡车辆周围车辆的第二速度,更新所述受遮挡车辆的第一速度,可以是基于受遮挡车辆的受遮挡率,确定受遮挡车辆的第一速度的权重和周围车辆的第二速度的权重,从而进行第一速度的更新计算。示例性的,当受遮挡车辆的受遮挡率越高,也就代表受遮挡车辆的初始车辆信息中的第一速度的可信任度越低,则需要根据周围车辆的第二速度,对受遮挡车辆的第一速度进行更新计算,从而减少在受遮挡车辆与周围车辆距离过近情况下的速度检测错误,进一步避免遮挡情况下的ID跳变问题。更新所述受遮挡车辆的第一速度,是指对受遮挡车辆的车辆信息中的当前速度进行更新。
步骤S400,基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述目标区域内至少两个车辆的车辆信息。
其中,基于更新后所述受遮挡车辆的第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,可以是将目标区域中的至少两个车辆的检测框与车辆信息进行目标关联,从而实现当前时刻车辆信息的更新。
本实施例提供的一种车辆跟踪方法,通过获取当前时刻目标区域内至少两个车辆的车辆信息;基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息,是实现基于车辆的受遮挡情况,对受遮挡车辆的速度进行更新,并基于更新后的速度,对目前区域内的车辆信息进行关联匹配,可以大幅降低在遮挡情况下的车辆信息关联错误的频率,达到提高遮挡情况下车辆跟踪准确率的效果。
在其中一个实施例中,所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新所述受遮挡车辆的第一速度包括:
根据所述受遮挡车辆的受遮挡率,确定遮挡等级;所述遮挡等级包括重度遮挡和非重度遮挡;
若所述遮挡等级为重度遮挡,则基于所述受遮挡车辆的受遮挡率以及遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度。
其中,遮挡等级的划分可以是基于受遮挡的车辆数量进行划分,也可以是基于特定车辆的受遮挡率进行划分,还可以是其他基于实际需求进行设置。在本实施例中,遮挡等级可以分为重度遮挡和非重度遮挡。进一步的,非重度遮挡可以分为低度遮挡和中度遮挡。
在一个具体实施例中,中度遮挡可以是指受遮挡率大于30%的车辆数量占已检测到车辆总数的30%至70%,或受遮挡车辆的受遮挡率小于等于70%的情形,重度遮挡则可以是指受遮挡率大于30%的车辆数量大于已检测到车辆总数的70%,或受遮挡车辆的受遮挡率大于70%的情形,低度遮挡可以是除上述中度遮挡和重度遮挡外的其他情形。
若所述遮挡等级为重度遮挡,则基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新所述受遮挡车辆的第一速度。可以理解的是,当遮挡等级相对较低时,受遮挡的车辆数量较少,或是受遮挡车辆的受遮挡率较低时,则基于视觉传感器和感知后处理的初始车辆信息的准确率相对较高,ID跳变的可能性较低,可以信任初始车辆信息中的车辆位置和关联信息。
本实施例提供的一种车辆跟踪方法,通过在遮挡等级为重度等级时,基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新所述受遮挡车辆的第一速度,可以实现在遮挡情况较为严重时进行第一速度的更新计算以及车辆信息的匹配。
在其中一个实施例中,当所述目标区域内为一条车道时,所述受遮挡车辆周围车辆包括自车车道上的遮挡车辆;所述遮挡车辆为自车车道上距离自身车辆最近的车辆;所述至少两个车辆的车辆信息包括所述遮挡车辆和所述受遮挡车辆的车辆信息;所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:
基于所述受遮挡率,确定遮挡车辆的第一权重,和所述受遮挡车辆的第二权重;
基于所述遮挡车辆的第一速度和第一权重,以及所述受遮挡车辆的第二速度和第二权重,计算所述受遮挡车辆的第一估计速度;
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度。
其中,所述目标区域内为一条车道时,可以理解为自身车辆的同向行驶车道为单车道,不存在其他的同向车道。所述受遮挡车辆周围车辆包括遮挡车辆,遮挡车辆是指的距离自身车辆较近的第一前方车辆,相应的,受遮挡车辆可以是受第一前方车辆遮挡的第二前方车辆。
基于所述受遮挡率,确定受遮挡车辆的第一权重,和所述遮挡车辆的第二权重,第一权重为受遮挡车辆的第一速度的权重,第二权重为遮挡车辆的第二速度的权重。可以理解的是,基于受遮挡率,可以确定基于感知后处理得到的受遮挡车辆的当前速度的可信任度是否较高,例如,当受遮挡率较高时,基于感知后处理确定的车速可能存在误判,甚至可能与其他车辆产生的ID跳变,则需要降低受遮挡车辆的当前速度的权重值。
示例性的,遮挡车辆的第二权重可以是大于受遮挡车辆的第一权重,且受遮挡率越大,第二权重越大。在一个具体实施例中,第二权重为(1+θ)/2,第一权重为(1-θ)/2,其中,θ为受遮挡率。
基于所述遮挡车辆的第一速度和第一权重,以及所述受遮挡车辆的第二速度和第二权重,计算所述受遮挡车辆的第一估计速度,可以是计算第一速度与第一权重的乘积,与第二速度与第二权重的乘积之和,得到第一估计速度。
基于所述第一估计速度,更新所述受遮挡车辆的第一速度,可以是将第一速度的值更新为第一估计速度,还可以是基于第一估计速度进行判断其估计合理性后,再将第一速度的值更新为第一估计速度。
在一个具体实施例中,基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:记自身车道上的距离自身车辆最近的车辆为遮挡车辆,即前车,自身车道上的距离自身车辆第二近的车辆为受遮挡车辆,即前前车,则:
V前前车=αV前车+γV前前车估计
其中,V前前车为前前车的第一估计速度,α为前车速度的权重系数,V前车为前车在当前帧的速度,γ为前前车在当前帧的运动估计结果的权重系数,V前前车估计为前前车在当前帧的估计速度。α和γ可以通过如下公式计算得到:
α=(1+θ)/2
γ=(1-θ)/2
其中,θ为前前车受遮挡率的小数点值。即当前前车受遮挡率越大时,越信赖前车的车速对前前车速度进行估计;当前前车受遮挡率越小时,越信赖前前车利用卡尔曼滤波在当前帧的运动估计。
本实施例提供的一种车辆跟踪方法,通过基于受遮挡率确定受遮挡车辆的第一权重,和遮挡车辆的第二权重,结合第一速度和第二速度计算第一估计速度,实现对第一速度的更新,可以实现基于受遮挡率得到更为准确的受遮挡车辆当前速度估计,达到提高车辆跟踪准确率的效果。
在其中一个实施例中,当所述目标区域内为两条及以上的车道时,所述受遮挡车辆周围车辆包括自车车道上的遮挡车辆以及侧边车道上的侧边车辆,所述受遮挡车辆周围车辆的第二速度包括遮挡车辆的第二遮挡速度以及侧边车辆的第二侧边速度;所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:
获取当前时刻遮挡车辆与前一时刻所述受遮挡车辆的第一距离以及当前时刻侧边车辆与前一时刻所述受遮挡车辆的第二距离;所述第一距离包括第一横向距离和第一纵向距离;所述第二距离包括第二横向距离和第二纵向距离;
基于第一距离以及第二距离,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,包括:
基于所述第一距离以及第二距离确定第一距离系数和第二距离系数;当目标区域为两条车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;当目标区域为三条及以上的车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和的二倍值,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;
基于所述第一距离系数和第二距离系数,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,其中,所述第一权重为第二距离系数除以第一距离系数与第二距离系数之和的二倍值;所述第二权重为二分之一;所述第三权重为第一距离系数除以第一距离系数与第二距离系数之和的二倍值;
基于所述遮挡车辆的第二遮挡速度和第一权重、所述受遮挡车辆的第一速度和第二权重,以及所述侧边车辆的第二侧边速度和第三权重,计算所述受遮挡车辆的第一估计速度;
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度。
其中,当所述目标区域内为两条及以上的车道时,可以理解为除自身车辆所在车道外还包括至少一个相邻同向车道,该车道可以是在自身车辆所在车道的左侧,也可以是在右侧,或是有两条相邻同向车道分别位于自身车辆所在车道的两侧。所述受遮挡车辆周围车辆包括遮挡车辆,遮挡车辆可以是距离自身车辆较近的第一前方车辆,相应的,受遮挡车辆可以是受第一前方车辆遮挡的第二前方车辆。侧边车辆可以是位于相邻同向车道上的车辆。
获取当前时刻遮挡车辆与前一时刻所述受遮挡车辆的第一距离以及当前时刻侧边车辆与前一时刻所述受遮挡车辆的第二距离。其中,前一时刻可以是当前时刻的前一帧所在的时刻。进一步的,当前时刻遮挡车辆与前一时刻所述受遮挡车辆的第一距离=包括当前时刻遮挡车辆的后轴中心与前一时刻下受遮挡车辆的后轴中心的第一横向距离和第一纵向距离;当前时刻侧边车辆与前一时刻所述受遮挡车辆的第二距离是当前时刻侧边车辆的后轴中心与前一时刻受遮挡车辆的后轴中心的第二横向距离和第二纵向距离。
基于所述第一距离以及第二距离,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,包括:
基于所述第一距离以及第二距离确定第一距离系数和第二距离系数;其中,当目标区域为两条车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;当目标区域为三条及以上的车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和的二倍值,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;
基于所述第一距离系数和第二距离系数,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,其中,所述第一权重为第二距离系数除以第一距离系数与第二距离系数之和的二倍值;所述第二权重为二分之一;所述第三权重为第一距离系数除以第一距离系数与第二距离系数之和的二倍值;
可以理解的是,当初始第二权重大于初始第三权重时,说明受遮挡车辆更贴近侧边车辆,进而速度也越贴近侧边车辆,当初始第二权重小于初始第三权重时,则说明受遮挡车辆更贴近遮挡车辆,进而速度也越贴近遮挡车辆。
基于所述遮挡车辆的第二遮挡速度和第一权重、所述受遮挡车辆的第一速度和第二权重,以及所述侧边车辆的第二侧边速度和第三权重,计算所述受遮挡车辆的第一估计速度,可以是在对上述第一权重、第二权重和第三权重进行归一化后,用于对受遮挡车辆的第一估计速度进行计算,可以是计算遮挡车辆的第二遮挡速度与第一权重的乘积,以及受遮挡车辆的第一速度与第二权重的乘积,以及侧边车辆的第二侧边速度与第三权重的乘积之和,得到第一估计速度。
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度,可以是将第一速度的值更新为第一估计速度,还可以是基于第一估计速度进行判断其估计合理性后,再将第一速度的值更新为第一估计速度。
在一个具体实施例中,基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:
记自身车道上的距离自身车辆最近的车辆为遮挡车辆,即前车,自身车道上的距离自身车辆第二近的车辆为受遮挡车辆,即前前车。
若当前存在两条车道,则遍历计算周围车道上与上一帧前前车位置最近的车辆,记为周车。若当前存在三条或三条以上车道,则遍历计算周围两车道上与上一帧前前车位置最近的两个车辆,并记为周车;
加权前前车速度估计、前车速度与周车速度。具体的加权公式如下所示:
V前前车=αV前车+βV周车+γV前前车估计
其中,V前前车为前前车的第一估计速度,即预测速度,α为前车速度的权重系数,V前车为前车在当前帧的速度,β为周车速度的权重系数,V周车为周车在当前帧的速度,γ为前前车在当前帧的运动估计结果的权重系数,V前前车估计为前前车在当前帧的估计速度。在当前条件下,γ的值为0.5。具体的,计算当前帧左或右车道上车辆的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和、当前帧本车道前车的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和,然后通过下式计算得到三个权重系数α、权重系数β、权重系数γ进行归一化。
α=τ/2(μ+τ)
β=μ/2(μ+τ)
γ=1/2
其中,当当前车道为双车道时,μ为当前帧本车道前车的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和,τ为当前帧左或右车道上车辆的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和。即当本帧自车道前车的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和大于当前帧左或右车道上车辆的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和时,说明被遮挡的前前车距离更贴近周围车,进而速度也越贴近周围车。当当前有三条或三条以上车道时,μ为当前帧本车道前车的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和的二倍值,τ为当前帧左和右车道上车辆的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和。即当本帧自车道前车的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和的二倍值大于当前帧左和右车道上车辆的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和时,说明被遮挡的前前车距离更贴近周围车,进而速度也越贴近周围车。
本实施例提供的一种车辆跟踪方法,通过基于受遮挡率确定受遮挡车辆的第一权重、遮挡车辆的第二权重以及侧边车辆的第三权重,结合第一速度、第二遮挡速度和第二侧边速度计算第一估计速度,实现对第一速度的更新,可以实现在多车道场景下得到更为准确的受遮挡车辆当前速度估计,达到提高车辆跟踪准确率的效果。
在其中一个实施例中,所述基于所述第一估计速度,更新所述受遮挡车辆的第一速度包括:
获取前一时刻所述受遮挡车辆的第三速度;
基于所述第一估计速度,确定所述第一估计速度对应的速度变化阈值;
根据所述第一估计速度以及第三速度,确定速度变化量;
若所述速度变化量小于等于速度变化阈值,则基于所述第一估计速度,更新所述受遮挡车辆的第一速度;
若所述速度变化量大于速度变化阈值,则基于所述第三速度,更新所述受遮挡车辆的第一速度。
其中,基于所述第一估计速度,更新所述受遮挡车辆的第一速度,包括基于所述第一估计速度,确定所述第一估计速度是否合理。进一步的,确定所述第一估计速度是否合理,可以是基于第一估计速度与前一时刻受遮挡车辆的第三速度确定。
前一时刻所述受遮挡车辆的第三速度,可以是在前一时刻对受遮挡车辆进行感知得到的车辆速度,也可以是基于本实施例的方法更新受遮挡车辆的第一速度后确定的车辆速度。
基于所述第一估计速度,确定所述第一估计速度对应的速度变化阈值,其中,第一估计速度越大,则速度变化的范围可能也就越大,因此,第一估计速度对应的速度变化阈值也越大。在一个具体实施例中,当第一估计速度小于30km/h时,速度变化阈值可以为2%;当第一估计速度大于30km/h且小于等于70km/h时,速度变化阈值可以为5%;当第一估计速度大于70km/h时,速度变化阈值可以为10%。
根据所述第一估计速度以及第三速度,确定速度变化量,可以是基于第一估计速度与第三速度的差值,与第一估计速度的比值,确定速度变化量。
若速度变化量小于等于速度变化阈值,则代表速度变化量与前一时刻的车辆速度相比,未超出合理的速度变化阈值,因此可以基于第一估计速度,更新受遮挡车辆的第一速度。若速度变化量大于速度变化阈值,则基于前一时刻的第三速度,更新受遮挡车辆的第一速度。
本实施例提供的一种车辆跟踪方法,通过基于第一估计速度和前一时刻受遮挡车辆的第三速度,进行速度变化的合理性判断,而后基于此对第一速度进行更新,可以避免第一估计速度的速度误差大导致跟踪逐渐与实际情况产生偏离,可以达到提高车辆跟踪准确率的效果。
在其中一个实施例中,所述基于所述第三速度,更新所述受遮挡车辆的第一速度包括:
若所述速度变化量大于速度变化阈值的连续时刻数量在预设第一数量范围内,则基于所述第三速度,更新所述受遮挡车辆的第一速度;
若所述速度变化量大于速度变化阈值的连续时刻的数量大于预设第一数量范围,则基于第三速度进行卡尔曼滤波估计得到第二估计速度,基于第二估计速度,更新所述受遮挡车辆的第一速度;且若连续预设时刻下所述第一估计速度与所述第二估计速度小于等于相对误差阈值,则基于第一估计速度,更新所述受遮挡车辆的第一速度。
其中,若速度变化量大于速度变化阈值,则可以将当前时刻进行时刻累计,若当前时刻下,速度变化量大于速度变化阈值的连续时刻数量在预设第一数量范围内,则基于第三速度的值,对第一速度进行更新。
若当前时刻下,速度变化量大于速度变化阈值的连续时刻的数量大于预设第一数量范围,则需要根据第三速度进行卡尔曼滤波估计,得到第二估计速度,并基于第二估计速度的值,对第一速度进行更新。可以理解的是,当速度变化量大于速度变化阈值的连续时刻的数量大于预设第一数量范围,则代表车辆的速度变化较大,可能是出现了大幅加速或减速的情形,则遮挡车辆和侧边车辆的速度的可参考性较低,而受遮挡车辆的卡尔曼滤波估计结果的可参考性则更高。在基于第二估计速度更新所述受遮挡车辆的第一速度时,暂停基于第一估计速度更新第一速度。
若连续预设时刻下所述第一估计速度与所述第二估计速度小于等于相对误差阈值,则基于第一估计速度,更新所述受遮挡车辆的第一速度。在基于第二估计速度更新第一速度后,仍然计算受遮挡车辆在每一时刻的第一估计速度。若存在连续预设时刻,其中每一时刻下的第一估计速度与所述第二估计速度小于等于相对误差阈值,则重新开始基于第一估计速度,更新所述受遮挡车辆的第一速度。
进一步的,连续预设时刻的时刻数量和相对误差阈值可以是基于第一估计速度的值确定,第一估计速度的值越大,则连续预计时刻的时刻数量和相对误差阈值也就越大。
在一个具体实施例中,以每一帧所在时间点为一个时刻,则当第一估计速度小于30km/h时,连续预设时刻的时刻数量为5,相对误差阈值为1%;当第一估计速度大于30km/h且小于等于70km/h时,连续预设时刻的时刻数量为7,相对误差阈值为2%;当第一估计速度大于70km/h时,连续预设时刻的时刻数量为10,相对误差阈值为3%。
本实施例提供的一种车辆跟踪方法,通过在速度变化量大于速度变化阈值的情况下,先后采用上一时刻的第三速度,或是根据第三速度进行卡尔曼滤波估计,对第一速度进行更新,待第一估计速度的速度变化阈值稳定后,通过第一估计速度对第一速度进行更新,可以实现在受遮挡车辆大幅度加速或减速的情况下,自适应调整速度计算策略,可以达到提高车辆跟踪准确率的效果。
在其中一个实施例中,所述基于更新后的所述第一速度,对所述至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述目标区域内至少两个车辆的车辆信息包括:
获取当前时刻目标区域内的车道信息;
基于所述车道信息和所述至少两个车辆的车辆信息,确定至少一个车道的目标检测区域;
基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联。
可以理解的是,获取当前时刻目标区域内的车道信息;基于所述车道信息和所述至少两个车辆的车辆信息,确定至少一个车道的目标检测区域的步骤,可以是在更新所述受遮挡车辆的第一速度之前预先完成,上述步骤在获取当前时刻目标区域内至少两个车辆的车辆信息的步骤之后并没有严格的执行顺序限制。
获取当前时刻目标区域内的车道信息,车道信息可以是基于视觉传感器采集,以及感知后处理得到,本文在此不做赘述。
确定至少一个车道的目标检测区域,其中,车道数量和目标检测区域的数量与车道信息中的车道数量相对应。确定目标检测区域,可以是将目标区域内的多个车道所在区域依次划分为多个目标检测区域,从而实现同一车道的车辆处理。
基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联,可以是将每个目标检测区域中的待匹配车辆,与该车道下车辆的车辆信息进行目标关联。
进一步的,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联,在存在至少两个车道的情况下,可以是依次由左到右进行每个目标检测区域的目标关联,也可以是由右到左进行目标关联。
本实施例提供的一种车辆跟踪方法,通过基于车道信息进行目标检测区域的划分,并进行对应的车道信息匹配,可以更为准确地进行车辆信息的关联,可以达到提高车辆跟踪准确率的效果。
在其中一个实施例中,所述基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联之后包括:
基于关联失败车辆的图像,计算当前时刻的关联失败车辆的第一深度特征;基于所述关联失败车辆的历史图像,计算所述关联失败车辆在多个历史时刻保存的第二深度特征;
计算所述第一深度特征与每个第二深度特征的余弦距离,得到代价矩阵;
获取所述关联失败车辆的预测结果和检测结果,基于所述预测结果与检测结果,计算距离相似度;
基于所述距离相似度对所述代价矩阵进行调整;
基于匈牙利算法和所述代价矩阵,将关联失败车辆与所述车辆信息进行目标关联。
可以理解的是,在基于目标检测区域进行目标关联后,可能存在关联未成功的车辆,还可能存在没有出现在目标检测框内的远距离车辆,即关联失败车辆。因此,在基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联之后,可以对关联失败车辆进行二次匹配。
基于关联失败车辆的图像,计算当前时刻的关联失败车辆的第一深度特征,即计算当前帧每个关联失败车辆的深度特征。基于所述关联失败车辆的历史图像,计算所述关联失败车辆在多个历史时刻保存的第二深度特征,可以是根据各跟踪器保存的多个历史时刻的关联失败车辆的深度特征集。历史时刻的时刻数量可以是基于实际需求进行设置。在一个具体实施例中,可以是选择前20帧作为多个历史时刻。基于第一深度特征和第二深度特征,可以计算每个关联失败车辆与多个历史时刻下多个关联失败车辆的余弦距离,得到外观特征代价矩阵。
关联失败车辆的预测结果和检测结果中,其中,预测结果可以包括预测位置,预测位置可以是基于卡尔曼滤波进行预测得到的每个关联失败车辆的车辆位置,检测结果可以包括检测位置,即可以是各跟踪器进行检测确定的多个关联失败车辆的车辆位置,跟踪器的数量可以是与关联失败车辆的数量相对应。基于所述预测结果与检测结果,计算距离相似度,进一步的,可以是计算预测结果与检测结果之间的马氏距离。
基于所述距离相似度对所述代价矩阵进行调整,可以是将代价矩阵中,距离相似度不满足阈值的关联失败车辆进行排除。排除的方法包括但不限于将对应位置的余弦距离数值设置为较大或无限大,或其他预设的数值。当距离相似度为马氏距离时,可以是将马氏距离大于阈值的关联失败车辆进行排除。
进一步的,还可以将外观特征代价矩阵中,大于阈值的余弦距离设置为较大或无限大,以进行排除。
本实施例提供的一种车辆跟踪方法,通过计算当前时刻下关联失败车辆的深度特征,和历史时刻下多个关联失败车辆的深度特征之间的余弦距离,得到外观特征代价矩阵;并根据预测结果和检测结果得到马氏距离,对代价矩阵进行调整处理;最后使用匈牙利算法,以代价矩阵为输入进行指派,可以在目标关联失败后,通过历史运动轨迹进行二次匹配,进而可以得到更为准确的目标关联结果,可以达到提高车辆跟踪准确率的效果。
为了更清楚地阐述本申请的技术方案,本申请还提供了一个详细实施例。
在一个实施例中,提供了一种车辆跟踪方法,应用于如图3所示的车辆跟踪系统中,车辆跟踪系统包括视觉传感器501、车辆群遮挡等级划分模块502、目标绑定模块503、前前车运动速度预测模块505、卡尔曼滤波模块504、二次匹配模块506和匈牙利算法模块507。如图4所示,所述车辆跟踪方法包括:
基于视觉传感器501,检测出周围道路上的车辆信息。
基于感知后处理给出车辆的受遮挡率、车辆速度及车辆位置。
遮挡等级判断:基于车辆群遮挡等级划分模块502,判断道路前方车辆群互相遮挡程度,即设定受遮挡率阈值,可以包括30%和70%两个阈值,利用感知后处理算法给出的每个车辆目标的受遮挡率,并将其与设定的受遮挡率阈值作比较。
在本实施例中,在同一车道的前方区域存在至少两个车辆的情况下,视距离自身车辆最近的车辆为遮挡车辆,即前车;视距离自身车辆第二近的车辆为受遮挡车辆,记为前前车;在存在左车道和/或右车道时,视位于左车道、右车道上的车辆为侧边车辆,即周车。
具体的划分情况如下:(1)即受遮挡率大于30%的车辆数量占检测到的车辆总数的30%至70%,或,前前车受遮挡率大于30%且小于等于70%,则判定为中度遮挡;(2)即受遮挡率大于30%的车辆数量占检测到的车辆总数高于70%,或,前前车受遮挡率>70%,则判定为重度遮挡。(3)其余情况则判定为低度遮挡。
依次判断是否为低度遮挡,若是,则根据IoU进行关联匹配,若否,则判断是否为中度遮挡;若为中度遮挡,则进行道路目标绑定;若不为中度遮挡,则判断是否为重度遮挡,若为重度遮挡,则进行前前车速度预测;由此可以确定当前车辆群的遮挡等级是否为中度或重度。若是,则基于目标绑定模块503进行车辆群绑定。
基于目标绑定模块503,将行驶在同一车道上且处于单目摄像头可见100米内的互相遮挡的车辆群体绑定为一个整体,即左侧车道上行驶车辆群绑定为一个整体、右侧车道上行驶车辆群绑定为一个整体、自车车道上行驶的前车和前前车绑定为一个整体,形成三个绑定框用来进行前后帧的目标关联。其中,对于自车车道内,被绑定目标仅包括前车与前前车。具体的,当车辆群遮挡等级划分模块502判定当前帧为中度或重度遮挡时,利用算法输出的车辆检测框的角点位置,将不同车道内互相遮挡车辆检测框构成绑定框进行后续目标关联。
在遮挡等级为中度或重度的情况下,具体而言,若当前只有自车所在的一条车道,只对自车的前车和前前车进行目标绑定;若当前存在同向两条车道,即自车道和左车道或者右车道,对自车道的前车和前前车进行目标绑定、对左车道或者右车道100米内的车辆目标绑定;若当前存在三条或三条以上同向车道,即自车道、左车道和右车道,对自车道的前车和前前车进行目标绑定,对左、右车道100米内的车辆目标进行绑定,当自车道位于最左或右侧,只考虑自车道右或左侧一条车道。
进一步的,可以是由视觉感知模型可以得到车辆目标在当前图像内检测框位置,进而进行目标检测框的绑定。具体的:
如图5所示,对于一条车道的目标绑定,采用前前车检测框的左或右上点与前车检测框的右或左上点之间的距离作为宽,采用前前车检测框的右上点和前车的右下点之间的距离作为长,以此构成目标绑定框且赋予该绑定框ID为2进行后续IoU计算;
对于两条车道的目标绑定,对于自车道,采用前前车检测框的左或右上点与前车检测框的右或左上点之间的距离作为宽、前前车检测框的右上点和前车的右下点之间的距离作为长,以此构成目标绑定框且赋予该绑定框ID为2。对于左或右侧车道,采用100米之内,距离自车道的左或右车道线最近车辆检测框的左或右下点与距离自车道左或右车道线最远车辆检测框的右或左上点之间的距离作为宽、最远车辆检测框的左或右上点与最近车辆检测框的右或左下点之间的距离作为长,以此构成左侧车道目标绑定框且赋予该绑定框ID为1,相应的,右侧车道目标绑定框ID为3,进行后续IoU计算;可以理解的是,当左或右车道上的车辆后轴中心进入到单目视觉传感器501检测范围内时,则计为属于绑定框内的目标;当左或右车道上的车辆前保驶出100m范围内时,则计为不属于绑定框内的目标。
对于三条车道或三条车道以上的目标绑定:对于自车道,采用前前车检测框的左或右上点与前车检测框的右或左上点之间的距离作为宽、前前车检测框的右上点和前车的右下点之间的距离作为长;对于左、右侧车道,采用100米之内给出的距离自车道左或右车道线最近车辆检测框的左或右下点与距离自车道左或右车道线最远车辆检测框的右或左上点之间的距离作为宽、最远车辆检测框的左或右上点与最近车辆检测框的右或左下点之间的距离作为长,以此构成目标绑定框进行后续IoU计算。
基于卡尔曼滤波模块504,通过线性卡尔曼滤波器模型的运动建模进行运动估计。
基于前前车运动速度预测模块505,预测被前车严重遮挡的前前车速度。具体的,利用本车道及左右侧同向车道的三个邻近车辆目标速度与该被严重遮挡的前前车自身的运动估计进行加权,即计算当前帧左右两条车道上车辆的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和、当前帧自身车道前车的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和的两倍,得出权重系数α和权重系数β和自身运动估计的权重系数γ,且自适应满足α+β+γ=1。同时,为了进一步提高前前车运动速度预测准确性,将该模块得出的车速与历史帧车速作比较,设定阈值来判断模块预测速度是否合理与是否按照预测速度进行当前帧速度更新。
具体的,判断当前车辆群遮挡等级划分模块502给出的遮挡等级是否为重度,且为前前方车辆受遮挡率为大于70%的情况。
利用感知后处理输出的周围车辆速度。
在遮挡等级为重度的情况下,判断当前车道数量,不同车道数量对应不同的策略,具体策略如下:
(1)若当前只有自车所在的一条车道,则加权前前车速度估计与前车速度。具体的加权公式如下所示:
V前前车=αV前车+γV前前车估计
其中,V前前车为前前车的第一估计速度,α为前车速度的权重系数,V前车为前车在当前帧的速度,γ为前前车在当前帧的运动估计结果的权重系数,V前前车估计为前前车在当前帧的估计速度。α和γ可以通过如下公式计算得到:
α=(1+θ)/2
γ=(1-θ)/2
其中,θ为前前车受遮挡率的小数点值。即当前前车受遮挡率越大时,越信赖前车的车速对前前车速度进行估计;当前前车受遮挡率越小时,越信赖前前车利用卡尔曼滤波在当前帧的运动估计。
(2)若当前有两条车道,先通过遍历计算周围车道上与上一帧前前车位置最近的车辆,并利用该车辆进行后续操作。加权前前车速度估计、前车速度与周车速度。具体的加权公式如下所示:
V前前车=αV前车+βV周车+γV前前车估计
其中,V前前车为前前车的第一估计速度,即预测速度,α为前车速度的权重系数,V前车为前车在当前帧的速度,β为周车速度的权重系数,V周车为周车在当前帧的速度,γ为前前车在当前帧的运动估计结果的权重系数,V前前车估计为前前车在当前帧的估计速度。在当前条件下,γ的值为0.5。具体的,计算当前帧左或右车道上车辆的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和、当前帧本车道前车的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和,然后通过下式计算得到三个权重系数α、权重系数β、权重系数γ进行归一化。
α=τ/2(μ+τ)
β=μ/2(μ+τ)
γ=1/2
其中,μ为当前帧本车道前车的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和,τ为当前帧左或右车道上车辆的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和。即当本帧自车道前车的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和大于当前帧左或右车道上车辆的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和时,说明被遮挡的前前车距离更贴近周围车,进而速度也越贴近周围车。
(3)若当前有三条或三条以上车道,先通过遍历计算周围两车道上与上一帧前前车位置最近的两个车辆,并利用该车辆进行后续操作。同样加权前前车速度估计、前车速度与周车速度。具体的加权公式如下所示:
V前前车=αV前车+βV周车+γV前前车估计
其中,V前前车为前前车的第一估计速度,即预测速度,α为前车速度的权重系数,V前车为前车在当前帧的速度,β为周车速度的权重系数,V周车为周车在当前帧的速度,γ为前前车在当前帧的运动估计结果的权重系数,V前前车估计为前前车在当前帧的估计速度。在当前条件下,γ的值为0.5。具体的,计算当前帧左和右车道上车辆的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和、当前帧本车道前车的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和,然后通过下式计算得到三个权重系数α、权重系数β、权重系数γ进行归一化。
α=τ/2(μ+τ)
β=μ/2(μ+τ)
γ=1/2
其中,μ为当前帧本车道前车的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和的二倍值,τ为当前帧左和右车道上车辆的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和。即当本帧自车道前车的后轴中心与前前车在前一帧后轴中心的横纵向距离差值的平方和的二倍值大于当前帧左和右车道上车辆的后轴中心与前前车在前一帧后轴中心的横向距离与纵向距离的平方和时,说明被遮挡的前前车距离更贴近周围车,进而速度也越贴近周围车。
在利用感知后处理得到周围车辆速度后,对前前车进行速度估计,利用得到的速度估计及上一帧的前前车目标框位置,获得当前帧的前前车目标框位置,从而进行后续关联匹配。
为了验证该模块预测的前前车车速的合理性,可以是利用历史帧的前前车车速作为判断条件,具体策略如下:
计算当前帧前前车预测速度与上一帧前前车速度的差值后除以当前帧前前车预测速度,得到速度变化量。
(1)在预测速度小于30km/h时:若速度变化量小于等于2%,则判定其预测合理,并使用预测速度更新当前帧的前前车速度;若速度变化量大于2%,则判定其预测不合理;为了维持速度稳定性,按照上一帧车速来更新当前帧。其中,若预测模块持续被判定为预测不合理时,则上一帧车速利用卡尔曼滤波进行运动估计,并使用该值来更新当前帧及与下一帧预测模块给出的值作比较;若预测模块持续给出相互误差在1%内的预测车速达到5帧,则说明前前车车速进行大幅度加/减速,此时则判定为预测合理,并利用预测速度来更新当前帧前前车车速。
(2)在预测速度大于等于30km/h且小于等于70km/h时,若速度变化量小于等于5%,则判定其预测合理,并使用预测速度更新当前帧的前前车速度;若速度变化量大于5%,则判定其预测不合理;为了维持速度稳定性,按照上一帧车速来更新当前帧。其中,若预测模块持续被判定为预测不合理时,则上一帧车速利用卡尔曼滤波进行运动估计,并使用该值来更新当前帧及与下一帧预测模块给出的值作比较;若预测模块持续给出相互误差在2%内的预测车速达到7帧,则说明前前车车速进行大幅度加/减速,此时则判定为预测合理,并利用预测速度来更新当前帧前前车车速。
(3)在预测速度大于70km/h时,若速度变化量小于等于10%,则判定其预测合理,并使用预测速度更新当前帧的前前车速度;若速度变化量大于10%,则判定其预测不合理;为了维持速度稳定性,按照上一帧车速来更新当前帧。其中,若预测模块持续被判定为预测不合理时,则上一帧车速利用卡尔曼滤波进行运动估计,并使用该值来更新当前帧及与下一帧预测模块给出的值作比较;若预测模块持续给出相互误差在3%内的预测车速达到10帧,则说明前前车车速进行大幅度加/减速,此时则判定为预测合理,并利用预测速度来更新当前帧前前车车速。
基于二次匹配模块506,对产生的目标绑定框进行一次匹配,将绑定框内第一次匹配未成功的车辆目标数据,以及没有在绑定框内的远距离车辆目标,进行二次匹配。具体而言:
首先,设置一次匹配池,根据遮挡等级的情况,对产生的目标绑定框进行一次匹配。根据不同车道数将一次匹配池进行区域划分1块、2块或3块,具体策略如下:
(1)当只存在自车道,一次匹配池里仅包含前车和前前车,即绑定框ID2内的车辆目标。通过卡尔曼滤波模块504的运动建模进行前车位置预测,通过卡尔曼滤波模块504的运动建模或前前车运动速度预测模块505进行前前车的位置预测,如图6所示,利用车辆的前一帧检测框和当前帧检测框进行IoU计算,以及匈牙利算法模块507完成前后帧的目标关联。
(2)当存在两条车道,一次匹配池划分为两块,第一块仅包含前车和前前车,即绑定框ID2内的车辆目标;第二块包含邻车道的目标绑定框内的车辆目标,即绑定框ID1或3内的车辆目标;先进行绑定框ID2的目标关联,操作同上,其次进行定框ID1或3内的车辆目标关联。具体的,通过卡尔曼滤波模块504进行目标绑定框中每个车辆的位置预测,利用车辆的前一帧检测框和当前帧检测框进行IoU计算,及匈牙利算法模块507完成前后帧的目标关联。
(3)当存在三条车道,一次匹配池划分为三块,第一块仅包含前车和前前车,即绑定框ID2内的车辆目标;第二块包含左车道的目标绑定框内的车辆目标,即绑定框ID1内的车辆目标;第三块包含右车道的目标绑定框内的车辆目标,即绑定框ID3内的车辆目标。先进行第一块的目标关联,操作同(1),其次依次进行第二、三块的目标关联,操作同(2)。
判断是否匹配成功。若是,则更新轨迹,若否,则设置二次匹配池放置目标绑定框内第一次未匹配成功的车辆目标,和没有在目标绑定框内的远距离车辆目标,进行卡尔曼滤波预测20帧,从而提升关联率,具体策略如下:
(1)计算每个目标的当前帧目标深度特征与各跟踪器已保存的前面20帧目标的深度特征集之间的余弦距离,得到外观特征代价矩阵。
(2)在外观特征代价矩阵的基础上,计算目标的卡尔曼滤波预测位置与检测框之间的马氏距离。也就是计算对每个跟踪器,即代价矩阵中的每一行中,预测结果与检测结果之间的马氏距离。
(3)对外观特征代价矩阵的当前行,将马氏距离大于指定阈值的位置的预先距离设为无穷大。
(4)将外观特征代价矩阵中余弦距离大于阈值的余弦距离值设置为较大。
(5)以外观特征代价矩阵为输入,使用匈牙利算法进行指派,从而实现目标关联。
基于匈牙利算法模块507,以调整后的代价矩阵为输入进行匈牙利指派,从而进行二次匹配的目标关联。
判断是否重新匹配成功,若否,则移除轨迹。
通过上述车辆跟踪方法,本实施例至少可以处理单车道中度遮挡(前前车受遮挡率小于70%)、单车道重度遮挡(前前车受遮挡率大于70%)、双车道中度遮挡(受遮挡率大于30%的车辆数量占检测到的车辆总数的30%至70%)、双车道重度遮挡(受遮挡率大于30%的车辆数量占检测到的车辆总数大于70%,且前前车遮挡率大于70%)、三车道中度遮挡(受遮挡率大于30%的车辆数量占检测到的车辆总数的30%至70%)和三车道重度遮挡(前前车遮挡率大于70%)等场景下的车辆跟踪绑定。
本实施例提供的一种车辆跟踪方法,通过将感知后处理输出的车辆受遮挡率作为输入,设定遮挡率阈值划分被遮挡等级,自适应的将同一车道前方的相互遮挡车辆群绑定为一个整体,并将形成的目标绑定框内包含的多个目标进行精确关联,能够有效减少车辆相互遮挡场景下和多个车辆行驶于不同道路却贴近同一条车道线场景下导致目标之间ID跳变的问题;利用感知得到的本车道及左右同向车道的邻近车辆目标速度与被遮挡的前前车自身的运动估计进行加权,自适应的进行前前车速度估计。利用此时的权重系数结合相应的车辆车速进行更准确的运动估计及更精确的预测位置信息,进行ID匹配。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的车辆跟踪方法的车辆跟踪装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个车辆跟踪装置实施例中的具体限定可以参见上文中对于车辆跟踪方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种车辆跟踪装置,包括:信息获取模块100、遮挡确定模块200、速度更新模块300和信息更新模块400,其中:
信息获取模块100,用于获取当前时刻目标区域内至少两个车辆的车辆信息;
遮挡确定模块200,用于基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;
速度更新模块300,用于基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;
信息更新模块400,用于基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。
在其中一个实施例中,所述速度更新模块300还用于:
根据所述受遮挡车辆的受遮挡率,确定遮挡等级;所述遮挡等级包括重度遮挡和非重度遮挡;
若所述遮挡等级为重度遮挡,则基于所述受遮挡车辆的受遮挡率以及受遮挡车辆第一速度和所述受遮挡车辆周围车辆的第二速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,当所述目标区域内为一条车道时,所述受遮挡车辆周围车辆包括自车车道上的遮挡车辆;所述遮挡车辆为自车车道上距离自身车辆最近的车辆;所述至少两个车辆的车辆信息包括所述遮挡车辆和所述受遮挡车辆的车辆信息;所述受遮挡车辆周围车辆包括遮挡车辆;所述速度更新模块300还用于:
基于所述受遮挡率,确定遮挡车辆的第一权重,和所述受遮挡车辆的第二权重;
基于所述遮挡车辆的第一速度和第一权重,以及所述受遮挡车辆的第二速度和第二权重,计算所述受遮挡车辆的第一估计速度;
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,当所述目标区域内为两条及以上的车道时,所述受遮挡车辆周围车辆包括自车车道上的遮挡车辆以及侧边车道上的侧边车辆,所述受遮挡车辆周围车辆的第二速度包括遮挡车辆的第二遮挡速度以及侧边车辆的第二侧边速度;所述速度更新模块300还用于:
获取当前时刻遮挡车辆与前一时刻所述受遮挡车辆的第一距离以及当前时刻侧边车辆与前一时刻所述受遮挡车辆的第二距离;所述第一距离包括第一横向距离和第一纵向距离;所述第二距离包括第二横向距离和第二纵向距离;
基于所述第一距离以及第二距离,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,包括:
基于所述第一距离以及第二距离确定第一距离系数和第二距离系数;当目标区域为两条车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;当目标区域为三条及以上的车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和的二倍值,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;
基于所述第一距离系数和第二距离系数,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,其中,所述第一权重为第二距离系数除以第一距离系数与第二距离系数之和的二倍值;所述第二权重为二分之一;所述第三权重为第一距离系数除以第一距离系数与第二距离系数之和的二倍值;
基于所述遮挡车辆的第二遮挡速度和第一权重、所述受遮挡车辆的第一速度和第二权重,以及所述侧边车辆的第二侧边速度和第三权重,计算所述受遮挡车辆的第一估计速度;
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,所述速度更新模块300还用于:
获取前一时刻所述受遮挡车辆的第三速度;
基于所述第一估计速度,确定所述第一估计速度对应的速度变化阈值;
根据所述第一估计速度以及第三速度,确定速度变化量;
若所述速度变化量小于等于速度变化阈值,则基于所述第一估计速度,更新所述受遮挡车辆的第一速度;
若所述速度变化量大于速度变化阈值,则基于所述第三速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,所述速度更新模块300还用于:
若所述速度变化量大于速度变化阈值的连续时刻数量在预设第一数量范围内,则基于所述第三速度,更新所述受遮挡车辆的第一速度;
若所述速度变化量大于速度变化阈值的连续时刻数量大于预设第一数量范围,则基于第三速度进行卡尔曼滤波估计得到第二估计速度,基于第二估计速度,更新所述受遮挡车辆的第一速度;且若连续预设时刻下所述第一估计速度与所述第二估计速度小于等于相对误差阈值,则基于第一估计速度,更新所述受遮挡车辆的第一速度。
在其中一个实施例中,所述信息更新模块400还用于:
获取当前时刻目标区域内的车道信息;
基于所述车道信息和所述至少两个车辆的车辆信息,确定至少一个车道的目标检测区域;
基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联。
在其中一个实施例中,所述信息更新模块400还用于:
基于关联失败车辆的图像,计算当前时刻的关联失败车辆的第一深度特征;基于所述关联失败车辆的历史图像,计算所述关联失败车辆在多个历史时刻保存的第二深度特征;
计算所述第一深度特征与每个第二深度特征的余弦距离,得到代价矩阵;
获取所述关联失败车辆的预测结果和检测结果,基于所述预测结果与检测结果,计算距离相似度;
基于所述距离相似度对所述代价矩阵进行调整;
基于匈牙利算法和所述代价矩阵,将关联失败车辆与所述车辆信息进行目标关联。
上述车辆跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车辆跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述任一实施例的车辆跟踪方法:
获取当前时刻目标区域内至少两个车辆的车辆信息;
基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;
基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;
基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例的车辆跟踪方法:
获取当前时刻目标区域内至少两个车辆的车辆信息;
基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;
基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;
基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种车辆跟踪方法,其特征在于,所述车辆跟踪方法包括:
获取当前时刻目标区域内至少两个车辆的车辆信息;
基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;
基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:根据所述受遮挡车辆的受遮挡率,确定遮挡等级;所述遮挡等级包括重度遮挡和非重度遮挡;若所述遮挡等级为重度遮挡,则基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;
基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。
2.根据权利要求1所述的车辆跟踪方法,其特征在于,当所述目标区域内为一条车道时,所述受遮挡车辆周围车辆包括自车车道上的遮挡车辆;所述遮挡车辆为自车车道上距离自身车辆最近的车辆;所述至少两个车辆的车辆信息包括所述遮挡车辆和所述受遮挡车辆的车辆信息;所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:
基于所述受遮挡率,确定遮挡车辆的第一权重,和所述受遮挡车辆的第二权重;
基于所述遮挡车辆的第一速度和第一权重,以及所述受遮挡车辆的第二速度和第二权重,计算所述受遮挡车辆的第一估计速度;
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度。
3.根据权利要求1所述的车辆跟踪方法,其特征在于,当所述目标区域内为两条及以上的车道时,所述受遮挡车辆周围车辆包括自车车道上的遮挡车辆以及侧边车道上的侧边车辆,所述受遮挡车辆周围车辆的第二速度包括遮挡车辆的第二遮挡速度以及侧边车辆的第二侧边速度;所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:
获取当前时刻遮挡车辆与前一时刻所述受遮挡车辆的第一距离以及当前时刻侧边车辆与前一时刻所述受遮挡车辆的第二距离;所述第一距离包括第一横向距离和第一纵向距离;所述第二距离包括第二横向距离和第二纵向距离;
基于所述第一距离以及第二距离,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,包括:
基于所述第一距离以及第二距离确定第一距离系数和第二距离系数;当目标区域为两条车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;当目标区域为三条及以上的车道时,第一距离系数为第一横向距离与第一纵向距离的差值的平方和的二倍值,第二距离系数为第二横向距离与第二纵向距离的差值的平方和;
基于所述第一距离系数和第二距离系数,确定遮挡车辆的第一权重、所述受遮挡车辆的第二权重,以及侧边车辆的第三权重,其中,所述第一权重为第二距离系数除以第一距离系数与第二距离系数之和的二倍值;所述第二权重为二分之一;所述第三权重为第一距离系数除以第一距离系数与第二距离系数之和的二倍值;
基于所述遮挡车辆的第二遮挡速度和第一权重、所述受遮挡车辆的第一速度和第二权重,以及所述侧边车辆的第二侧边速度和第三权重,计算所述受遮挡车辆的第一估计速度;
基于所述受遮挡车辆的第一估计速度,更新所述受遮挡车辆的第一速度。
4.根据权利要求3所述的车辆跟踪方法,其特征在于,所述基于所述第一估计速度,更新所述受遮挡车辆的第一速度包括:
获取前一时刻所述受遮挡车辆的第三速度;
基于所述第一估计速度,确定所述第一估计速度对应的速度变化阈值;
根据所述第一估计速度以及第三速度,确定速度变化量;
若所述速度变化量小于等于速度变化阈值,则基于所述第一估计速度,更新所述受遮挡车辆的第一速度;
若所述速度变化量大于速度变化阈值,则基于所述第三速度,更新所述受遮挡车辆的第一速度。
5.根据权利要求4所述的车辆跟踪方法,其特征在于,所述基于所述第三速度,更新所述受遮挡车辆的第一速度包括:
若所述速度变化量大于速度变化阈值的连续时刻数量在预设第一数量范围内,则基于所述第三速度,更新所述受遮挡车辆的第一速度;
若所述速度变化量大于速度变化阈值的连续时刻数量大于预设第一数量范围,则基于第三速度进行卡尔曼滤波估计得到第二估计速度,基于第二估计速度,更新所述受遮挡车辆的第一速度;且若连续预设时刻下所述第一估计速度与所述第二估计速度小于等于相对误差阈值,则基于第一估计速度,更新所述受遮挡车辆的第一速度。
6.根据权利要求1所述的车辆跟踪方法,其特征在于,所述基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息包括:
获取当前时刻目标区域内的车道信息;
基于所述车道信息和所述至少两个车辆的车辆信息,确定至少一个车道的目标检测区域;
基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联。
7.根据权利要求6所述的车辆跟踪方法,其特征在于,所述基于每个所述目标检测区域,将对应目标检测区域中的待匹配车辆与所述车辆信息进行目标关联之后包括:
基于关联失败车辆的图像,计算当前时刻的关联失败车辆的第一深度特征;基于所述关联失败车辆的历史图像,计算所述关联失败车辆在多个历史时刻保存的第二深度特征;
计算所述第一深度特征与每个第二深度特征的余弦距离,得到代价矩阵;
获取所述关联失败车辆的预测结果和检测结果,基于所述预测结果与检测结果,计算距离相似度;
基于所述距离相似度对所述代价矩阵进行调整;
基于匈牙利算法和所述代价矩阵,将关联失败车辆与所述车辆信息进行目标关联。
8.一种车辆跟踪装置,其特征在于,所述装置包括:
信息获取模块,用于获取当前时刻目标区域内至少两个车辆的车辆信息;
遮挡确定模块,用于基于所述车辆信息,确定受遮挡车辆和所述受遮挡车辆的受遮挡率;
速度更新模块,用于基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;所述基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度包括:根据所述受遮挡车辆的受遮挡率,确定遮挡等级;所述遮挡等级包括重度遮挡和非重度遮挡;若所述遮挡等级为重度遮挡,则基于所述受遮挡车辆的受遮挡率以及受遮挡车辆的第一速度和所述受遮挡车辆周围车辆的第二速度,更新受遮挡车辆的第一速度;
信息更新模块,用于基于更新后的所述第一速度,对所述目标区域内至少两个车辆的车辆信息进行重新匹配,更新当前时刻所述至少两个车辆的车辆信息。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410158383.9A CN117689907B (zh) | 2024-02-04 | 2024-02-04 | 车辆跟踪方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410158383.9A CN117689907B (zh) | 2024-02-04 | 2024-02-04 | 车辆跟踪方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117689907A CN117689907A (zh) | 2024-03-12 |
CN117689907B true CN117689907B (zh) | 2024-04-30 |
Family
ID=90130552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410158383.9A Active CN117689907B (zh) | 2024-02-04 | 2024-02-04 | 车辆跟踪方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117689907B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109314763A (zh) * | 2016-06-14 | 2019-02-05 | 日产自动车株式会社 | 车间距离推定方法及车间距离推定装置 |
CN112009473A (zh) * | 2020-10-16 | 2020-12-01 | 福瑞泰克智能系统有限公司 | 一种自适应巡航目标选择的方法、装置和计算机设备 |
CN112130551A (zh) * | 2019-06-25 | 2020-12-25 | 北京百度网讯科技有限公司 | 无人驾驶车辆的行进路径和速度决策规划方法及装置 |
JP2021527591A (ja) * | 2018-06-18 | 2021-10-14 | ズークス インコーポレイテッド | オクルージョン認識プランニング |
CN113674328A (zh) * | 2021-07-14 | 2021-11-19 | 南京邮电大学 | 一种多目标车辆跟踪方法 |
KR20220014193A (ko) * | 2020-07-28 | 2022-02-04 | 숭실대학교산학협력단 | 가려짐을 고려한 차량 추적 방법 및 장치 |
CN114529584A (zh) * | 2022-02-21 | 2022-05-24 | 沈阳理工大学 | 一种基于无人机航拍的单目标车辆跟踪方法 |
CN115171377A (zh) * | 2022-06-30 | 2022-10-11 | 武汉工程大学 | 一种基于深度学习的交通流参数检测分析方法和装置 |
WO2023065395A1 (zh) * | 2021-10-18 | 2023-04-27 | 中车株洲电力机车研究所有限公司 | 作业车辆检测与跟踪方法和系统 |
CN116205948A (zh) * | 2023-01-06 | 2023-06-02 | 厦门科拓软件研发中心有限公司 | 车辆跟踪匹配方法、装置、电子设备和存储介质 |
CN117197796A (zh) * | 2023-09-08 | 2023-12-08 | 浙江大华技术股份有限公司 | 一种车辆遮挡识别方法及相关装置 |
CN117237883A (zh) * | 2023-09-18 | 2023-12-15 | 北京理工大学 | 一种基于视觉目标跟踪的交通违法行为检测方法及系统 |
CN117261941A (zh) * | 2023-09-28 | 2023-12-22 | 北京百度网讯科技有限公司 | 控制方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11718290B2 (en) * | 2021-01-12 | 2023-08-08 | Argo AI, LLC | Methods and systems for safe out-of-lane driving |
-
2024
- 2024-02-04 CN CN202410158383.9A patent/CN117689907B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109314763A (zh) * | 2016-06-14 | 2019-02-05 | 日产自动车株式会社 | 车间距离推定方法及车间距离推定装置 |
JP2021527591A (ja) * | 2018-06-18 | 2021-10-14 | ズークス インコーポレイテッド | オクルージョン認識プランニング |
CN112130551A (zh) * | 2019-06-25 | 2020-12-25 | 北京百度网讯科技有限公司 | 无人驾驶车辆的行进路径和速度决策规划方法及装置 |
KR20220014193A (ko) * | 2020-07-28 | 2022-02-04 | 숭실대학교산학협력단 | 가려짐을 고려한 차량 추적 방법 및 장치 |
CN112009473A (zh) * | 2020-10-16 | 2020-12-01 | 福瑞泰克智能系统有限公司 | 一种自适应巡航目标选择的方法、装置和计算机设备 |
CN113674328A (zh) * | 2021-07-14 | 2021-11-19 | 南京邮电大学 | 一种多目标车辆跟踪方法 |
WO2023065395A1 (zh) * | 2021-10-18 | 2023-04-27 | 中车株洲电力机车研究所有限公司 | 作业车辆检测与跟踪方法和系统 |
CN114529584A (zh) * | 2022-02-21 | 2022-05-24 | 沈阳理工大学 | 一种基于无人机航拍的单目标车辆跟踪方法 |
CN115171377A (zh) * | 2022-06-30 | 2022-10-11 | 武汉工程大学 | 一种基于深度学习的交通流参数检测分析方法和装置 |
CN116205948A (zh) * | 2023-01-06 | 2023-06-02 | 厦门科拓软件研发中心有限公司 | 车辆跟踪匹配方法、装置、电子设备和存储介质 |
CN117197796A (zh) * | 2023-09-08 | 2023-12-08 | 浙江大华技术股份有限公司 | 一种车辆遮挡识别方法及相关装置 |
CN117237883A (zh) * | 2023-09-18 | 2023-12-15 | 北京理工大学 | 一种基于视觉目标跟踪的交通违法行为检测方法及系统 |
CN117261941A (zh) * | 2023-09-28 | 2023-12-22 | 北京百度网讯科技有限公司 | 控制方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
基于卡尔曼滤波器的抗遮挡车辆跟踪算法;李文姣;秦勃;;计算机应用;20121231(S2);180-182+185 * |
基于图像运动区域的车辆遮挡跟踪算法;葛嘉琦;李勃;陈启美;;南京大学学报(自然科学版);20070130(01);73-79 * |
基于时间的高速公路路侧标志遮挡概率计算模型研究;冯移冬;姜明;;公路;20151225(12);180-186 * |
Also Published As
Publication number | Publication date |
---|---|
CN117689907A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111002980B (zh) | 基于深度学习的道路障碍物轨迹预测方法和系统 | |
CN112292711B (zh) | 关联lidar数据和图像数据 | |
EP4152204A1 (en) | Lane line detection method, and related apparatus | |
KR102292277B1 (ko) | 자율 주행 차량에서 3d cnn 네트워크를 사용하여 솔루션을 추론하는 lidar 위치 추정 | |
CN110415277B (zh) | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 | |
CN109334563B (zh) | 一种基于道路前方行人和骑行者的防碰撞预警方法 | |
EP2960858B1 (en) | Sensor system for determining distance information based on stereoscopic images | |
CN112907678B (zh) | 车载相机外参姿态动态估计方法、装置、计算机设备 | |
CN114879695A (zh) | 轨迹匹配方法、装置、设备和介质 | |
CN106203381A (zh) | 一种行车中障碍物检测方法与装置 | |
CN114049382A (zh) | 一种智能网联环境下目标融合跟踪方法、系统和介质 | |
CN110992424B (zh) | 基于双目视觉的定位方法和系统 | |
CN114248778B (zh) | 移动设备的定位方法和定位装置 | |
Verma et al. | Vehicle detection, tracking and behavior analysis in urban driving environments using road context | |
CN110864670B (zh) | 目标障碍物位置的获取方法和系统 | |
CN113092807B (zh) | 基于多目标跟踪算法的城市高架道路车辆测速方法 | |
CN117689907B (zh) | 车辆跟踪方法、装置、计算机设备和存储介质 | |
Zhao et al. | Improving Autonomous Vehicle Visual Perception by Fusing Human Gaze and Machine Vision | |
CN116358528A (zh) | 地图更新方法、地图更新装置、自移动设备及存储介质 | |
CN116385997A (zh) | 一种车载障碍物精确感知方法、系统及存储介质 | |
CN114817765A (zh) | 基于地图的目标航向消歧 | |
CN110544266B (zh) | 一种基于结构稀疏表示的交通目标跟踪方法 | |
RILL | Intuitive Estimation of Speed using Motion and Monocular Depth Information | |
CN115994934B (zh) | 数据时间对齐方法、装置以及域控制器 | |
CN117830974B (zh) | 一种基于车轮的车速确定方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |