CN112562331A - 一种基于视觉感知的他方车辆轨迹预测方法 - Google Patents

一种基于视觉感知的他方车辆轨迹预测方法 Download PDF

Info

Publication number
CN112562331A
CN112562331A CN202011372996.0A CN202011372996A CN112562331A CN 112562331 A CN112562331 A CN 112562331A CN 202011372996 A CN202011372996 A CN 202011372996A CN 112562331 A CN112562331 A CN 112562331A
Authority
CN
China
Prior art keywords
vehicle
target vehicle
target
vehicles
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011372996.0A
Other languages
English (en)
Inventor
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN202011372996.0A priority Critical patent/CN112562331A/zh
Publication of CN112562331A publication Critical patent/CN112562331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications

Abstract

本发明公开了一种基于视觉感知的他方车辆轨迹预测方法，具体为：步骤1：实时采集主车辆车身周围的图像；步骤2：基于当前时刻车身周围的图像，采用改进的目标跟踪算法检测出当前时刻主车辆周围的其他车辆，并判断该其他车辆是否是新出现的车辆，若是新出现的车辆，则当前时刻不对该车辆的轨迹进行预测；步骤3：计算当前时刻其他车辆与主车辆之间的距离；步骤4：预测下一个时刻其他车辆相对于主车辆的位置。本发明减少了计算时间和计算的复杂度，可高效的实现实时预测效果，适用于大部分车辆和智能驾驶场景。

Description

一种基于视觉感知的他方车辆轨迹预测方法
技术领域
本发明属于自动驾驶领域。
背景技术
近年来，大量的主动安全驾驶系统和自动驾驶汽车被开发出来。这些驾驶系统需要保证驾驶员在动态变化的交通环境中的安全，并需要了解未来环境会发生什么变化。无人驾驶关键技术之一是对前方车辆的检测和测距，现有技术针对特定车辆，安全驾驶不仅需要准确识别和定位附近的物体，还需要预测其未来的位置和动作，以便有足够的时间来避免碰撞。
发明内容
发明目的：为了解决上述现有技术存在的问题，本发明提供了一种基于视觉感知的他方车辆轨迹预测方法。
技术方案：本发明提供了一种基于视觉感知的他方车辆轨迹预测方法，具体包括如下步骤：
步骤1：设置在主车辆车身上的单目相机实时采集车身周围的图像，以主车辆的中心作为原点建立车身坐标系；
步骤2：基于当前时刻车身周围的图像，采用改进的目标跟踪算法检测出当前时刻主车辆周围的其他车辆，将该其他车辆作为目标车辆，计算当前时刻第t个目标车辆与前K个历史时刻的第k个历史时刻中第y个目标车辆相似度，其中k＝1，2，…，K，t＝1，2，…M，M为当前时刻中目标车辆的总个数，y＝1，2，…，N，其中N为第k个历史时刻中所有目标车辆的总个数；基于相似度判断两个目标车辆是否为同一个车辆，若是，则转步骤3，否则，认为该当前时刻第t个目标车辆为新的目标车辆，当前时刻不预测该新的目标车辆的轨迹；
步骤3：计算当前时刻第t个目标车辆与主车辆的距离，得到该第t个目标车辆在车身坐标系下的位置；
步骤4：根据步骤3中的位置，以及第t个目标车辆的速度得到下一个时刻该第t个目标车辆在车身坐标系下的位置。
进一步的，所述步骤2具体为：
步骤2.1：采用yolo5算法检测当前时刻图像中的目标车辆，并根据目标车辆的大小采用矩形框bbox框出该目标车辆；采用卡尔曼滤波得到bbox框的具体位置；
步骤2.2：提取当前时刻第t个目标车辆的表面特征向量，并计算该表面特征向量与第k个历史时刻中第y个目标车辆的表面特征向量的余弦距离costfeature，所述表面特征向量包括：汽车颜色特征向量，汽车纹理特征向量，汽车形状特征向量；
步骤2.3：基于余弦距离计算当前时刻第t个目标车辆与第k个历史时刻中第y个目标车辆的相似度Cost：
步骤2.4：基于当前时刻目标车辆的总个数M和第k个历史时刻目标车辆的总个数N，构建M×N的矩阵，该矩阵中第t行第y列的元素为当前时刻第t个目标车辆与第k个历史时刻中第y个目标车辆之间的相似度；
步骤2.5：将M×N的矩阵中值最大的元素所对应的行和列删除，并将该元素对应的两个目标车辆作为同一个目标车辆；继续在(M-1)×(N-1)的矩阵中选择值最大的元素，重复步骤2.5，直至矩阵中所有元素的值均小于预设的阈值。
进一步的，所述步骤2.3中相似度Cost为：
Cost＝alpha1×costIOU+alpha2×costfeature
其中，alpha1和alpha2均为系数，costIOU＝area/(area1+area2-area)，其中area为当前时刻第t个目标车辆的bbox与第k个历史时刻中第y个目标车辆的bbox的重叠区域的面积，area1为当前时刻第t个目标车辆的bbox的面积，area2为第k个历史时刻中第y个目标车辆的bbox的面积。
进一步的，所述步骤3具体为：根据小孔成像原理和三角形相似定理计算当前时刻第t个目标车辆与主车辆的距离。
进一步的，所述步骤4中基于改进的目标跟踪算法得到第t个目标车辆的历史行驶时间和在车身坐标系下的历史坐标，得到该第t个目标车辆在车身坐标系下x轴上的平均速度，y轴上的平均速度，z轴上的平均速度，从而得到下一个时刻该第t个目标车辆在车身坐标系下的坐标。
有益效果：本专利依靠视觉感知，结合深度学习2d+3d检测算法，多目标跟踪算法，单目测距算法，轨迹预测算法。不需要预测他方车辆的运动方向，减少了计算时间和计算的复杂度，可高效的实现实时预测效果。适用于大部分车辆和智能驾驶场景。
附图说明
图1本发明的流程图；
图2为本发明构建M×N的矩阵图；
图3为本发明的三角形相似法原理图。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
如图1所示本实施例提供了一种基于视觉感知的他方车辆轨迹预测方法，具体包括如下步骤：
步骤1：设置在主车辆车身上的单目相机实时采集车身周围的图像，以主车辆的中心作为原点建立车身坐标系；
步骤2：基于当前时刻车身周围的图像，采用改进的目标跟踪算法检测出当前时刻主车辆周围的其他车辆，将该其他车辆作为目标车辆，计算当前时刻第t个目标车辆与前K个历史时刻的第k个历史时刻中第y个目标车辆相似度，其中k＝1，2，…，K，t＝1，2，…M,M为当前时刻中目标车辆的总个数，y＝1,2,…,N，其中N为第k个历史时刻中所有目标车辆的总个数；基于相似度判断两个目标车辆是否为同一个车辆，若是，则转步骤3，否则，认为该当前时刻第t个目标车辆为新的目标车辆，当前时刻不预测该新的目标车辆的轨迹；
步骤3：计算当前时刻第t个目标车辆与主车辆的距离，得到该第t个目标车辆在车身坐标系下的位置；
步骤4：根据步骤3中的位置，以及第t个目标车辆的速度得到下一个时刻该第t个目标车辆在车身坐标系下的位置。
优选的，所述步骤2具体包括：
他方车辆目标检测
打开主车辆车身上的单目相机拍摄周围场景图像，采用开源目标检测框架yolo5算法检测场景图像中的车辆目标，获取场景中，每个车辆的2d检测框bbox，并且提取出车辆表面的特征向量，之后依据3d还原网络恢复出车辆的真实长宽高信息和朝向；所述表面特征向量为256维特征向量包括：汽车颜色特征向量，汽车纹理特征向量，汽车形状特征向量；
他方车辆(目标车辆)跟踪
由于yolo5目标检测的bbox具有观测误差，为了使观测结果更精确，采用kalman滤波，使结果接近与真实值。
计算余弦匹配代价：
设当前时刻第t个目标车辆的表面特征向量rt，第k个历史时刻中第y个目标车辆的表面特征向量ry，则余弦匹配代价：
计算匹配代价，所述匹配代价包括车辆目标位置bbox的相似度和车辆表面特征的相似度；
车辆目标位置bbox的相似度costIOU计算：
costIOU＝area/(area1+area2-area)
其中area为当前时刻第t个目标车辆的bbox与第k个历史时刻中第y个目标车辆的bbox的重叠区域的面积，area1为当前时刻第t个目标车辆的bbox的面积，area2为第k个历史时刻中第y个目标车辆的bbox的面积。
余弦值越大表示越相似。
融合bbox和表面特征的相似度计算。
Cost＝alpha1×costIOU+alpha2×costfeature
alpha1和alpha2均为系数，本实施例中alpha1＝0.4，alpha2＝0.6，
基于最优匹配的方法，设当前时刻有M个目标车辆，第k个历史时刻目标车辆的总个数为N，那么具有M×N个相似度代价值，即生成一个M×N的矩阵如图2所示。
首先，找出矩阵中最大的元素，如图2所示，如果x23的得分最高，将此时的第2个车辆和历史时刻的第3个车辆关联，认为是同一个目标车辆；其次，将x23所在的行和列上的元素丢弃。之后，找矩阵中剩余元素的最大值，如x71，将此时第7个车辆和历史时刻的第1个车辆关联，认为是同一个目标车辆，依次类推，直至矩阵中所有元素的值均小于预设的阈值。
优选的，所述步骤3具体为：
计算当前时刻他方车辆(目标车辆)距离我方车辆的位置。
如图3所示，采用单目测距的方法，P03为光心，即镜头的中心；P02为物体上点的入射光线；PB为相机的焦距，h为物体在图像上的高度，单位pixel；H为物体实际的高度，单位m；
3.1将主车辆中心位置为车身坐标系的原点，将相机安装位置转换成车身坐标系下的坐标位置；在测距之前先对相机进行标定，畸变矫正；
3.2依据小孔成像模型原理，根据三角形相似方法，
Figure BDA0002806678300000051
为目标车辆距离我方车辆相机的位置，fx为焦距在x轴方向上的投影；fy为焦距在y轴方向上的投影。Zx，Zy为目标车辆在相机坐标系下的位置。
优选的，所述步骤4具体为：
根据当前时刻和上一时刻的他方车辆距离我方车辆的位置,预测下一秒以内他方车辆的轨迹.由于这个场景主要是预测道路上行驶的车辆,采用基于运动学模型的方法进行预测.由于我们的算法可以达到实时的效果在40ms左右,假设在这段时间内车辆是匀速运动的，速度为v,则下一时刻目标车辆在x轴的位置pos：
pos＝p2+v*T
v＝(p2-p1)/(t2-t1)
其中,p2为当前时刻目标车辆在x轴的位置,t2为当前时刻,p1为上一时刻目标车辆在x轴的位置,t1为上一时刻,T为当前时刻到下一个时刻的时间间隔。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于视觉感知的他方车辆轨迹预测方法，其特征在于，具体包括如下步骤：
步骤1：设置在主车辆车身上的单目相机实时采集车身周围的图像，以主车辆的中心作为原点建立车身坐标系；
步骤2：基于当前时刻车身周围的图像，采用改进的目标跟踪算法检测出当前时刻主车辆周围的其他车辆，将该其他车辆作为目标车辆，计算当前时刻第t个目标车辆与前K个历史时刻的第k个历史时刻中第y个目标车辆相似度，其中k＝1，2，…，K，t＝1，2，…M，M为当前时刻中目标车辆的总个数，y＝1，2，…，N，其中N为第k个历史时刻中所有目标车辆的总个数；基于相似度判断两个目标车辆是否为同一个车辆，若是，则转步骤3，否则，认为该当前时刻第t个目标车辆为新的目标车辆，当前时刻不预测该新的目标车辆的轨迹；
步骤3：计算当前时刻第t个目标车辆与主车辆的距离，得到该第t个目标车辆在车身坐标系下的位置；
步骤4：根据步骤3中的位置，以及第t个目标车辆的速度得到下一个时刻该第t个目标车辆在车身坐标系下的位置。
2.根据权利要求1所述的一种基于视觉感知的他方车辆轨迹预测方法，其特征在于，所述步骤2具体为：
步骤2.1：采用yolo5算法检测当前时刻图像中的目标车辆，并根据目标车辆的大小采用矩形框bbox框出该目标车辆；采用卡尔曼滤波得到bbox框的具体位置；
步骤2.2：提取当前时刻第t个目标车辆的表面特征向量，并计算该表面特征向量与第k个历史时刻中第y个目标车辆的表面特征向量的余弦距离costfeature，所述表面特征向量包括：汽车颜色特征向量，汽车纹理特征向量，汽车形状特征向量；
步骤2.3：基于余弦距离计算当前时刻第t个目标车辆与第k个历史时刻中第y个目标车辆的相似度Cost；
步骤2.4：基于当前时刻目标车辆的总个数M和第k个历史时刻目标车辆的总个数N，构建M×N的矩阵，该矩阵中第t行第y列的元素为当前时刻第t个目标车辆与第k个历史时刻中第y个目标车辆之间的相似度；
步骤2.5：将M×N的矩阵中值最大的元素所对应的行和列删除，并将该元素对应的两个目标车辆作为同一个目标车辆；继续在(M-1)×(N-1)的矩阵中选择值最大的元素，重复步骤2.5，直至矩阵中所有元素的值均小于预设的阈值。
3.根据权利要求2所述的一种基于视觉感知的他方车辆轨迹预测方法，其特征在于，所述步骤2.3中相似度Cost为：
Cost＝alpha1×costIOU+alpha2×costfeature
其中，alpha1和alpha2均为系数，costIOU＝area/(area1+area2-area)，其中area为当前时刻第t个目标车辆的bbox与第k个历史时刻中第y个目标车辆的bbox的重叠区域的面积，area1为当前时刻第t个目标车辆的bbox的面积，area2为第k个历史时刻中第y个目标车辆的bbox的面积。
4.根据权利要求1所述的一种基于视觉感知的他方车辆轨迹预测方法，其特征在于，所述步骤3具体为：根据小孔成像原理和三角形相似定理计算当前时刻第t个目标车辆与主车辆的距离。
5.根据权利要求1所述的一种基于视觉感知的他方车辆轨迹预测方法，其特征在于，所述步骤4中基于改进的目标跟踪算法得到第t个目标车辆的历史行驶时间和在车身坐标系下的历史坐标，得到该第t个目标车辆在车身坐标系下x轴上的平均速度，y轴上的平均速度，z轴上的平均速度，从而得到下一个时刻该第t个目标车辆在车身坐标系下的坐标。
CN202011372996.0A 2020-11-30 2020-11-30 一种基于视觉感知的他方车辆轨迹预测方法 Pending CN112562331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011372996.0A CN112562331A (zh) 2020-11-30 2020-11-30 一种基于视觉感知的他方车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011372996.0A CN112562331A (zh) 2020-11-30 2020-11-30 一种基于视觉感知的他方车辆轨迹预测方法

Publications (1)

Publication Number Publication Date
CN112562331A true CN112562331A (zh) 2021-03-26

Family

ID=75045314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011372996.0A Pending CN112562331A (zh) 2020-11-30 2020-11-30 一种基于视觉感知的他方车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN112562331A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法
US20170021863A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc System and method for verifying road position information for a motor vehicle
CN108803617A (zh) * 2018-07-10 2018-11-13 深圳大学 轨迹预测方法及装置
CN108846854A (zh) * 2018-05-07 2018-11-20 中国科学院声学研究所 一种基于运动预测与多特征融合的车辆跟踪方法
CN109376572A (zh) * 2018-08-09 2019-02-22 同济大学 基于深度学习的交通视频中实时车辆检测与轨迹跟踪方法
CN109532662A (zh) * 2018-11-30 2019-03-29 广州鹰瞰信息科技有限公司 一种车距及碰撞时间计算方法及装置
CN109631915A (zh) * 2018-12-19 2019-04-16 百度在线网络技术（北京）有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
CN111667512A (zh) * 2020-05-28 2020-09-15 浙江树人学院（浙江树人大学） 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN111932580A (zh) * 2020-07-03 2020-11-13 江苏大学 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
US20170021863A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc System and method for verifying road position information for a motor vehicle
CN108846854A (zh) * 2018-05-07 2018-11-20 中国科学院声学研究所 一种基于运动预测与多特征融合的车辆跟踪方法
CN108803617A (zh) * 2018-07-10 2018-11-13 深圳大学 轨迹预测方法及装置
CN109376572A (zh) * 2018-08-09 2019-02-22 同济大学 基于深度学习的交通视频中实时车辆检测与轨迹跟踪方法
CN109532662A (zh) * 2018-11-30 2019-03-29 广州鹰瞰信息科技有限公司 一种车距及碰撞时间计算方法及装置
CN109631915A (zh) * 2018-12-19 2019-04-16 百度在线网络技术（北京）有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
CN111667512A (zh) * 2020-05-28 2020-09-15 浙江树人学院（浙江树人大学） 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN111932580A (zh) * 2020-07-03 2020-11-13 江苏大学 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法

Similar Documents

Publication Publication Date Title
CN112639821B (zh) 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
US11682129B2 (en) Electronic device, system and method for determining a semantic grid of an environment of a vehicle
JP3895238B2 (ja) 障害物検出装置及びその方法
US7684590B2 (en) Method of recognizing and/or tracking objects
US5937079A (en) Method for stereo image object detection
CN111932580A (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
EP2372642B1 (en) Method and system for detecting moving objects
WO2020097840A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
US20040125207A1 (en) Robust stereo-driven video-based surveillance
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
EP2960858A1 (en) Sensor system for determining distance information based on stereoscopic images
EP3803790B1 (en) Motion segmentation in video from non-stationary cameras
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
CN111292369A (zh) 激光雷达的伪点云数据生成方法
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
Badino et al. Stereo-based free space computation in complex traffic scenarios
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
WO2022017320A1 (zh) 障碍物信息获取方法、避障方法、移动装置及计算机可读存储介质
CN117519168A (zh) 一种基于视觉图像和激光雷达的机器人导航避障方法
CN114170499A (zh) 目标检测方法、跟踪方法、装置、视觉传感器和介质
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN112562331A (zh) 一种基于视觉感知的他方车辆轨迹预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326