CN118015047A - 多目标跟踪方法、装置、设备及存储介质 - Google Patents
多目标跟踪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118015047A CN118015047A CN202410411054.0A CN202410411054A CN118015047A CN 118015047 A CN118015047 A CN 118015047A CN 202410411054 A CN202410411054 A CN 202410411054A CN 118015047 A CN118015047 A CN 118015047A
- Authority
- CN
- China
- Prior art keywords
- tracking
- target
- detection
- current frame
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 313
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供多目标跟踪方法、装置、设备及存储介质，该方法包括：对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列；基于检测对象在上一帧的跟踪对象序列预测检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度对当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到当前帧修正的跟踪对象序列；对当前帧的检测对象序列和当前帧修正的跟踪对象序列进行相似度计算，确定相似度矩阵；基于匹配算法对相似度矩阵进行计算，确定匹配关系，基于匹配关系更新当前帧修正的跟踪对象序列，并基于当前帧更新后的跟踪对象序列重复执行以上跟踪过程。本发明通过考虑摄像头俯仰引入的误差，提高了目标跟踪的准确度。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种多目标跟踪方法、装置、设备及存储介质。
背景技术
多目标跟踪是计算机视觉领域中重要的研究方向之一，可广泛应用于交通管理、安防监控、自动驾驶、机器人以及体育赛事等诸多领域。其目标是从动态视频中同时跟踪多个感兴趣的目标，包括行人、车辆、动物等。
在多目标跟踪的过程中，需要首先在视频帧中检测感兴趣的目标，并对其进行标记。然后，通过目标的运动模式、外观特征等信息，利用跟踪算法进行目标的轨迹预测和更新。
目前，常用的多目标跟踪算法为DeepSORT算法，然而，当该算法应用在车载摄像头上时，因为道路颠簸常使得易造成目标跟踪失败。
发明内容
本发明实施例提供了一种多目标跟踪方法、装置、设备及存储介质，以解决目前的多目标跟踪算法应用在车载摄像头上时无法准确地跟踪的问题。
第一方面，本发明实施例提供了一种多目标跟踪方法，包括：
对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列，其中，检测对象序列包括检测对象的检测边界框和检测类别；
基于检测对象在上一帧的跟踪对象序列预测检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度，对当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到当前帧修正的跟踪对象序列；其中，跟踪对象序列包括检测对象的跟踪边界框和跟踪类别；上一帧为当前帧相邻的前一帧；
对当前帧的检测对象序列和当前帧修正的跟踪对象序列进行相似度计算，确定相似度矩阵；
基于匹配算法对相似度矩阵进行计算，确定匹配关系，基于匹配关系更新当前帧修正的跟踪对象序列，并基于当前帧更新后的跟踪对象序列重复执行以上跟踪过程，直至完成对待跟踪视频序列的跟踪。
在一种可能的实现方式中，基于摄像头的俯仰程度对当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，包括：
基于道路消失点在像素坐标系下的纵坐标的变化量和预设测量误差，对当前帧的跟踪对象序列中的原始的跟踪边界框的坐标进行修正。
在一种可能的实现方式中，原始的跟踪边界框包括原始的跟踪边界框的中心点纵坐标；
基于道路消失点在像素坐标系下的纵坐标的变化量和预设测量误差，对当前帧的跟踪对象序列中的原始的跟踪边界框的坐标进行修正，包括：
基于车道线检测模型分别对上一帧和当前帧进行车道线检测的检测结果，确定道路消失点在像素坐标系下的纵坐标的变化量；
基于道路消失点在像素坐标系下的纵坐标的变化量和预设测量误差，对当前帧的跟踪对象序列中的原始的跟踪边界框的中心点纵坐标进行修正。
在一种可能的实现方式中，相似度包括类别相似度、外观特征相似度和重叠度；
对当前帧的检测对象序列和当前帧修正的跟踪对象序列进行相似度计算，确定相似度矩阵，包括：
基于目标检测对象的检测类别和目标跟踪对象的跟踪类别，确定目标检测对象和目标跟踪对象的类别相似度；其中，目标检测对象为当前帧的检测对象序列中的任意一个对象，目标跟踪对象为当前帧的更新的跟踪对象序列中的任意一个对象；
基于目标检测对象的外观特征向量和目标跟踪对象的外观特征向量，确定目标检测对象和目标跟踪对象的外观特征相似度；
基于目标检测对象的检测边界框和目标跟踪对象的跟踪边界框，确定目标检测对象和目标跟踪对象的重叠度；
基于目标检测对象和目标跟踪对象的类别相似度、外观特征相似度和重叠度，确定目标检测对象和目标跟踪对象的相似度；
基于所有目标检测对象和目标跟踪对象的相似度，确定相似度矩阵。
在一种可能的实现方式中，基于目标检测对象的外观特征向量和目标跟踪对象的外观特征向量，确定目标检测对象和目标跟踪对象的外观特征相似度，包括：
将目标检测对象的检测边界框内的图像和目标跟踪对象的跟踪边界框内的图像缩放为相同尺寸的第一目标检测对象和第一目标跟踪对象；
分别对第一目标检测对象和第一目标跟踪对象进行特征提取，得到第一目标检测对象的外观特征向量和第一目标跟踪对象的外观特征向量；
若目标检测对象的检测类别和目标跟踪对象的跟踪类别一致或相似，则基于第一目标检测对象的外观特征向量和第一目标跟踪对象的外观特征向量的余弦相似度，确定目标检测对象和目标跟踪对象的外观特征相似度；否则，确定目标检测对象和目标跟踪对象的外观特征相似度为预设相似度值。
在一种可能的实现方式中，检测边界框包括检测边界框的中心点横坐标、中心点纵坐标、检测边界框的像素宽度以及检测边界框的像素高度；跟踪边界框包括跟踪边界框的中心点横坐标、中心点纵坐标、跟踪边界框的像素宽度以及跟踪边界框的像素高度；
目标检测对象和目标跟踪对象的重叠度的计算公式为：
；
其中，；
xi为第i个目标检测对象的检测边界框的中心点横坐标，yi为第i个目标检测对象的检测边界框的中心点纵坐标，wi为第i个目标检测对象的检测边界框的像素宽度，hi为第i个目标检测对象的检测边界框的像素高度，为第j个目标跟踪对象修正的跟踪边界框的中心点横坐标，/>为第j个目标跟踪对象修正的跟踪边界框的中心点纵坐标，/>为第j个目标跟踪对象修正的跟踪边界框的像素宽度，/>为第j个目标跟踪对象修正的跟踪边界框的像素高度，/>为预设测量误差。
在一种可能的实现方式中，目标检测对象和目标跟踪对象的相似度的计算公式为：
；
d 1(i，j)为第i个目标检测对象与第j个目标跟踪对象的类别相似度，d 2(i，j)为第i个目标检测对象与第j个目标跟踪对象的外观特征相似度，d 3(i，j)为第i个目标检测对象与第j个目标跟踪对象的重叠度，λ为权重系数。
第二方面，本发明实施例提供了一种多目标跟踪装置，包括：
目标检测模块，用于对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列，其中，检测对象序列包括检测对象的检测边界框和检测类别；
跟踪检测模块，用于基于检测对象在上一帧的跟踪对象序列预测检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度，对当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到当前帧修正的跟踪对象序列；其中，跟踪对象序列包括检测对象的跟踪边界框和跟踪类别；上一帧为当前帧相邻的前一帧；
相似度确定模块，用于对当前帧的检测对象序列和当前帧修正的跟踪对象序列进行相似度计算，得到相似度矩阵；
更新序列模块，用于基于匹配算法对相似度矩阵进行计算，确定匹配关系，并基于匹配关系更新当前帧修正的跟踪对象序列，并基于当前帧更新后的跟踪对象序列重复执行以上跟踪过程，直至完成对待跟踪视频序列的跟踪。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
本发明实施例提供一种多目标跟踪方法、装置、设备及存储介质，首先，对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列；然后，基于检测对象在上一帧修正的跟踪对象序列预测检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度对当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到当前帧修正的跟踪对象序列。接着，对当前帧的检测对象序列和当前帧修正的跟踪对象序列进行相似度计算，确定相似度矩阵。最后，基于匹配算法对相似度矩阵进行计算，确定匹配关系，基于匹配关系更新当前帧修正的跟踪对象序列，并基于当前帧更新后的跟踪对象序列重复执行以上跟踪过程，直至完成对待跟踪视频序列的跟踪。本发明在预测得到检测对象在当前帧的跟踪对象序列后，考虑到摄像头俯仰对原始的跟踪边界框的影响，对原始的跟踪边界框进行了修正，从而避免了由于车载摄像头受到道路颠簸的影响而造成无法准确地跟踪，进而提高了目标跟踪的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多目标跟踪方法的实现流程图；
图2是本发明实施例提供的多目标跟踪装置的结构示意图；
图3是本发明实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
正如背景技术中所描述的，目前主流的多目标跟踪算法都是基于追踪-检测（Tracking-by-Detecton）策略，即基于目标检测的结果来进行目标跟踪。目前常用的多目标跟踪算法DeepSORT运用的就是这个策略，被结合到多种不同的检测器上实现目标跟踪。
DeepSORT是一种基于深度学习的多目标跟踪算法，它结合了卷积神经网络和卡尔曼滤波器，可以在复杂的场景中实现高效准确的多目标跟踪。DeepSORT主要应用于行人跟踪，然而，当将DeepSORT应用在车载摄像头上时，常常由于道路颠簸造成跟踪失败。
为了解决现有技术问题，本发明实施例提供了一种多目标跟踪方法、装置、设备及存储介质。本发明实施例可以是适用于基于本车车载摄像头对前方车辆或行人等多物体进行检测的情况。本车可以是乘用车，也可以是商用车，对此不进行任何限定。下面首先对本发明实施例所提供的多目标跟踪方法进行介绍。
参见图1，其示出了本发明实施例提供的多目标跟踪方法的实现流程图，详述如下：
S110、对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列。
检测对象序列包括检测对象的检测边界框和检测类别。
当前帧可以是待跟踪视频序列中的任意一帧，检测对象可以包括多个检测对象，检测对象序列中包括每个检测对象的检测边界框和检测类别。检测对象可以为行人、车辆、护栏、锥桶等。检测边界框用于显示检测对象在当前帧的位置。检测边界框可以是矩形的，由矩形左上角以及右下角的x和y坐标决定。也可以使用检测边界框的中心坐标以及框的宽度和高度确定其位置。
检测类别用于显示检测对象的类别信息，如快递三轮车、自行车、摩托车、箱式货车等都采用不同标签代表检测对象所属的类别。
在一些实施例中，对待跟踪视频序列中的当前帧进行目标检测时，可以采用目标检测器进行检测。
目标检测器中的目标检测网络可以为Faster R-CNN、YOLO、SSD等，此处不做限定。目标检测器对输入的当前帧进行目标检测，识别出图像中的所有物体，并输出它们的检测边界框和检测类别。
在一些实施例中，为了使每个检测对象都输出最佳的检测边界框，在目标检测器输出当前帧的多个检测对象后，需要去除冗余的检测框。可以对目标检测器输出的结果进行非极大值抑制处理，并将处理后的每个检测对象的检测结果存放在检测对象序列中。
对于每个检测对象的检测边界框，可以表示为(。其中，/>分别是检测边界框的中心点横坐标、中心点纵坐标、检测边界框的像素宽度以及检测边界框的像素高度。
S120、基于检测对象在上一帧的跟踪对象序列，预测检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度，对当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到当前帧修正的跟踪对象序列。
跟踪对象序列包括检测对象的跟踪边界框和跟踪类别，上一帧为当前帧相邻的前一帧。
在一些实施例中，可以基于目标跟踪器中的卡尔曼滤波器对当前帧的跟踪对象序列进行预测。
在此实施例中，对于上一帧的跟踪对象序列中的每一个对象，可以用一个向量来描述它在上一帧的状态(，其中，/>分别为该对象在上一帧中相对本车的横向距离、纵向距离、横向速度以及纵向速度，/>是该对象相对于本车的纵向加速度。
目标跟踪器中的特征提取网络可以是预先训练的卷积神经网络，如ResNet、VGG等。
当前帧的跟踪对象序列中的每个对象均对应一个卡尔曼滤波器，卡尔曼滤波器基于上一帧的跟踪对象序列，对该对象当前帧的进行状态估计，得到该对象基于纵向匀加速运动和横向匀速运动模型预测出的该对象在当前帧的状态(。根据该对象在当前帧的状态即可计算出该对象的跟踪边界框为(/>，/>,=/>，且/>，/>，其中，/>分别是跟踪边界框的像素宽度和像素高度，/>分别是跟踪边界框框的中心点横坐标和中心点纵坐标，/>分别为该检测对象在当前帧相对本车的纵向距离，纵向速度以及相对于本车的纵向加速度，/>分别是检测边界框的像素宽度以及检测边界框的像素高度，f和u是摄像头的内参，/>是当前帧摄像头的俯仰角，/>是横摆角，H是摄像头的安装高度，/>是连续两帧图像之间的时间间隔，/>是当前帧道路消失点的纵坐标。
车辆在行驶过程中由于路面的颠簸，需要考虑到路面颠簸或摄像头俯仰对原始跟踪边界框的影响，对提取到原始跟踪边界框进行修正。
在一些实施例中，可以基于道路消失点在像素坐标系下的纵坐标的变化量和预设测量误差，对当前帧的跟踪对象序列中的原始的跟踪边界框的坐标进行修正。
像素坐标系是像素在图像中的位置。要确定像素在图像中的坐标，首先需要确定图像的坐标系。以图像左上角为原点建立以像素为单位的直接坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。
道路消失点是指路面上与车辆前进方向一致的平行线的交点，通过确定道路消失点的位置，可以确定跟踪边界框在像素坐标系下的误差。具体的确定过程如下：
S1210、可以基于车道线检测模型分别对上一帧和当前帧进行车道线检测的检测结果，确定道路消失点在像素坐标系下的纵坐标的变化量。
车道线检测模型，如使用超快车道线检测模型（Ultra-Fast-Lane-Detection）检测车道线，可以得到多条车道线的位置和类别，车道线的位置可以用二维点坐标序列表示。对每条车道线进行拟合，若某条车道线上的点的个数少于阈值，则认为该条车道线拟合无效，否则该条车道线拟合有效。若有效车道线的条数大于等于条数阈值时（一般设置为2），则认为当前帧的道路为结构化道路，否则为非结构化道路。
对于结构化道路可以根据车道线相交求出上一帧的道路消失点和当前帧道路消失点/>，而对于非结构化道路，基于纹理方向可以求出上一帧的道路消失点/>和当前帧的道路消失点/>。从而确定出消失点纵坐标的变化量，其中/>。
S1220、基于道路消失点在像素坐标系下的纵坐标的变化量和预设测量误差，对当前帧的跟踪对象序列中的原始的跟踪边界框的中心点纵坐标进行修正。
道路消失点在像素坐标系下的纵坐标的变化量为，预设测量误差为ε，ε可以根据不同的摄像头进行设置。如当前帧的跟踪边界框为(/>，那么修正后的跟踪边界框为(/>。
道路消失点的确定方式有很多种，如可以利用空间变换技术，把图像上的信息变换到一个有限的空间上去，如高斯球变换、Hough变换。还可以使用统计估计的方法，根据图像上边缘特征点估计直线参数，由这些参数计算出消失点。
S130、对当前帧的检测对象序列和在当前帧修正的跟踪对象序列进行相似度计算，得到相似度矩阵。
在一些实施例中，相似度包括类别相似度、外观特征相似度和重叠度。可以基于类别相似度、外观特征相似度和重叠度确定相似度，具体的确定过程如下：
S1310、基于目标检测对象的检测类别和目标跟踪对象的跟踪类别，确定目标检测对象和目标跟踪对象的类别相似度。
其中，目标检测对象为当前帧中的检测对象序列中的任意一个对象，目标跟踪对象为当前帧中的跟踪对象序列中的任意一个对象。
在此实施例中，若目标跟踪对象的类别为label_1，而目标检测对象的类别为label_2。若这两个对象对目标网络来说从外观上难以区分，网络也容易将这两个类别混淆，则将外观上相似的类别相似度定为义0~1之间的数l，其中0<l<1。例如，快递三轮车与厢式货车的车辆从车尾方向上看区别不大，就可以将三轮车和箱式货车车尾的类别相似度定为0.9，将自行车骑手和摩托车骑手的类别相似度定为0.8。
若两个目标的类别不一致也不相似，则将类别相似度设置为0。若两个目标的类别一致时，则设置类别相似度为1。
类别相似度s的计算公式如下所示，
其中，0<l<1，表示两个目标的类别相似但不一致，而表示两个目标的类别不一致也不相似，/>则表示两个目标的类别一致。
基于目标检测对象的检测类别和目标跟踪对象的检测类别，即可确定该目标检测对象和该目标跟踪对象的类别相似度。
S1320、基于目标检测对象的外观特征向量和目标跟踪对象的外观特征向量，确定目标检测对象和目标跟踪对象的外观特征相似度。
在此实施例中，首先，将目标检测对象的检测边界框内的图像和目标跟踪对象的跟踪边界框内的图像缩放为相同尺寸的第一目检测对象和第一目标跟踪对象。
然后，分别对第一目标检测对象和第一目标跟踪对象进行特征提取，得到第一目标检测对象的外观特征向量和第一目标跟踪对象的外观特征向量。其中，外观特征向量可以包括颜色、边缘、纹理等。
最后，当目标检测对象的检测类别和目标跟踪对象的跟踪类别一致或相似时，基于第一目标检测对象的外观特征向量和第一目标跟踪对象的外观特征向量的余弦相似度，确定该目标检测对象和该目标跟踪对象的外观特征相似度。当目标检测对象的检测类别和目标跟踪对象的跟踪类别不一致也不相似时，确定目标检测对象和目标跟踪对象的外观特征相似度为预设相似度值。如，预设相似度值可以设置为0，或者设置为一个固定值。
余弦相似度又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度被大量用于对比：如人脸对比、声音对比、物体对比等，来快速判断两个图片或者两段声音的相似度，进而判断是不是来自同一个人、同一个声音或物体。
S1330、基于目标检测对象的检测边界框和目标跟踪对象的跟踪边界框，确定目标检测对象和目标跟踪对象的重叠度。
在此实施例中，检测边界框包括检测边界框的中心点横坐标、中心点纵坐标、检测边界框的像素宽度以及检测边界框的像素高度。跟踪边界框包括跟踪边界框的中心点横坐标、中心点纵坐标、跟踪边界框的像素宽度以及跟踪边界框的像素高度。
检测边界框(，xi为第i个目标检测对象的检测边界框的中心点横坐标，yi为第i个目标检测对象的检测边界框的中心点纵坐标，wi为第i个目标检测对象的检测边界框的像素宽度，hi为第i个目标检测对象的检测边界框的像素高度。
修正后的跟踪边界框为(，/>为第j个目标跟踪对象的跟踪边界框的中心点横坐标，/>为第j个目标跟踪对象的修正后的跟踪边界框的中心点纵坐标，/>为第j个目标跟踪对象的跟踪边界框的像素宽度，/>为第j个目标跟踪对象的跟踪边界框的像素高度，/>为测量误差，如可以设置为3。/>，/>为消失点纵坐标的变化量，/>为修正前的跟踪边界框的中心点纵坐标。
基于检测边界框(和修正后的跟踪边界框(/>，确定最大的IoU。
；
其中，。
S1340、基于目标检测对象和目标跟踪对象的类别相似度、外观特征相似度和重叠度，确定目标检测对象和目标跟踪对象的相似度。
目标检测对象和目标跟踪对象的相似度矩阵的计算公式为：
；
d1(i，j)为第i个目标检测对象与第j个目标跟踪对象的类别相似度，d2(i，j)为第i个目标检测对象与第j个目标跟踪对象的外观特征相似度，d3(i，j)为第i个目标检测对象与第j个目标跟踪对象的重叠度IoU，λ为权重系数，λ的值的设定有多种方法，可以基于经验值设定，也可以根据具体的应用场景设定。
S1350、基于所有目标检测对象和目标跟踪对象的相似度，确定相似度矩阵。
在得到目标检测对象和目标跟踪对象的相似度后，就可以确定所有目标检测对象和目标跟踪对象的相似度组成的相似度矩阵。
从而，即可基于上述步骤得到对检测对象在当前帧中的检测对象序列和在当前帧中的跟踪对象序列的相似度矩阵。
本发明中在考虑目标检测对象和目标跟踪对象的相似度时，通过同时考虑了类别相似度、外观特征相似度和重叠度，对比与传统的deepsort跟踪器能够适用于更复杂场景的目标跟踪，而传统的deepsort主要用来做行人跟踪。
在使用外观特征相似度时，可以在跟踪目标短时间遮挡时保留目标的历史信息。
S140、基于匹配算法对相似度矩阵进行计算，确定匹配关系，基于匹配关系更新当前帧修正的跟踪对象序列，并基于当前帧更新后的跟踪对象序列重复执行以上跟踪过程，直至完成对待跟踪视频序列的跟踪。
在本实施例中，可以使用KM算法对相似度矩阵计算，求出最优匹配关系。其中，相似度矩阵中存放着n×m个相似度值，n是检测对象序列中检测对象的个数，m是跟踪对象序列中跟踪对象的个数，相似度c(i，j)位于相似度矩阵的第i行第j列。
KM算法是一种计算机算法，功能是求完备匹配下的最大权匹配，可以根据相似度矩阵找到全局最优匹配。
本发明提供的多目标跟踪方法，首先，对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列；然后，基于检测对象在上一帧的跟踪对象序列预测检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度，对当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到当前帧修正的跟踪对象序列。接着，对当前帧的检测对象序列和当前帧修正的跟踪对象序列进行相似度计算，确定相似度矩阵。最后，基于匹配算法对相似度矩阵进行计算，确定匹配关系，基于匹配关系更新当前帧的跟踪对象序列，并基于当前帧更新后的跟踪对象序列重复执行以上跟踪过程，直至完成对待跟踪视频序列的跟踪。本发明在预测得到检测对象在当前帧的跟踪对象序列后，考虑到摄像头俯仰对原始的跟踪边界框的影响，对原始的跟踪边界框进行了修正，从而避免了由于车载摄像头受到道路颠簸的影响而造成无法准确地跟踪，进而提高了目标跟踪的准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
基于上述实施例提供的多目标跟踪方法，相应地，本发明还提供了应用于该多目标跟踪方法的多目标跟踪装置的具体实现方式。请参见以下实施例。
如图2所示，提供了一种多目标跟踪装置200，包括：
目标检测模块210，用于对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列，其中，检测对象序列包括检测对象的检测边界框和检测类别；
跟踪检测模块220，用于基于检测对象在上一帧的跟踪对象序列预测检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度，对当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到当前帧修正的跟踪对象序列；其中，跟踪对象序列包括检测对象的跟踪边界框和跟踪类别；上一帧为当前帧相邻的前一帧；
相似度确定模块230，用于对当前帧的检测对象序列和当前帧修正的跟踪对象序列进行相似度计算，得到相似度矩阵；
更新序列模块240，用于基于匹配算法对相似度矩阵进行计算，确定匹配关系，并基于匹配关系更新当前帧修正的跟踪对象序列，并基于当前帧更新后的跟踪对象序列重复执行以上跟踪过程，直至完成对待跟踪视频序列的跟踪。
在一种可能的实现方式中，跟踪检测模块220，用于基于道路消失点在世界坐标系下的纵坐标的变化量和预设测量误差，对当前帧的跟踪对象序列中的原始的跟踪边界框的坐标进行修正。
在一种可能的实现方式中，原始跟踪边界框包括原始跟踪边界框的中心点纵坐标；
跟踪检测模块220，用于基于车道线检测模型分别对上一帧和当前帧进行车道线检测的检测结果，确定道路消失点在世界坐标系下的纵坐标的变化量；
基于道路消失点在世界坐标系下的纵坐标的变化量和预设测量误差，对当前帧的跟踪对象序列中的原始的跟踪边界框的中心点纵坐标进行修正。
在一种可能的实现方式中，相似度包括类别相似度、外观特征相似度和重叠度；
相似度确定模块230，用于基于目标检测对象的检测类别和目标跟踪对象的跟踪类别，确定目标检测对象和目标跟踪对象的类别相似度；其中，目标检测对象为当前帧的检测对象序列中的任意一个对象，目标跟踪对象为当前帧的更新的跟踪对象序列中的任意一个对象；
基于目标检测对象的外观特征向量和目标跟踪对象的外观特征向量，确定目标检测对象和目标跟踪对象的外观特征相似度；
基于目标检测对象的检测边界框和目标跟踪对象的跟踪边界框，确定目标检测对象和目标跟踪对象的重叠度；
基于目标检测对象和目标跟踪对象的类别相似度、外观特征相似度和重叠度，确定目标检测对象和目标跟踪对象的相似度；
基于所有目标检测对象和目标跟踪对象的相似度，确定相似度矩阵。
在一种可能的实现方式中，相似度确定模块230，用于将目标检测对象的检测边界框内的图像和目标跟踪对象的跟踪边界框内的图像缩放为相同尺寸的第一目标检测对象和第一目标跟踪对象；
分别对第一目标检测对象和第一目标跟踪对象进行特征提取，得到第一目标检测对象的外观特征向量和第一目标跟踪对象的外观特征向量；
若目标检测对象的检测类别和目标跟踪对象的跟踪类别一致或相似，则基于第一目标检测对象的外观特征向量和第一目标跟踪对象的外观特征向量的余弦相似度，确定目标检测对象和目标跟踪对象的外观特征相似度；否则，确定目标检测对象和目标跟踪对象的外观特征相似度为预设相似度值。
在一种可能的实现方式中，检测边界框包括检测边界框的中心点横坐标、中心点纵坐标、检测边界框的像素宽度以及检测边界框的像素高度；跟踪边界框包括跟踪边界框的中心点横坐标、中心点纵坐标、跟踪边界框的像素宽度以及跟踪边界框的像素高度；
目标检测对象和目标跟踪对象的重叠度的计算公式为：
；
其中，；
xi为第i个目标检测对象的检测边界框的中心点横坐标，yi为第i个目标检测对象的检测边界框的中心点纵坐标，wi为第i个目标检测对象的检测边界框的像素宽度，hi为第i个目标检测对象的检测边界框的像素高度，为第j个目标跟踪对象修正的跟踪边界框的中心点横坐标，/>为第j个目标跟踪对象的修正跟踪边界框的中心点纵坐标，/>为第j个目标跟踪对象修正的跟踪边界框的像素宽度，/>为第j个目标跟踪对象修正的跟踪边界框的像素高度，/>为预设测量误差。
在一种可能的实现方式中，目标检测对象和目标跟踪对象的相似度的计算公式为：
；
d1(i，j)为第i个目标检测对象与第j个目标跟踪对象的类别相似度，d2(i，j)为第i个目标检测对象与第j个目标跟踪对象的外观特征相似度，d3(i，j)为第i个目标检测对象与第j个目标跟踪对象的重叠度，λ为权重系数。
图3是本发明实施例提供的电子设备的示意图。如图3所示，该实施例的电子设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述各个多目标跟踪方法实施例中的步骤，例如图3所示的步骤110至步骤140。或者，所述处理器30执行所述计算机程序32时实现上述各装置实施例中各模块的功能，例如图2所示模块210至240的功能。
示例性的，所述计算机程序32可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器31中，并由所述处理器30执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述电子设备3中的执行过程。例如，所述计算机程序32可以被分割成图3所示的模块210至240。
所述电子设备3可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可以是所述电子设备3的内部存储单元，例如电子设备3的硬盘或内存。所述存储器31也可以是所述电子设备3的外部存储设备，例如所述电子设备3上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器31还可以既包括所述电子设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个多目标跟踪方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种多目标跟踪方法，其特征在于，包括：
对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列，其中，所述检测对象序列包括检测对象的检测边界框和检测类别；
基于所述检测对象在上一帧的跟踪对象序列，预测所述检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度，对所述当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到所述当前帧修正的跟踪对象序列；其中，所述跟踪对象序列包括所述检测对象的跟踪边界框和跟踪类别，所述上一帧为所述当前帧的前一帧；
对所述当前帧的检测对象序列和所述当前帧修正的跟踪对象序列进行相似度计算，确定相似度矩阵；
基于匹配算法对所述相似度矩阵进行计算，确定匹配关系，基于所述匹配关系更新所述当前帧修正的跟踪对象序列，并基于所述当前帧更新后的跟踪对象序列重复执行以上跟踪过程，直至完成对所述待跟踪视频序列的跟踪。
2.如权利要求1所述的多目标跟踪方法，其特征在于，所述基于摄像头的俯仰程度对所述当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，包括：
基于道路消失点在像素坐标系下的纵坐标的变化量和预设测量误差，对所述当前帧的跟踪对象序列中的原始的跟踪边界框的坐标进行修正。
3.如权利要求2所述的多目标跟踪方法，其特征在于，所述原始的跟踪边界框包括原始的跟踪边界框的中心点纵坐标；
所述基于道路消失点在像素坐标系下的纵坐标的变化量和预设测量误差，对所述当前帧的跟踪对象序列中的原始的跟踪边界框的坐标进行修正，包括：
基于车道线检测模型分别对所述上一帧和所述当前帧进行车道线检测的检测结果，确定所述道路消失点在像素坐标系下的纵坐标的变化量；
基于所述道路消失点在像素坐标系下的纵坐标的变化量和所述预设测量误差，对所述当前帧的跟踪对象序列中的原始的跟踪边界框的中心点纵坐标进行修正。
4.如权利要求1所述的多目标跟踪方法，其特征在于，所述相似度包括类别相似度、外观特征相似度和重叠度；
所述对所述当前帧的检测对象序列和所述当前帧修正的跟踪对象序列进行相似度计算，确定相似度矩阵，包括：
基于目标检测对象的检测类别和目标跟踪对象的跟踪类别，确定所述目标检测对象和所述目标跟踪对象的类别相似度；其中，所述目标检测对象为所述当前帧的检测对象序列中的任意一个对象，所述目标跟踪对象为所述当前帧的更新的跟踪对象序列中的任意一个对象；
基于目标检测对象的外观特征向量和目标跟踪对象的外观特征向量，确定所述目标检测对象和所述目标跟踪对象的外观特征相似度；
基于目标检测对象的检测边界框和目标跟踪对象的跟踪边界框，确定所述目标检测对象和所述目标跟踪对象的重叠度；
基于所述目标检测对象和所述目标跟踪对象的类别相似度、外观特征相似度和重叠度，确定所述目标检测对象和目标跟踪对象的相似度；
基于所有所述目标检测对象和目标跟踪对象的相似度，确定所述相似度矩阵。
5.如权利要求4所述的多目标跟踪方法，其特征在于，所述基于目标检测对象的外观特征向量和目标跟踪对象的外观特征向量，确定所述目标检测对象和所述目标跟踪对象的外观特征相似度，包括：
将所述目标检测对象的检测边界框内的图像和所述目标跟踪对象的跟踪边界框内的图像缩放为相同尺寸的第一目标检测对象和第一目标跟踪对象；
分别对所述第一目标检测对象和所述第一目标跟踪对象进行特征提取，得到所述第一目标检测对象的外观特征向量和所述第一目标跟踪对象的外观特征向量；
若所述目标检测对象的检测类别和所述目标跟踪对象的跟踪类别一致或相似，则基于所述第一目标检测对象的外观特征向量和所述第一目标跟踪对象的外观特征向量的余弦相似度，确定所述目标检测对象和所述目标跟踪对象的外观特征相似度；否则，确定所述目标检测对象和所述目标跟踪对象的外观特征相似度为预设相似度值。
6.如权利要求4所述的多目标跟踪方法，其特征在于，所述检测边界框包括检测边界框的中心点横坐标、中心点纵坐标、检测边界框的像素宽度以及检测边界框的像素高度；所述跟踪边界框包括跟踪边界框的中心点横坐标、中心点纵坐标、跟踪边界框的像素宽度以及跟踪边界框的像素高度；
所述目标检测对象和所述目标跟踪对象的重叠度的计算公式为：
；
其中，；
xi为第i个目标检测对象的检测边界框的中心点横坐标，yi为第i个目标检测对象的检测边界框的中心点纵坐标，wi为第i个目标检测对象的检测边界框的像素宽度，hi为第i个目标检测对象的检测边界框的像素高度，为第j个目标跟踪对象修正的跟踪边界框的中心点横坐标，/>为第j个目标跟踪对象修正的跟踪边界框的中心点纵坐标，/>为第j个目标跟踪对象修正的跟踪边界框的像素宽度，/>为第j个目标跟踪对象修正的跟踪边界框的像素高度，/>为预设测量误差。
7.如权利要求4所述的多目标跟踪方法，其特征在于，所述目标检测对象和所述目标跟踪对象的相似度的计算公式为：
；
d 1(i，j)为第i个目标检测对象与第j个目标跟踪对象的类别相似度，d 2(i，j)为第i个目标检测对象与第j个目标跟踪对象的外观特征相似度，d 3(i，j)为第i个目标检测对象与第j个目标跟踪对象的重叠度，λ为权重系数。
8.一种多目标跟踪装置，其特征在于，包括：
目标检测模块，用于对待跟踪视频序列中的当前帧进行目标检测，生成检测对象在当前帧的检测对象序列，其中，所述检测对象序列包括检测对象的检测边界框和检测类别；
跟踪检测模块，用于基于所述检测对象在上一帧的跟踪对象序列预测所述检测对象在当前帧的跟踪对象序列，并基于摄像头的俯仰程度，对所述当前帧的跟踪对象序列中的原始的跟踪边界框进行修正，得到所述当前帧修正的跟踪对象序列；其中，所述跟踪对象序列包括所述检测对象的跟踪边界框和跟踪类别；所述上一帧为所述当前帧相邻的前一帧；
相似度确定模块，用于对所述当前帧的检测对象序列和所述当前帧修正的跟踪对象序列进行相似度计算，得到相似度矩阵；
更新序列模块，用于基于匹配算法对所述相似度矩阵进行计算，确定匹配关系，并基于所述匹配关系更新所述当前帧修正的跟踪对象序列，并基于所述当前帧更新后的跟踪对象序列重复执行以上跟踪过程，直至完成对所述待跟踪视频序列的跟踪。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410411054.0A CN118015047A (zh) | 2024-04-08 | 2024-04-08 | 多目标跟踪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410411054.0A CN118015047A (zh) | 2024-04-08 | 2024-04-08 | 多目标跟踪方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118015047A true CN118015047A (zh) | 2024-05-10 |
Family
ID=90954947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410411054.0A Pending CN118015047A (zh) | 2024-04-08 | 2024-04-08 | 多目标跟踪方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118015047A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040252864A1 (en) * | 2003-06-13 | 2004-12-16 | Sarnoff Corporation | Method and apparatus for ground detection and removal in vision systems |
| DE102017120899A1 (de) * | 2017-09-11 | 2019-03-14 | Connaught Electronics Ltd. | Verfahren und System zum automatischen Parken eines Fahrzeugs in einer Notsituation |
| CN109857133A (zh) * | 2019-03-26 | 2019-06-07 | 台州学院 | 基于双目视觉的多旋翼无人机选择性避障控制方法 |
| CN112734811A (zh) * | 2021-01-21 | 2021-04-30 | 清华大学 | 一种障碍物跟踪方法、障碍物跟踪装置和芯片 |
| CN116139430A (zh) * | 2023-04-17 | 2023-05-23 | 中国矿业大学 | 一种无人机智能消防灭火系统及方法 |
| CN116703979A (zh) * | 2023-06-20 | 2023-09-05 | 天津所托瑞安汽车科技有限公司 | 目标跟踪方法、装置、终端及存储介质 |
-
2024
- 2024-04-08 CN CN202410411054.0A patent/CN118015047A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040252864A1 (en) * | 2003-06-13 | 2004-12-16 | Sarnoff Corporation | Method and apparatus for ground detection and removal in vision systems |
| DE102017120899A1 (de) * | 2017-09-11 | 2019-03-14 | Connaught Electronics Ltd. | Verfahren und System zum automatischen Parken eines Fahrzeugs in einer Notsituation |
| CN109857133A (zh) * | 2019-03-26 | 2019-06-07 | 台州学院 | 基于双目视觉的多旋翼无人机选择性避障控制方法 |
| CN112734811A (zh) * | 2021-01-21 | 2021-04-30 | 清华大学 | 一种障碍物跟踪方法、障碍物跟踪装置和芯片 |
| CN116139430A (zh) * | 2023-04-17 | 2023-05-23 | 中国矿业大学 | 一种无人机智能消防灭火系统及方法 |
| CN116703979A (zh) * | 2023-06-20 | 2023-09-05 | 天津所托瑞安汽车科技有限公司 | 目标跟踪方法、装置、终端及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| "浙江大学学报(工学版)第43卷2009年总目次", 浙江大学学报(工学版), no. 12, 15 December 2009 (2009-12-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4191532A1 (en) | Image annotation | |
| EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
| EP2958054B1 (en) | Hazard detection in a scene with moving shadows | |
| CN108638999B (zh) | 一种基于360度环视输入的防碰撞预警系统及方法 | |
| CN104517111B (zh) | 车道线检测方法、系统、车道偏离预警方法及系统 | |
| CN107038723B (zh) | 棒状像素估计方法和系统 | |
| CN112507862B (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及系统 | |
| US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
| CN111563474A (zh) | 运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统 | |
| CN114705121B (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
| CN112706785B (zh) | 一种自动驾驶车辆行驶环境认知目标选择方法、装置及存储介质 | |
| JP6038422B1 (ja) | 車両判定装置、車両判定方法及び車両判定プログラム | |
| CN110135377B (zh) | 车路协同中物体运动状态检测方法、装置和服务器 | |
| CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
| CN106599918B (zh) | 车辆追踪方法及系统 | |
| Johnson et al. | Real-time side-slip angle measurements using digital image correlation | |
| CN113516853B (zh) | 一种针对复杂监控场景的多车道车流量检测方法 | |
| CN116863124B (zh) | 车辆姿态确定方法、控制器及存储介质 | |
| CN114898306B (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
| CN113954836A (zh) | 分段式导航换道方法及其系统、计算机设备、存储介质 | |
| CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
| CN114724119B (zh) | 车道线提取方法、检测设备及存储介质 | |
| CN118015047A (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
| CN113834463A (zh) | 基于绝对尺寸的智能车侧方行人/车单目深度测距方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |