CN115797405A - 一种基于车辆轴距的多镜头自适应跟踪方法 - Google Patents

Abstract

本发明公开了一种自适应车辆跨镜头跟踪方法，步骤包括：步骤S1:获取车辆3D检测框以及车辆姿态；步骤S2:获取相机的外参焦距，高度，倾斜角f,h,θ；步骤S3:获取车辆2D检测框的鸟瞰图；步骤S4:根据所述鸟瞰图对车辆轨迹进行处理，获取各个相机坐标系之间的变换矩阵；步骤S5:获取检测目标从一个相机转到另一个相机的鸟瞰图位置；步骤S6:实现两个相机中同一目标相互关联，完成跨镜头跟踪。本发明具有原理简单、适用范围广、易实现、跟踪精度更高等优点。

Description

一种基于车辆轴距的多镜头自适应跟踪方法

技术领域

本发明主要涉及到车辆智能跟踪技术领域，特指一种基于车辆轴距的多镜头自适应跟踪方法。

背景技术

视频目标跟踪是指给定目标在视频中的初始位置，然后输出该目标在视频中的每一个时刻的位置。物体跟踪是计算机视觉中一个重要的问题，通常是视频分析处理的第一步。因此有大量学者从事物体跟踪的研究，以及众多有效的物体跟踪的算法被提出来。

在一些监控场景下，需要在一个复杂的场景下同时跟踪多个物体。多个物体之间的相互遮挡增加了物体跟踪的难度，这一点在车辆的跟踪经常出现。当大量车辆同时出现在摄像设备画面中时，每车辆之间相互重叠使得无法准确的获取其实际位置。

目前多目标追踪方法主要分为两类：基于单摄像头的多目标追踪和基于多摄像相机的多目标的追踪方法。

基于多摄像头的多目标追踪方法，目前主要关注如何进行多摄像头的数据融合，主要有基于摄像设备标定的方法和特征匹配的方法。基于摄像设备标定的方法主要是利用摄像设备投影矩阵，将不同的摄像设备画面投影到同一个画面上。对于基于特征匹配的方法，主要是通过寻找高效的表观特征和时空信息来提高匹配结果。多摄像设备的追踪问题由于不同镜头间有较大的光照和视角差异，相比于单摄像设备的跟踪问题，具有更大的挑战性。由于问题的复杂性，现有的跨摄像头跟踪方法由于各种原因而具有相当的误差。

然而，针对于复杂场景下多个物体的跟踪问题，其中一个有效途径是利用多摄像头监控系统。在多个摄像设备重合的监控区域，可以借助多个摄像设备的信息来较为准确的获取物体的位置。随着传感器和处理器价格的下降，在很多场景下多摄像头配合使用也变得越来越普遍。

多摄像头实时跟踪问题主要有两个部分：摄像头内部的跟踪和跨摄像头跟踪。其中跨摄像头跟踪问题中的重复覆盖区域，以及未覆盖区域的处理方法，基于多摄像头的多目标的跟踪是很有意义的，但同时由于其问题的复杂性，这项工作也具有很大的挑战性。

综上所述，基于多摄像头的多目标追踪方法，目前主要多摄像头的数据融合中，对于基于特征匹配的方法计算量大且效率低，达不到实时性要求，基于设备标定的方法人工工作量大，且抗干扰能力弱，鲁棒性不强。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、适用范围广、易实现、跟踪精度更高的自适应车辆跨镜头跟踪方法。

为解决上述技术问题，本发明采用以下技术方案：

一种自适应车辆跨镜头跟踪方法，其步骤包括：

步骤S1:获取车辆3D检测框以及车辆姿态；

步骤S2:获取相机的外参焦距，高度，倾斜角f,h,θ；

步骤S3:获取车辆2D检测框的鸟瞰图；

步骤S4:根据所述鸟瞰图对车辆轨迹进行处理，获取各个相机坐标系之间的变换矩阵；

步骤S5:获取检测目标从一个相机转到另一个相机的鸟瞰图位置；

步骤S6:实现两个相机中同一目标相互关联，完成跨镜头跟踪。

作为本发明方法的进一步改进：所述步骤S1中，通过摄像头采集道路视频流数据，以视觉中道路行使车辆为目标，采用深度神经网络对车辆进行姿态估计，以获取所述车辆3D检测框以及车辆姿态。

作为本发明方法的进一步改进：所述步骤S3中，根据所述相机的f,h,θ，将所述3D检测框投影在以相机为原点，以地面为坐标平面的笛卡尔坐标系下，则3D检测框将转为2D的检测框呈现俯视视角，再可视化出车辆2D检测框的鸟瞰图。

作为本发明方法的进一步改进：所述步骤S3中对车辆轨迹进行处理包括：

高斯去噪，运动学滤波，卡尔曼平滑；

采用贝塞尔曲线对车辆轨迹进行拟合；

对各个相机时间进行同步，根据所述轨迹求解出各个相机坐标系之间的变换矩阵。

作为本发明方法的进一步改进：所述步骤S5中，将跟踪目标检测结果通过f,h,θ投影到相机平面的鸟瞰视角，再通过相机坐标系的变换矩阵，计算出检测目标从一个相机转到另一个相机的鸟瞰图位置。

作为本发明方法的进一步改进：所述步骤S2的流程包括：

步骤S201：识别检测车辆型号，查询该车型的轴距以及轮距；

步骤S202：检测图像中轮胎中心位置，利用所述检测车辆的姿态，得出各轮胎之间的几何关系；

步骤S203：计算出相机的外参焦距，高度，倾斜角f,h,θ。

作为本发明方法的进一步改进：所述步骤S203中，f,h,θ的具体计算方法为：

其中：argminf(x)为求取使函数取得最小值时x的值；符号“^”表示该变量的估计值，上标“T”表示矩阵的转置矩阵，符号“||”表示该变量的模值，N为一辆车中检测到轮胎的个数；i、j表示第i、j个轮胎；

为世界坐标系下第i个轮胎指向第j个轮胎的方向向量；d为第i个轮胎与第j个轮胎的轴距或者轮距；λ为优化的超参数。

作为本发明方法的进一步改进：所述步骤S4中，所述相机坐标系之间的变换矩阵计算方式为：

已知相机A与相机B之间由以下关系表示；

其中：h函数为匈牙利算法，匹配A，B相机的同时刻对应点，结果是总代价；A为A镜头中的所有点构成矩阵，B为B镜头中的所有点构成矩阵，η为超参数。

作为本发明方法的进一步改进：所述步骤S5中，检测目标投影到鸟瞰图的计算公式为：

其中：X_i，Z_i为鸟瞰平面的坐标，x_i,y_i为图像中像素坐标，

为所述焦距，高度，倾斜角的估计值。

作为本发明方法的进一步改进：所述步骤S6的流程包括：

根据所述计算的目标位置，与相机本身在该位置检测到的目标进行关联融合；

将两个相机中同一目标相互关联，赋予相同的编号；

实现多镜头跟踪编号相同的目标。

与现有技术相比，本发明的优点就在于：

1、本发明的自适应车辆跨镜头跟踪方法，原理简单、适用范围广、易实现，它能降低人工标定参数工作量，增强多相机多目标跟踪的鲁棒性以及提高多目标跟踪精度，解决单镜头跟踪中遮挡重叠时编号切换的问题。

2、本发明的自适应车辆跨镜头跟踪方法，能够根据车辆轴距以及轮距计算出相机的焦距，高度，倾斜角，通过这种方式就能够大大提高跟踪的精度和效率。

3、本发明的自适应车辆跨镜头跟踪方法，根据鸟瞰图优化后轨迹，计算出各相机坐标系转换矩阵，这减小硬件的开销，实时性更好，跟踪准确性更高。

附图说明

图1是本发明方法的流程示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明的自适应车辆跨镜头跟踪方法，其流程包括：

步骤S1:获取车辆3D检测框以及车辆姿态；

通过摄像头采集道路视频流数据，以视觉中道路行使车辆为目标，采用深度神经网络对车辆进行姿态估计，以获取所述车辆3D检测框以及车辆姿态；

步骤S2:获取相机的外参焦距，高度，倾斜角f,h,θ；

步骤S3:获取车辆2D检测框的鸟瞰图；

根据所述相机的f,h,θ，将所述3D检测框投影在以相机为原点，以地面为坐标平面的笛卡尔标系下，则3D检测框将转为2D的检测框呈现俯视视角，再可视化出车辆2D检测框的鸟瞰图；

步骤S4:根据所述鸟瞰图对车辆轨迹进行处理，获取各个相机坐标系之间的变换矩阵；

步骤S5:获取检测目标从一个相机转到另一个相机的鸟瞰图位置；

将跟踪目标检测结果通过f,h,θ投影到相机平面的鸟瞰视角，再通过相机坐标系的变换矩阵，计算出检测目标从一个相机转到另一个相机的鸟瞰图位置；

步骤S6:实现两个相机中同一目标相互关联，完成跨镜头跟踪；

在具体应用实例中，步骤S2的流程包括：

步骤S201：识别检测车辆型号，查询该车型的轴距以及轮距；

步骤S202：检测图像中轮胎中心位置，利用所述检测车辆的姿态，推断出各轮胎之间的几何关系；

步骤S203：计算出相机的外参焦距，高度，倾斜角f,h,θ。

在具体应用实例中，所述步骤S203中，f,h,θ的具体计算方法为：

其中：argminf(x)为求取使函数取得最小值时x的值；符号“^”表示该变量的估计值，上标“T”表示矩阵的转置矩阵，符号“||”表示该变量的模值，N为一辆车中检测到轮胎的个数；i、j表示第i、j个轮胎；

为世界坐标系下第i个轮胎指向第j个轮胎的方向向量；d为第i个轮胎与第j个轮胎的轴距或者轮距；λ为优化的超参数。

在具体应用实例中，所述步骤S3中对车辆轨迹进行处理包括：

高斯去噪，运动学滤波，卡尔曼平滑；

采用贝塞尔曲线对车辆轨迹进行拟合；

再对各个相机时间进行同步，根据所述轨迹求解出各个相机坐标系之间的变换矩阵。

在具体应用实例中，所述步骤S4中，相机坐标系之间的变换矩阵计算方式为：

已知相机A与相机B之间可由以下关系表示；

其中：h函数为匈牙利算法，匹配A，B相机的同时刻对应点，结果是总代价；A为A镜头中的所有点构成矩阵，B为B镜头中的所有点构成矩阵，η为超参数。

在具体应用实例中，所述步骤S5中，检测目标投影到鸟瞰图的计算公式为：

其中：X_i，Z_i为鸟瞰平面的坐标，x_i,y_i为图像中像素坐标，

为所述焦距，高度，倾斜角的估计值。

在具体应用实例中，所述步骤S6中包括：

根据所述计算的目标位置，与相机本身在该位置检测到的目标进行关联融合；

将两个相机中同一目标相互关联，赋予相同的编号；

实现多镜头跟踪编号相同的目标。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种自适应车辆跨镜头跟踪方法，其特征在于，其步骤包括：

步骤S1:获取车辆3D检测框以及车辆姿态；

步骤S2:获取相机的外参焦距，高度，倾斜角f,h,θ；

步骤S3:获取车辆2D检测框的鸟瞰图；

步骤S4:根据所述鸟瞰图对车辆轨迹进行处理，获取各个相机坐标系之间的变换矩阵；

步骤S5:获取检测目标从一个相机转到另一个相机的鸟瞰图位置；

步骤S6:实现两个相机中同一目标相互关联，完成跨镜头跟踪。

2.根据权利要求1所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S1中，通过摄像头采集道路视频流数据，以视觉中道路行使车辆为目标，采用深度神经网络对车辆进行姿态估计，以获取所述车辆3D检测框以及车辆姿态。

3.根据权利要求1所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S3中，根据所述相机的f,h,θ，将所述3D检测框投影在以相机为原点，以地面为坐标平面的笛卡尔标系下，则3D检测框将转为2D的检测框呈现俯视视角，再可视化出车辆2D检测框的鸟瞰图。

4.根据权利要求3所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S3中对车辆轨迹进行处理包括：

高斯去噪，运动学滤波，卡尔曼平滑；

采用贝塞尔曲线对车辆轨迹进行拟合；

对各个相机时间进行同步，根据所述轨迹求解出各个相机坐标系之间的变换矩阵。

5.根据权利要求1所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S5中，将跟踪目标检测结果通过f,h,θ投影到相机平面的鸟瞰视角，再通过相机坐标系的变换矩阵，计算出检测目标从一个相机转到另一个相机的鸟瞰图位置。

6.根据权利要求1-5中任意一项所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S2的流程包括：

步骤S201：识别检测车辆型号，查询该车型的轴距以及轮距；

步骤S202：检测图像中轮胎中心位置，利用所述检测车辆的姿态，得出各轮胎之间的几何关系；

步骤S203：计算出相机的外参焦距，高度，倾斜角f,h,θ。

7.根据权利要求6所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S203中，f,h,θ的具体计算方法为：

其中：argminf(x)为求取使函数取得最小值时x的值；符号“^”表示该变量的估计值，上标“T”表示矩阵的转置矩阵，符号“||”表示该变量的模值，N为一辆车中检测到轮胎的个数；i、j表示第i、j个轮胎；

为世界坐标系下第i个轮胎指向第j个轮胎的方向向量；d为第i个轮胎与第j个轮胎的轴距或者轮距；λ为优化的超参数。

8.根据权利要求1-5中任意一项所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S4中，所述相机坐标系之间的变换矩阵计算方式为：

已知相机A与相机B之间由以下关系表示；

其中：h函数为匈牙利算法，匹配A，B相机的同时刻对应点，结果是总代价；A为A镜头中的所有点构成矩阵，B为B镜头中的所有点构成矩阵，η为超参数。

9.根据权利要求1-5中任意一项所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S5中，检测目标投影到鸟瞰图的计算公式为：

其中：X_i，Z_i为鸟瞰平面的坐标，x_i,y_i为图像中像素坐标，

为所述焦距，高度，倾斜角的估计值。

10.根据权利要求1-5中任意一项所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S6的流程包括：

根据所述计算的目标位置，与相机本身在该位置检测到的目标进行关联融合；

将两个相机中同一目标相互关联，赋予相同的编号；

实现多镜头跟踪编号相同的目标。

Images