CN113077511B - 一种用于汽车的多相机目标匹配与跟踪方法及装置 - Google Patents

Abstract

本发明实施例公开一种用于汽车的多相机目标匹配与跟踪方法及装置。该方法中，通过对于每路当前视频帧图像，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的方式，对每路视频帧图像中的目标进行跟踪，并通过计算三维位置坐标之差以及外观相似性的方式，确定外观相似性较高且三维位置相近的两个目标为同一目标，达到对多路视频帧中的目标进行匹配的目的，又由于在进行多路目标匹配时，不仅考虑了三维位置还考虑了外观相似性，大大提高了多路目标匹配的准确度，因此，本发明实施例提供的用于汽车的多相机目标匹配与跟踪装置，能够对多相机目标进行跟踪且目标匹配准确度较高。

Description

一种用于汽车的多相机目标匹配与跟踪方法及装置

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种用于汽车的多相机目标匹配与跟踪方法及装置。

背景技术

目前，为了实现无人车的360度的视觉感知，在无人车上安装有多个相机，相邻的两个相机的拍摄区域存在重叠区域。

为了在多相机场景下实现自动驾驶，需要对安装在无人车上的多个相机采集的视频进行目标跟踪。由于多个相机可能拍摄到同一目标，那么还需要对多个相机拍摄到的同一目标进行匹配，由于如果匹配的准确度较低，则将严重影响无人驾驶。

因此，目前亟需一种目标匹配准确度较高且可以对多相机目标进行跟踪的方法。

发明内容

本发明提供了一种用于汽车的多相机目标匹配与跟踪方法及装置，能够对多相机目标进行跟踪且目标匹配准确度较高。具体的技术方案如下。

第一方面，本发明提供了一种用于汽车的多相机目标匹配与跟踪方法，包括：

检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像；

如果接收到多路当前视频帧图像，对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配，当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，将不匹配的检出目标作为新目标；

获取每路当前视频帧图像对应的投影矩阵，其中，所述投影矩阵表征该路当前视频帧图像的图像坐标系与所述汽车的汽车坐标系之间的投影关系；

确定每路当前视频帧图像中的新目标的图像坐标，根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在所述车辆坐标系下的三维位置坐标；

计算每两路当前视频帧图像中的新目标的三维位置坐标之差，将所述三维位置坐标之差中小于第一预设阈值的三维位置坐标之差对应的两个新目标作为候选对；

针对每对候选对，确定该对候选对的两个新目标的外观特征向量，基于两个新目标的外观特征向量计算该候选对的两个新目标之间的外观相似性，将所述外观相似性大于预设相似性阈值的候选对作为匹配对，建立所述匹配对中的两个新目标之间的对应关系；

将所述对应关系存入匹配信息中，返回执行所述检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像的步骤，其中，所述匹配信息中记录有各路视频帧图像的检出目标之间的对应关系。

可选的，所述将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤，包括：

计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比；

根据预设外观特征向量提取模型提取该路当前视频帧图像的检出目标的外观特征向量；

基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性；

根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。

可选的，所述计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比的步骤，包括：

基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域；

确定所述矩形图像区域与该路上一视频帧图像的检出目标对应的矩形图像区域之间的重叠区域以及相交区域；

计算所述重叠区域的面积与所述相交区域的面积的商，将所述商作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

可选的，所述基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性的步骤，包括：

计算该路当前视频帧图像的检出目标的外观特征向量与该路上一视频帧图像的检出目标的外观特征向量之间的余弦距离，将所述余弦距离作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性。

可选的，所述根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤，包括：

计算所述交并比与预设交并比权重的第一乘积；

计算所述外观相似性与预设外观权重的第二乘积；

计算第一乘积和第二乘积的和；

将所述和中大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为匹配的目标，将所述和中不大于所述第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为不匹配的目标。

可选的，所述根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在所述车辆坐标系下的三维位置坐标的步骤，包括：

针对每路当前视频帧图像中的新目标，根据该新目标的图像坐标以及该路当前视频帧图像对应的投影矩阵建立该新目标在车辆坐标系下的坐标方程，计算所述坐标方程的解，得到该新目标在车辆坐标系下的三维位置坐标。

可选的，在所述将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤之后，上述方法还包括：

当该路当前视频帧图像的检出目标中不存在与该路上一视频帧图像的检出目标不匹配的检出目标时，返回执行所述检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像的步骤。

第二方面，本发明提供了一种用于汽车的多相机目标匹配与跟踪装置，包括：

检测模块，用于检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像，如果是，触发目标匹配模块；

所述目标匹配模块，用于对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配，当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，将不匹配的检出目标作为新目标；

获取模块，用于获取每路当前视频帧图像对应的投影矩阵，其中，所述投影矩阵表征该路当前视频帧图像的图像坐标系与所述汽车的汽车坐标系之间的投影关系；

三维位置坐标计算模块，用于确定每路当前视频帧图像中的新目标的图像坐标，根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在所述车辆坐标系下的三维位置坐标；

候选对确定模块，用于计算每两路当前视频帧图像中的新目标的三维位置坐标之差，将所述三维位置坐标之差中小于第一预设阈值的三维位置坐标之差对应的两个新目标作为候选对；

建立模块，用于针对每对候选对，确定该对候选对的两个新目标的外观特征向量，基于两个新目标的外观特征向量计算该候选对的两个新目标之间的外观相似性，将所述外观相似性大于预设相似性阈值的候选对作为匹配对，建立所述匹配对中的两个新目标之间的对应关系；

存储模块，用于将所述对应关系存入匹配信息中，返回执行所述检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像的步骤，其中，所述匹配信息中记录有各路视频帧图像的检出目标之间的对应关系。

可选的，所述目标匹配模块，包括：

交并比计算子模块，用于计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比；

外观特征向量提取子模块，用于根据预设外观特征向量提取模型提取该路当前视频帧图像的检出目标的外观特征向量；

外观相似性计算子模块，用于基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性；

匹配子模块，用于根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。

可选的，所述交并比计算子模块，包括：

矩形图像区域确定单元，用于基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域；

确定单元，用于确定所述矩形图像区域与该路上一视频帧图像的检出目标对应的矩形图像区域之间的重叠区域以及相交区域；

计算单元，用于计算所述重叠区域的面积与所述相交区域的面积的商，将所述商作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

可选的，所述外观相似性计算子模块，具体用于：

计算该路当前视频帧图像的检出目标的外观特征向量与该路上一视频帧图像的检出目标的外观特征向量之间的余弦距离，将所述余弦距离作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性。

可选的，包括：

第一乘积计算单元，用于计算所述交并比与预设交并比权重的第一乘积；

第二乘积计算单元，用于计算所述外观相似性与预设外观权重的第二乘积；

和计算单元，用于计算第一乘积和第二乘积的和；

匹配单元，用于将所述和中大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为匹配的目标，将所述和中不大于所述第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为不匹配的目标。

可选的，所述三维位置坐标计算模块，具体用于：

针对每路当前视频帧图像中的新目标，根据该新目标的图像坐标以及该路当前视频帧图像对应的投影矩阵建立该新目标在车辆坐标系下的坐标方程，计算所述坐标方程的解，得到该新目标在车辆坐标系下的三维位置坐标。

可选的，上述装置还包括：

触发模块，用于在所述将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配之后，当该路当前视频帧图像的检出目标中不存在与该路上一视频帧图像的检出目标不匹配的检出目标时，触发所述检测模块。

由上述内容可知，本发明实施例提供的一种用于汽车的多相机目标匹配与跟踪方法及装置，可以通过对于每路当前视频帧图像，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的方式，对每路视频帧图像中的目标进行跟踪，并通过计算三维位置坐标之差以及外观相似性的方式，确定外观相似性较高且三维位置相近的两个目标为同一目标，达到对多路视频帧中的目标进行匹配的目的，又由于在进行多路目标匹配时，不仅考虑了三维位置还考虑了外观相似性，大大提高了多路目标匹配的准确度，因此，本发明实施例提供的用于汽车的多相机目标匹配与跟踪方法，能够对多相机目标进行跟踪且目标匹配准确度较高。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、通过计算三维位置坐标之差以及外观相似性的方式，确定外观相似性较高且三维位置相近的两个目标为同一目标，达到对多路视频帧中的目标进行匹配的目的，又由于在进行多路目标匹配时，不仅考虑了三维位置还考虑了外观相似性，大大提高了多路目标匹配的准确度。

2、通过加权平均求和的方式来根据交并比和外观相似性进行目标匹配，不仅考虑了两个目标的重叠区域，还考虑了两个目标的外观相似性，提高了目标跟踪的准确度，且，当目标被遮挡又重新出现时，可以根据外观相似性继续对该目标进行跟踪，提高了目标跟踪的稳定性。

3、通过每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵建立坐标方程的方式，求解出每路当前视频帧图像中的新目标在车辆坐标系下的三维位置坐标。

4、通过计算交并比的方式来确定该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的相似性，交并比越高，说明重叠的部分越多，则两个目标越相似。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的用于汽车的多相机目标匹配与跟踪方法的一种流程示意图；

图2为该路当前视频帧图像和该路上一视频帧图像进行目标匹配的流程示意图；

图3为本发明实施例提供的用于汽车的多相机目标匹配与跟踪装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种用于汽车的多相机目标匹配与跟踪方法及装置，能够对多相机目标进行跟踪且目标匹配准确度较高。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的用于汽车的多相机目标匹配与跟踪方法的一种流程示意图。该方法应用于电子设备。该方法具体包括以下步骤S110～S170：

S110：检测是否接收到多个相机实时采集的汽车的周围环境的多路当前视频帧图像，如果是，执行步骤S120。

为了实现无人车的360度的视觉感知，以便进行自动驾驶，需要获知汽车周围的行驶环境，例如：道路上的其他车辆的运行情况以及行人的行走路线等，因此，需要通过汽车上安装的多个相机对自车周围环境进行视频采集。

多个相机实时采集视频后，将采集得到的视频发送至自车的电子设备，该电子设备可以为车辆的处理器。电子设备检测是否接收到多个相机实时采集的汽车的周围环境的多路当前视频帧图像，并根据检测结果执行后续步骤，其中，每个相机对应一路视频帧图像。

S120：对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配，当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，将不匹配的检出目标作为新目标。

当电子设备检测接收到多个相机实时采集的汽车的周围环境的多路当前视频帧图像时，对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标。

其中，预设全图目标检测模型可以为两阶段目标检测器，例如：Faster R-NN(Faster Region Convolutional Neural Networks，快速区域卷积神经网络)或者R-FCN(Region-based Fully Convolutional Networks，基于区域的全卷积网络)，也可以为单阶段目标检测器，例如：YOLO算法或者SSD算法。

上述根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标可以包括：根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的候选目标以及对应的得分，将候选目标中得分大于预设分数阈值的候选目标作为检出目标，其中，得分大于预设分数阈值说明目标检测的准确度较高。

在得到该路当前视频帧图像的检出目标后，为了实现对同一路视频帧图像中的目标进行跟踪，需要将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。

其中，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的方式有多种，包括但不限于。以下两种：

第一种：

参见图2，图2为该路当前视频帧图像和该路上一视频帧图像进行目标匹配的流程示意图，步骤S120中的将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配可以包括：

S1201：计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

本发明实施例中可以通过计算IoU的方式来进行目标匹配，其中，IoU(Intersection over Union，交并比)指两个几何图形相交部分的面积除以二者相并的面积的商。IoU越高，说明重叠的部分越多，说明两个目标越相似。因此，在得到该路当前视频帧图像的检出目标后，可以计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

示例性的，步骤S1201，可以包括：

基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域；

确定矩形图像区域与该路上一视频帧图像的检出目标对应的矩形图像区域之间的重叠区域以及相交区域；

计算重叠区域的面积与相交区域的面积的商，将商作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

为了计算交并比，需要基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域。

由于在得到检出目标的同时就得到了检出目标的位置，因此，上述基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域可以包括：基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中的左上角点的坐标和右下角点的坐标，在该路当前视频帧图像中得到以左上角点和右下角点为对角线的矩形图像区域。

由于该路上一视频帧图像的检出目标对应的矩形图像区域已在该路上一视频帧图像中得到，因此，在确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域后，可以确定矩形图像区域与该路上一视频帧图像的检出目标对应的矩形图像区域之间的重叠区域以及相交区域，并计算重叠区域的面积与相交区域的面积的商，将商作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

由此，通过计算交并比的方式来确定该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的相似性，交并比越高，说明重叠的部分越多，则两个目标越相似。

S1202：根据预设外观特征向量提取模型提取该路当前视频帧图像的检出目标的外观特征向量。

由于交并比仅是两个目标的重叠的部分，即使交并比较高，也有可能两个目标并不是同一目标，因此，本发明实施例中为了提高目标跟踪的稳定性及准确度，不仅计算两个目标之间的交并比，还根据两个目标的外观来判断两个目标是否相似。

因此，在计算交并比后，根据预设外观特征向量提取模型提取该路当前视频帧图像的检出目标的外观特征向量。示例性的，预设外观特征向量提取模型可以为基于metriclearning度量学习方法训练的REID(Person Re-identification，行人重识别)模型，外观特征向量可以为128维向量。

S1203：基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性。

在提取外观特征向量后，即可基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性。

其中，步骤S1203，可以包括：

计算该路当前视频帧图像的检出目标的外观特征向量与该路上一视频帧图像的检出目标的外观特征向量之间的余弦距离，将余弦距离作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性。

由于该路上一视频帧图像的检出目标的外观特征向量由于已在该路上一视频帧图像中得到，因此，可以计算该路当前视频帧图像的检出目标的外观特征向量与该路上一视频帧图像的检出目标的外观特征向量之间的余弦距离，将余弦距离作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性，其中，余弦距离越小，说明两个目标越相似。

S1204：根据交并比和外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。

在计算了交并比和外观相似性后，即可根据交并比和外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。

其中，步骤S1204，可以包括：

计算交并比与预设交并比权重的第一乘积；

计算外观相似性与预设外观权重的第二乘积；

计算第一乘积和第二乘积的和；

将和中大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为匹配的目标，将和中不大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为不匹配的目标。

本发明实施例中通过加权平均求和的方式来根据交并比和外观相似性进行目标匹配，具体为计算交并比与预设交并比权重的第一乘积，计算外观相似性与预设外观权重的第二乘积，计算第一乘积和第二乘积的和。

和大于第二预设阈值说明两个目标较为相似，和不大于第二预设阈值说明两个目标不太相似，因此，将和中大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为匹配的目标，赋予这两个检出目标同一个身份标识号，将和中不大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为不匹配的目标。

由此，通过加权平均求和的方式来根据交并比和外观相似性进行目标匹配，不仅考虑了两个目标的重叠区域，还考虑了两个目标的外观相似性，提高了目标跟踪的准确度，且，当目标被遮挡又重新出现时，可以根据外观相似性继续对该目标进行跟踪，提高了目标跟踪的稳定性。

第二种：

计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比，将交并比大于预设交并比阈值的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为匹配的目标。

其中，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比的方式参见步骤S1201，在此不再赘述。

由此，通过仅计算交并比的方式来对该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标进行匹配。

当然，也可以通过仅计算外观相似性的方式来对该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标进行匹配。

当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，说明该不匹配的检出目标在该路上一视频帧图像中并未出现，也就是说该不匹配的检出目标是在该路当前视频帧图像中新出现的目标，因此，将不匹配的检出目标作为新目标，赋予新目标一个新的身份标识号。

S130：获取每路当前视频帧图像对应的投影矩阵，其中，投影矩阵表征该路当前视频帧图像的图像坐标系与汽车的汽车坐标系之间的投影关系。

由于同一个目标还有可能被不同的相机拍到，因此，在对同一路的视频帧图像中的前后两个视频帧图像中的目标进行目标跟踪后，还需要对不同路视频帧图像中的目标进行匹配。

为了对不同路视频帧图像中的目标进行匹配，需要将不同路视频帧图像中的目标转换到汽车的汽车坐标系下进行匹配，其中，汽车坐标系为以车头为坐标系原点，向前的方向为X轴方向，向左的方向为Y轴方向，向上的方向为Z轴方向的坐标系。

由于该路当前视频帧图像的图像坐标系与汽车的汽车坐标系之间存在一定的转换关系，因此，需要获取每路当前视频帧图像对应的投影矩阵，其中，投影矩阵表征该路当前视频帧图像的图像坐标系与汽车的汽车坐标系之间的投影关系。

S140：确定每路当前视频帧图像中的新目标的图像坐标，根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在车辆坐标系下的三维位置坐标。

由于在获得了每一视频帧图像时都会对不同路视频帧图像中的目标进行匹配，因此，对于不是新出现的目标在获得上一视频帧图像后已经进行了匹配，因此，为了减少计算量，本发明实施例中仅对多路视频帧图像中的新目标进行匹配。

在获取了每路当前视频帧图像对应的投影矩阵后，基于每个相机的外参和视觉几何原理确定每路当前视频帧图像中的新目标的图像坐标，根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，将每路当前视频帧图像中的新目标转换至车辆坐标系下，计算出每路当前视频帧图像中的新目标在车辆坐标系下的三维位置坐标。

其中，步骤S140，可以包括：

确定每路当前视频帧图像中的新目标的图像坐标，针对每路当前视频帧图像中的新目标，根据该新目标的图像坐标以及该路当前视频帧图像对应的投影矩阵建立该新目标在车辆坐标系下的坐标方程，计算坐标方程的解，得到该新目标在车辆坐标系下的三维位置坐标。

由此，通过每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵建立坐标方程的方式，求解出每路当前视频帧图像中的新目标在车辆坐标系下的三维位置坐标。

S150：计算每两路当前视频帧图像中的新目标的三维位置坐标之差，将三维位置坐标之差中小于第一预设阈值的三维位置坐标之差对应的两个新目标作为候选对。

由于同一目标的三维位置相近，因此，可以通过计算三维位置坐标之差的方式来对每路视频帧图像中的新目标进行初筛，具体可以为计算每两路当前视频帧图像中的新目标的三维位置坐标之差，将三维位置坐标之差中小于第一预设阈值的三维位置坐标之差对应的两个新目标作为候选对。

其中，计算每两路当前视频帧图像中的新目标的三维位置坐标之差的计算顺序可以为计算每相邻的两个相机采集的两路当前视频帧图像中的新目标的三维位置坐标之差，例如：假设在汽车上安装有4个相机：相机1、相机2、相机3和相机4，相机1和相机2相邻，相机2和相机3相邻，相机3和相机4相邻，相机4和相机1相邻，则计算顺序可以为：相机1和相机2，相机2和相机3，相机3和相机4，相机4和相机1。

S160：针对每对候选对，确定该对候选对的两个新目标的外观特征向量，基于两个新目标的外观特征向量计算该候选对的两个新目标之间的外观相似性，将外观相似性大于预设相似性阈值的候选对作为匹配对，建立匹配对中的两个新目标之间的对应关系。

由于三维位置相近的两个目标也不一定为同一目标，为了提高多路视频帧图像之间目标匹配的准确度，针对每对候选对，确定该对候选对的两个新目标的外观特征向量，基于两个新目标的外观特征向量计算该候选对的两个新目标之间的外观相似性。

由于外观相似性较高且三维位置相近的两个目标为同一目标的可能性较大，因此，在计算出候选对的两个新目标之间的外观相似性后，即可将外观相似性大于预设相似性阈值的候选对作为匹配对，并建立匹配对中的两个新目标之间的对应关系。

S170：将对应关系存入匹配信息中，返回执行步骤S110，其中，匹配信息中记录有各路视频帧图像的检出目标之间的对应关系。

为了便于多路下一视频帧中进行目标匹配时可以进行参考以便节省计算时间，可以将对应关系存入匹配信息中，然后返回执行步骤S110，其中，匹配信息中记录有各路视频帧图像的检出目标之间的对应关系。

当检出目标从视频帧图像中消失后，可以从匹配信息中删除该目标的对应关系。

由上述内容可知，本实施例可以通过对于每路当前视频帧图像，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的方式，对每路视频帧图像中的目标进行跟踪，并通过计算三维位置坐标之差以及外观相似性的方式，确定外观相似性较高且三维位置相近的两个目标为同一目标，达到对多路视频帧中的目标进行匹配的目的，又由于在进行多路目标匹配时，不仅考虑了三维位置还考虑了外观相似性，大大提高了多路目标匹配的准确度，因此，本发明实施例提供的用于汽车的多相机目标匹配与跟踪方法，能够对多相机目标进行跟踪且目标匹配准确度较高。

在图1所示方法的基础上，在步骤S120的将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤之后，该方法还可以包括：

当该路当前视频帧图像的检出目标中不存在与该路上一视频帧图像的检出目标不匹配的检出目标时，返回执行步骤S110。

当该路当前视频帧图像的检出目标中不存在与该路上一视频帧图像的检出目标不匹配的检出目标时，说明在该路上一视频帧图像中的检出目标在该路上一视频帧图像中均出现过，又由于对于不是新出现的目标在获得上一视频帧图像后已经进行了匹配，因此在该路当前视频帧图像中不存在新出现的目标时，也就不需要对多路视频帧图像中的目标进行目标匹配，因此返回执行步骤S110。

由此，当该路当前视频帧图像的检出目标中不存在与该路上一视频帧图像的检出目标不匹配的检出目标时，返回继续检测是否接收到多个相机实时采集的汽车的周围环境的多路当前视频帧图像，以便对多相机目标进行目标跟踪和匹配。

图3为本发明实施例提供的用于汽车的多相机目标匹配与跟踪装置的一种结构示意图，该装置可以包括：

检测模块310，用于检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像，如果是，触发目标匹配模块320；

所述目标匹配模块320，用于对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配，当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，将不匹配的检出目标作为新目标；

获取模块330，用于获取每路当前视频帧图像对应的投影矩阵，其中，所述投影矩阵表征该路当前视频帧图像的图像坐标系与所述汽车的汽车坐标系之间的投影关系；

三维位置坐标计算模块340，用于确定每路当前视频帧图像中的新目标的图像坐标，根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在所述车辆坐标系下的三维位置坐标；

候选对确定模块350，用于计算每两路当前视频帧图像中的新目标的三维位置坐标之差，将所述三维位置坐标之差中小于第一预设阈值的三维位置坐标之差对应的两个新目标作为候选对；

建立模块360，用于针对每对候选对，确定该对候选对的两个新目标的外观特征向量，基于两个新目标的外观特征向量计算该候选对的两个新目标之间的外观相似性，将所述外观相似性大于预设相似性阈值的候选对作为匹配对，建立所述匹配对中的两个新目标之间的对应关系；

存储模块370，用于将所述对应关系存入匹配信息中，触发所述检测模块310，其中，所述匹配信息中记录有各路视频帧图像的检出目标之间的对应关系。

由上述内容可知，本装置实施例可以通过对于每路当前视频帧图像，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的方式，对每路视频帧图像中的目标进行跟踪，并通过计算三维位置坐标之差以及外观相似性的方式，确定外观相似性较高且三维位置相近的两个目标为同一目标，达到对多路视频帧中的目标进行匹配的目的，又由于在进行多路目标匹配时，不仅考虑了三维位置还考虑了外观相似性，大大提高了多路目标匹配的准确度，因此，本发明实施例提供的用于汽车的多相机目标匹配与跟踪装置，能够对多相机目标进行跟踪且目标匹配准确度较高。

在本发明的另一实施例中，所述目标匹配模块320，可以包括：

交并比计算子模块，用于计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比；

外观特征向量提取子模块，用于根据预设外观特征向量提取模型提取该路当前视频帧图像的检出目标的外观特征向量；

外观相似性计算子模块，用于基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性；

匹配子模块，用于根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。

在本发明的另一实施例中，所述交并比计算子模块，可以包括：

矩形图像区域确定单元，用于基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域；

确定单元，用于确定所述矩形图像区域与该路上一视频帧图像的检出目标对应的矩形图像区域之间的重叠区域以及相交区域；

计算单元，用于计算所述重叠区域的面积与所述相交区域的面积的商，将所述商作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

在本发明的另一实施例中，所述外观相似性计算子模块，可以具体用于：

计算该路当前视频帧图像的检出目标的外观特征向量与该路上一视频帧图像的检出目标的外观特征向量之间的余弦距离，将所述余弦距离作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性。

在本发明的另一实施例中，所述匹配子模块，可以包括：

第一乘积计算单元，用于计算所述交并比与预设交并比权重的第一乘积；

第二乘积计算单元，用于计算所述外观相似性与预设外观权重的第二乘积；

和计算单元，用于计算第一乘积和第二乘积的和；

匹配单元，用于将所述和中大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为匹配的目标，将所述和中不大于所述第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为不匹配的目标。

在本发明的另一实施例中，所述三维位置坐标计算模块340，可以具体用于：

针对每路当前视频帧图像中的新目标，根据该新目标的图像坐标以及该路当前视频帧图像对应的投影矩阵建立该新目标在车辆坐标系下的坐标方程，计算所述坐标方程的解，得到该新目标在车辆坐标系下的三维位置坐标。

在本发明的另一实施例中，上述装置还可以包括：

触发模块，用于在所述将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配之后，当该路当前视频帧图像的检出目标中不存在与该路上一视频帧图像的检出目标不匹配的检出目标时，触发所述检测模块。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种用于汽车的多相机目标匹配与跟踪方法，其特征在于，包括：

检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像；

如果接收到多路当前视频帧图像，对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配，当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，将不匹配的检出目标作为新目标；

获取每路当前视频帧图像对应的投影矩阵，其中，所述投影矩阵表征该路当前视频帧图像的图像坐标系与所述汽车的汽车坐标系之间的投影关系；

确定每路当前视频帧图像中的新目标的图像坐标，根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在所述车辆坐标系下的三维位置坐标；

计算每两路当前视频帧图像中的新目标的三维位置坐标之差，将所述三维位置坐标之差中小于第一预设阈值的三维位置坐标之差对应的两个新目标作为候选对；

针对每对候选对，确定该对候选对的两个新目标的外观特征向量，基于两个新目标的外观特征向量计算该候选对的两个新目标之间的外观相似性，将所述外观相似性大于预设相似性阈值的候选对作为匹配对，建立所述匹配对中的两个新目标之间的对应关系；

将所述对应关系存入匹配信息中，返回执行所述检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像的步骤，其中，所述匹配信息中记录有各路视频帧图像的检出目标之间的对应关系。

2.如权利要求1所述的方法，其特征在于，所述将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤，包括：

计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比；

根据预设外观特征向量提取模型提取该路当前视频帧图像的检出目标的外观特征向量；

基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性；

根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。

3.如权利要求2所述的方法，其特征在于，所述计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比的步骤，包括：

基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域；

确定所述矩形图像区域与该路上一视频帧图像的检出目标对应的矩形图像区域之间的重叠区域以及相交区域；

计算所述重叠区域的面积与所述相交区域的面积的商，将所述商作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

4.如权利要求2所述的方法，其特征在于，所述基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性的步骤，包括：

计算该路当前视频帧图像的检出目标的外观特征向量与该路上一视频帧图像的检出目标的外观特征向量之间的余弦距离，将所述余弦距离作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性。

5.如权利要求2所述的方法，其特征在于，所述根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤，包括：

计算所述交并比与预设交并比权重的第一乘积；

计算所述外观相似性与预设外观权重的第二乘积；

计算第一乘积和第二乘积的和；

将所述和中大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为匹配的目标，将所述和中不大于所述第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为不匹配的目标。

6.如权利要求1所述的方法，其特征在于，所述根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在所述车辆坐标系下的三维位置坐标的步骤，包括：

针对每路当前视频帧图像中的新目标，根据该新目标的图像坐标以及该路当前视频帧图像对应的投影矩阵建立该新目标在车辆坐标系下的坐标方程，计算所述坐标方程的解，得到该新目标在车辆坐标系下的三维位置坐标。

7.如权利要求1所述的方法，其特征在于，在所述将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤之后，所述方法还包括：

当该路当前视频帧图像的检出目标中不存在与该路上一视频帧图像的检出目标不匹配的检出目标时，返回执行所述检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像的步骤。

8.一种用于汽车的多相机目标匹配与跟踪装置，其特征在于，包括：

检测模块，用于检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像，如果是，触发目标匹配模块；

所述目标匹配模块，用于对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配，当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，将不匹配的检出目标作为新目标；

获取模块，用于获取每路当前视频帧图像对应的投影矩阵，其中，所述投影矩阵表征该路当前视频帧图像的图像坐标系与所述汽车的汽车坐标系之间的投影关系；

三维位置坐标计算模块，用于确定每路当前视频帧图像中的新目标的图像坐标，根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在所述车辆坐标系下的三维位置坐标；

候选对确定模块，用于计算每两路当前视频帧图像中的新目标的三维位置坐标之差，将所述三维位置坐标之差中小于第一预设阈值的三维位置坐标之差对应的两个新目标作为候选对；

建立模块，用于针对每对候选对，确定该对候选对的两个新目标的外观特征向量，基于两个新目标的外观特征向量计算该候选对的两个新目标之间的外观相似性，将所述外观相似性大于预设相似性阈值的候选对作为匹配对，建立所述匹配对中的两个新目标之间的对应关系；

存储模块，用于将所述对应关系存入匹配信息中，触发所述检测模块，其中，所述匹配信息中记录有各路视频帧图像的检出目标之间的对应关系。

9.如权利要求8所述的装置，其特征在于，所述目标匹配模块，包括：

交并比计算子模块，用于计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比；

外观特征向量提取子模块，用于根据预设外观特征向量提取模型提取该路当前视频帧图像的检出目标的外观特征向量；

外观相似性计算子模块，用于基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性；

匹配子模块，用于根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。

10.如权利要求9所述的装置，其特征在于，所述交并比计算子模块，包括：

矩形图像区域确定单元，用于基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域；

确定单元，用于确定所述矩形图像区域与该路上一视频帧图像的检出目标对应的矩形图像区域之间的重叠区域以及相交区域；

计算单元，用于计算所述重叠区域的面积与所述相交区域的面积的商，将所述商作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。

Images