CN115249355B - 目标关联方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种目标关联方法、设备及计算机可读存储介质，涉及车辆技术领域。该方法包括以下步骤：获取第一拍摄画面上的至少一个第一目标检测框和第二拍摄画面上的至少一个第二目标检测框；根据各第一目标检测框和各第二目标检测框，确定各第一目标检测框和各第二目标检测框在世界坐标系下的重叠区域信息；根据重叠区域信息，计算得出各第一目标检测框与各第二目标检测框之间的关联置信度；根据关联置信度，确定各第一目标检测框与各第二目标检测框之间的各关联组合，并根据各关联组合将各第一目标检测框对应的第一目标和各第二目标检测框对应的第二目标进行关联。本发明提高了目标关联的准确性，同时也降低了运算量。

Description

目标关联方法、设备及计算机可读存储介质

技术领域

本发明涉及车辆技术领域，尤其涉及一种目标关联方法、设备及计算机可读存储介质。

背景技术

近年来，随着汽车产业的发展，自动驾驶功能也越发完善。当前主流自动驾驶方案的视觉感知系统通常会采用多个摄像头，以此来达到全覆盖无盲区的目的。由于不同摄像头的视场存在重叠区域，因此同一个物体有很大几率出现在不同摄像头的视场中。而目前对于不同摄像头中各目标的关联方式通常是采用图像特征进行比对，但是车速较快、摄像头角度等问题都会对从原始图像中提取的图像特征造成影响，从而导致目标关联的准确性偏低。

发明内容

本发明的主要目的在于提供一种目标关联方法，旨在解决现有目标关联方法的目标关联准确性偏低的技术问题。

为实现上述目的，本发明提供一种目标关联方法，所述目标关联方法包括以下步骤：

获取第一拍摄画面上的至少一个第一目标检测框和第二拍摄画面上的至少一个第二目标检测框，其中所述第一拍摄画面和所述第二拍摄画面为自车具备公共视场区域的一组摄像头拍摄得到；

根据各所述第一目标检测框和各所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息；

根据所述重叠区域信息，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度；

根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合，并根据各所述关联组合将各所述第一目标检测框对应的第一目标和各所述第二目标检测框对应的第二目标进行关联。

可选地，在所述根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤之前，包括：

以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格；

所述根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤，包括：

根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框投影在世界坐标系下的各第一投影区域，以及各所述第二目标检测框投影在世界坐标系下的各第二投影区域；

根据各所述第一投影区域和各所述第二投影区域的重叠区域，将所述世界点网格在各所述重叠区域内的公共世界点作为重叠区域信息。

可选地，在所述以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格的步骤之后，所述目标关联方法还包括：

根据所述摄像头的拍摄参数，将所述世界点网格投影至所述第一拍摄画面和所述第二拍摄画面上，形成世界点投影网格；

所述根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤，所述目标关联方法还包括：

根据所述第一目标检测框、所述第二目标检测框和所述世界点投影网格，确定所述世界点网格中在各所述第一目标检测框内的第一世界点，以及所述世界点网格中在各所述第二目标检测框内的第二世界点；

将所述第一世界点和第二世界点中的公共世界点作为重叠区域信息。

可选地，所述以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格的步骤之前，包括：

获取所述自车的实时行驶路况；

当所述实时行驶路况为高速路况时，将第一网格范围作为所述预设关联范围；

当所述实时行驶路况为低速路况时，将第二网格范围作为所述预设关联范围，其中所述第二网格范围小于所述第一网格范围。

可选地，所述重叠区域信息包括各所述第一目标检测框与各所述第二目标检测框的公共世界点，所述根据所述重叠区域信息，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度的步骤，包括：

根据所述公共世界点的数量和各所述公共世界点与所述自车之间的相对距离，计算得出各所述第一目标检测框与各所述第二目标检测框之间的费用值，并将所述费用值作为关联置信度，其中所述费用值与所述数量呈负相关，所述费用值与所述相对距离呈正相关。

可选地，所述根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，包括：

当所述第一目标检测框或所述第二目标检测框的数量为一个时，将所述费用值最小的公共世界点对应第一目标检测框和第二目标检测框作为所述第一目标检测框与所述第二目标检测框之间的关联组合。

可选地，所述根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，还包括：

当所述第一目标检测框和所述第二目标检测框的数量为至少两个时，根据所述费用值，构建各所述第一目标检测框与各所述第二目标检测框的费用矩阵；

根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框之间的各关联组合。

可选地，所述根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，还包括：

根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框的单帧匹配组合；

对所述单帧匹配组合进行多帧追踪，获得各历史匹配组合；

根据各所述历史匹配组合的平均费用值和匹配帧数，计算得出各所述历史匹配组合的匹配分值；

获取各所述第一目标检测框对应的所述匹配分值最高的第一待关联组合，与各所述第二目标检测框对应的所述匹配分值最高的第二待关联组合；

当所述第一待关联组合与所述第二待关联组合一致时，将所述第一待关联组合或第二待关联组合作为关联组合。

可选地，所述根据各所述历史匹配组合的平均费用值和匹配帧数，计算得出各所述历史匹配组合的匹配分值的步骤之后，还包括：

获取所述历史匹配组合的匹配分值超过预设阈值的持续帧数，并判断所述持续帧数是否大于预设帧数阈值；

若所述持续帧数大于预设帧数阈值，则锁定所述历史匹配组合中第一目标检测框和第二目标检测框之间的关联关系。

此外，为实现上述目的，本发明还提供一种目标关联设备，所述目标关联设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的目标关联方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有目标关联程序，所述目标关联程序被处理器执行时实现如上所述的目标关联方法的步骤。

本发明提出的一种目标关联方法，通过获取第一拍摄画面上的至少一个第一目标检测框和第二拍摄画面上的至少一个第二目标检测框，其中所述第一拍摄画面和所述第二拍摄画面为自车具备公共视场区域的一组摄像头拍摄得到；根据各所述第一目标检测框和各所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息；根据所述重叠区域信息，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度；根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合，并根据各所述关联组合将各所述第一目标检测框对应的第一目标和各所述第二目标检测框对应的第二目标进行关联。从而本发明一方面通过不同摄像头的目标检测框在世界坐标下的重叠区域信息，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合，无需提取图像特征也就难以被车速、摄像头角度等因素影响，从而可以有效提高目标关联的准确性。另一方面，本发明只需要不同摄像头拍摄画面上的目标检测框的信息，无需提取图像特征，则可以减少算力的消耗，同时提高运算速率。

附图说明

图1为本发明中所述第一拍摄画面和所述第二拍摄画面的一实景图；

图2为本发明目标关联方法第一实施例的流程示意图；

图3为本发明目标关联方法的一实施例的场景示意图；

图4为本发明目标关联方法的另一实施例的场景示意图；

图5为本发明目标关联方法的一实施例的拍摄画面的一示例图；

图6为本发明目标关联方法的再一实施例的场景示意图；

图7为本发明目标关联方法的匈牙利匹配算法计算流程的一示例图；

图8为本发明目标关联方法第二实施例的场景示意图；

图9为本发明目标关联方法第三实施例的流程示意图；

图10为本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联组合，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

当前主流自动驾驶方案的视觉感知系统通常会采用多个摄像头，以此来达到全覆盖无盲区的目的。由于不同摄像头的视场存在重叠区域，因此同一个物体有很大几率出现在不同摄像头的视场中。参照图1，图1为本发明中所述第一拍摄画面和所述第二拍摄画面的一实景图。从图1中明显可以看出第一拍摄画面中的货车，同样也出现在了第二拍摄画面中。对于这种情况，视觉感知系统算法需要两个拍摄画面中的目标物体是否为同一物体，如果是同一物体，则需要将不同拍摄画面中的两个目标物体关联起来，也即意味着输出这两个目标物体在物理意义上实际是同一个物体，以进行后续处理。

对于上述情况，目前常见的处理方式为对各摄像头的原始图像中的目标物体所在的图像范围进行特征提取，得到各目标物体的图像特征（如图像的颜色特征、纹理特征、形状特征和空间关系特征），然后通过图像特征进行匹配，如果匹配成功则认为匹配成功的两个图像特征对应的目标物体是同一目标。而进行图像特征提取的方法则不一而足，比如传统视觉算法中，一般采用特征点（图像处理中特征点指的是图像灰度值发生剧烈变化的点，或者在图像边缘上曲率较大的点，即两个边缘的交点）这种图像特征。

而在实际使用场景中，车速较快、摄像头角度等问题都会对从原始图像中提取的图像特征造成影响，由此基于原始图像提取出的图像特征其表现并不一定好，即不同角度的摄像头对同一车辆目标得出的图像特征可能并不匹配，由此则会导致目标关联的准确性较低。并且基于图像特征进行匹配的方法通常需要至少遍历目标物体在图像上的区域，因此导致该方法需要消耗很大的算力，尤其是原始图像中目标物体较多，目标物体所占范围较大的情况，对于算力的消耗是厂商难以接受的。

请参照图2，图2为本发明目标关联方法第一实施例的流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明第一实施例提供一种目标关联方法，所述目标关联方法包括以下步骤：

步骤S100，获取第一拍摄画面上的至少一个第一目标检测框和第二拍摄画面上的至少一个第二目标检测框，其中所述第一拍摄画面和所述第二拍摄画面为自车具备公共视场区域的一组摄像头拍摄得到；

需要说明的是，所述自车具备公共视场区域的一组摄像头可以包括第一摄像头和第二摄像头，所述公共视场区域为所述第一摄像头的视场区域和所述第二摄像头的视场区域的重叠视场区域。

第一摄像头对当前场景进行拍摄后得到第一拍摄画面，第二摄像头对当前场景进行拍摄后得到第二拍摄画面。然后可以对所述第一拍摄画面和第二拍摄画面进行目标检测，从而获得第一拍摄画面上的至少一个第一目标检测框和第二拍摄画面上的至少一个第二目标检测框。其中，所述目标检测框是指在拍摄画面上目标物体的最小外接矩形，所述第一目标检测框可以使用公知的提取算法，例如YOLO算法、基于区域的快速卷积神经网络(Faster Region-Convolutional Neural Networks，简称Faster R-CNN)算法等，也可以基于预先训练好的目标检测模型进行提取。将第一拍摄画面和第二拍摄画面输入到目标检测模型，以输出第一拍摄画面上的第一目标检测框和第二拍摄画面上的第二目标检测框。参照图3，图3为本发明目标关联方法的另一实施例的场景示意图。图3中，左侧图为实际场景的示意图，右侧图为第一摄像头对该实际场景拍摄后得到的第一拍摄画面和第二拍摄画面，以及第一目标检测框（即第一拍摄画面中的红车目标框和白车目标框）和第二目标检测框（即第一拍摄画面中的白车目标框）。

此外，为了进一步降低目标关联的计算量，可以仅获取第一拍摄画面上所述公共视场区域对应第一画面范围内的第一目标检测框和第二拍摄画面上所述公共视场区域对应第二画面范围内的第二目标检测框。即所述第一目标检测框位于第一拍摄画面上所述公共视场区域对应的第一画面范围内，所述第二目标检测框位于第二拍摄画面上所述公共视场区域对应的第二画面范围内。从而可以减少公共视场区域以外的目标检测框的干扰，减少后续目标关联过程的计算量，提高目标关联效率。

步骤S200，根据各所述第一目标检测框和各所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息；

具体地，所述世界坐标系为基于现实世界的构建而成的坐标系。所述重叠区域信息可以包括各所述第一目标检测框和各所述第二目标检测框在世界坐标系下重叠区域内的区域位置、区域大小、公共世界点等信息。需要确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息，则需要考虑第一拍摄画面和第二拍摄画面的图像坐标系与世界坐标系之间的转换。示例性地，可以将世界坐标系中的世界坐标通过坐标转换，变换为图像坐标系的图像坐标转换，从而确定第一目标检测框和第二目标检测框中均包含的公共世界点。示例性地，还可以将第一目标检测框和第二目标检测框通过坐标转换，变换为世界坐标系的世界坐标。通过变换后得到的各所述第一目标检测框投影在世界坐标系下的各第一投影区域，以及各所述第二目标检测框投影在世界坐标系下的各第二投影区域，从而确定各所述第一投影区域和各所述第二投影区域的重叠区域。

其中，在本发明的一实施例中，在步骤S200根据各所述第一目标检测框和各所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤前，包括：

步骤A10，以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格；

步骤S200根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤，包括：

步骤S210，根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框投影在世界坐标系下的各第一投影区域，以及各所述第二目标检测框投影在世界坐标系下的各第二投影区域；

步骤S211，根据各所述第一投影区域和各所述第二投影区域的重叠区域，将所述世界点网格在各所述重叠区域内的公共世界点作为重叠区域信息。

为了简化对于各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域的计算，可以以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格。其中所述预设关联范围可以是圆形范围、矩形范围等。所述世界点网格中包括网格间距一致的世界点，所述网格间距可以根据具体需求进行设置，例如0.5m、1.0m、1.2m等。示例性地，为保证预设关联范围可以覆盖5车道，认为一个标准车道的宽度为3.75m，故5车道宽度为3.75*5=18.75m。因此，预设关联范围的网格范围在垂直于车辆行驶方向上可以设置为[-10,10]m，在车辆行驶方向范围可设置为[-20,20]m，所述世界点网格的网格间距设置为1m。进一步地，可以认为所述世界点网格中的世界点都在高度为零的地面上，即坐标为(x,y,0)。

在建立所述世界点网格后，可以根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框投影在世界坐标系下的各第一投影区域，以及各所述第二目标检测框投影在世界坐标系下的各第二投影区域。参照图4，图4为本发明目标关联方法的另一实施例的场景示意图。图中圆点为即在第一目标检测框和第二目标检测框里面，同时也在他车的现实世界实际范围内的世界点；矩形点为在第一目标检测框和第二目标检测框里面但不在他车的现实世界实际范围内的世界点；上三角点为在第一目标检测框内但不在第二目标检测框内的世界点；下三角点为在第二目标检测框内但不在第一目标检测框内的世界点。本实施例确定各所述第一投影区域和各所述第二投影区域的重叠区域，并将所述世界点网格在各所述重叠区域内的公共世界点作为重叠区域信息。可以理解的是，所述公共世界点可以包括一个或一个以上的世界点。由此，所述公共世界点的数量可以表征对应重叠区域的大小，所述公共世界点与自车的相对距离则可以表征对应重叠区域与自车的距离。

进一步地，在本发明的另一实施例中，在步骤A10以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格的步骤之后，所述目标关联方法还包括：

步骤A20，根据所述摄像头的拍摄参数，将所述世界点网格投影至所述第一拍摄画面和所述第二拍摄画面上，形成世界点投影网格；

步骤S200根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤，所述目标关联方法还包括：

步骤S220，根据所述第一目标检测框、所述第二目标检测框和所述世界点投影网格，确定所述世界点网格中在各所述第一目标检测框内的第一世界点，以及所述世界点网格中在各所述第二目标检测框内的第二世界点；

步骤S221，将所述第一世界点和第二世界点中的公共世界点作为重叠区域信息。

对于自车的各个摄像头来说，各个摄像头的拍摄参数（如角度、安装位置、焦距、视场角等）通常是已知的。因此，可以通过所述摄像头的拍摄参数，确定世界坐标系到各摄像头的图像坐标系之间的坐标转换关系，然后基于所述坐标转换关系，将所述世界点网格投影至所述第一拍摄画面和所述第二拍摄画面上，形成世界点投影网格。可以理解的是，所述世界点网格不仅可投影至所述第一拍摄画面和所述第二拍摄画面，还可以投影至自车上其他摄像头的拍摄画面上。可参照图5，图5为本发明目标关联方法的一实施例的拍摄画面的一示例图。

由此，本实施例无需对第一目标检测框和第二目标检测框进行坐标转换，从而根据所述第一目标检测框、所述第二目标检测框和所述世界点投影网格，可以通过第一拍摄画面直接确定所述世界点网格中在各所述第一目标检测框内的第一世界点，以及通过第二拍摄画面确定所述世界点网格中在各所述第二目标检测框内的第二世界点。然后将所述第一世界点和第二世界点取交集，则可以获得第一世界点和第二世界点中公有的公共世界点，并将所述公共世界点作为重叠区域信息。从而可以提高对所述第一目标检测框所述第二目标检测框对应的公共世界点的获取速度。

进一步地，在步骤A10以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格的步骤之前，包括：

步骤A11，获取所述自车的实时行驶路况；

步骤A12，当所述实时行驶路况为高速路况时，将第一网格范围作为所述预设关联范围；

步骤A13，当所述实时行驶路况为低速路况时，将第二网格范围作为所述预设关联范围，其中所述第二网格范围小于所述第一网格范围。

可以理解的是，如果减小世界点网格的网格范围，会减少重叠区域外世界点的个数，可提高关联精度，但与此同时也损失了关联的范围。

具体地，所述实时行驶路况包括高速路况和低速路况。考虑到实际场景中，高速道路（如高速公路、城市快速路等）上也会存在堵车等情况，因此可以通过自车的车速或者自车周围的车辆密度确定所述实时行驶路况。示例性地，可以通过判断自车的车速高于预设高速阈值的持续时长是否大于预设时长阈值，若自车的车速高于预设高速阈值的持续时长大于预设时长阈值，则判定所述自车的实时行驶路况为高速路况。若自车的车速高于预设高速阈值的持续时长不大于预设时长阈值，则判定所述自车的实时行驶路况为低速路况。

因此，为了平衡关联精度和关联范围，可以通过获取所述自车的实时行驶路况，当所述实时行驶路况为高速路况时，将第一网格范围作为所述预设关联范围；当所述实时行驶路况为低速路况时，将第二网格范围作为所述预设关联范围，其中所述第二网格范围小于所述第一网格范围。由此，在实时行驶路况为高速路况时，由于高速路况下通常车辆密集程度较低、道路较为宽敞，因此可以采用范围较大的第一网格范围作为所述预设关联范围，以提高关联的范围。在实时行驶路况为低速路况时，由于低速路况下通常车辆密集程度较高、道路较为狭窄，因此可以采用范围较小的第二网格范围作为所述预设关联范围，以提高关联的精度。

步骤S300，根据所述重叠区域信息，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度；

参照图6，图6为本发明目标关联方法的再一实施例的场景示意图。图中第一摄像头拍摄的第一拍摄画面上白车的第一目标检测框投影在世界坐标系中为框3；第一拍摄画面上红车的第一目标检测框投影在世界坐标系中为框2；第二摄像头拍摄的第二拍摄画面上白车的第二目标检测框投影在世界坐标系中为框1；第二拍摄头无法拍摄到红车。在这种情况下，可以看到框1与框2和框3均存在重叠区域。因此难以简单的通过是否存在重叠区域进行判断。此时则需要比较框3与框1关联的置信度和框2与框1关联的置信度。

因此，基于上述图6可以理解的是，当所述重叠区域与自车的相对距离越小，基于摄像头的投影理论来看，说明该重叠区域对应的第一目标检测框与第二目标检测框的关联性越高，即该第一目标检测框与第二目标检测框中的目标越有可能是同一目标。同样地，当所述重叠区域的面积越大，说明该重叠区域对应的第一目标检测框与第二目标检测框在世界坐标系上的重合度越高，即该第一目标检测框与第二目标检测框中的目标越有可能是同一目标。因此，可以根据所述重叠区域信息中的重叠区域面积和重叠区域与自车的相对距离，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度。

进一步地，所述重叠区域信息包括各所述第一目标检测框与各所述第二目标检测框的公共世界点，步骤S300根据所述重叠区域信息，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度的步骤，包括：

步骤S310，根据所述公共世界点的数量和各所述公共世界点与所述自车之间的相对距离，计算得出各所述第一目标检测框与各所述第二目标检测框之间的费用值，并将所述费用值作为关联置信度，其中所述费用值与所述数量呈负相关，所述费用值与所述相对距离呈正相关。

需要说明的是，可以采用费用值表征所述关联置信度，所述费用值的数值越小，则关联置信度越高，即该公共世界点对应的第一目标检测框和第二目标检测框的目标为同一目标的可能性越高。可以根据所述公共世界点的数量和各所述公共世界点与所述自车之间的相对距离，计算得出各所述第一目标检测框与各所述第二目标检测框之间的费用值，即对于每一个第一目标检测框都会与每一个第二目标检测框进行计算，得到一个对应的费用值。并将所述费用值作为关联置信度，其中所述费用值与所述数量呈负相关，所述费用值与所述相对距离呈正相关。即一组第一目标检测框和第二目标检测框的公共世界点越多，费用值越小；一组第一目标检测框和第二目标检测框的公共世界点与自车的相对距离越近，费用值越小。

示例性地，费用值计算公式如下：

其中，该公式左侧COST_{two box}表示该费用值为一个第一目标检测框和一个第二目标检测框的费用值。公式右侧为这一组第一目标检测框和第二目标检测框的每一个公共世界点分别计算费用然后求和。分母中的x,y值为公共世界点的世界坐标，分母中加0.0001为小量防止除0。由此，每一个第一目标检测框都会与每一个第二目标检测框都会产生对应的费用值，假如这两个车辆目标的某一组第一目标检测框和第二目标检测框没有公共世界点，则其对应的费用值为0。

步骤S400，根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合，并根据各所述关联组合将各所述第一目标检测框对应的第一目标和各所述第二目标检测框对应的第二目标进行关联。

具体地，由于所述关联置信度表征了第一目标检测框与第二目标检测框的目标为同一目标的置信程度。因此，可以根据预设匹配算法对所述关联置信度进行计算，从而得到各所述第一目标检测框与各所述第二目标检测框之间最优匹配的关联组合。其中所述预设匹配算法可以是匈牙利匹配算法、BF(Brute Force，暴力)算法、KM（ Kuhn-Munkres，库恩—曼克莱斯）算法等匹配算法。然后根据各所述关联组合将各所述第一目标检测框对应的第一目标和各所述第二目标检测框对应的第二目标进行关联。

进一步地，步骤S400根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，包括：

步骤S410，当所述第一目标检测框或所述第二目标检测框的数量为一个时，将所述费用值最小的公共世界点对应第一目标检测框和第二目标检测框作为所述第一目标检测框与所述第二目标检测框之间的关联组合。

具体地，当所述第一目标检测框或所述第二目标检测框的数量为一个时，说明所述第一拍摄画面和第二拍摄画面中至多有一个目标可能相关联。则可以直接将所述费用值最小的公共世界点对应第一目标检测框和第二目标检测框作为所述第一目标检测框与所述第二目标检测框之间的关联组合。可以理解的是，若所述费用值均为0，则说明各所述第一目标检测框对应的第一目标和各所述第二目标检测框对应的第二目标并不关联，即第一目标和第二目标并非同一目标。

更进一步地，步骤S400所述根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，还包括：

步骤S420，当所述第一目标检测框和所述第二目标检测框的数量为至少两个时，根据所述费用值，构建各所述第一目标检测框与各所述第二目标检测框的费用矩阵；

步骤S421，根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框之间的各关联组合。

考虑在复杂的城市路段或者是在红绿灯等场景下，自车检测到的目标数量较多。若第一拍摄画面中有M个目标，第二拍摄画面中有N个目标，那么实际上各所述第一目标检测框与各所述第二目标检测框之间就存在M*N组对应目标组合。此时可以采用的是匈牙利匹配算法，得出各所述第一目标检测框与各所述第二目标检测框之间一一对应的关联组合。

当所述第一目标检测框和所述第二目标检测框的数量为至少两个时，说明所述第一拍摄画面和第二拍摄画面中有多个目标可能相关联，则可以根据所述费用值，构建各所述第一目标检测框与各所述第二目标检测框的费用矩阵。可以理解的是，为了便于矩阵计算，可以将所述费用值进行归一化处理后，再基于归一化处理后的费用值构建对应的费用矩阵。所述费用矩阵中的每个元素即为这一目标组合对应的归一化处理后的费用值。

对于匈牙利匹配算法，其解决问题基于这么一种思想：如果对费用矩阵的任何一行或者任何一列的所有元素上都增加或减去一个数字，那么对于新费用矩阵，其最优分配与原费用矩阵的最优分配是相同的。可参照图7，图7为本发明目标关联方法的匈牙利匹配算法计算流程的一示例图，匈牙利匹配算法的流程如下：

Step1. 对于每一行的所有元素，减去该行中的最小元素。此时每行的最小元素为0。

Step2. 对于每一列的所有元素，减去该列中的最小元素。此时每列的最小元素为0。

Step3. 用尽可能少的线通过行或者列经过所有的0元素。

Step4. 如果用了n条线（n为行数和列数中的较小值），那么得到了一组最佳分配，输出这一组最佳分配（即各所述第一目标检测框与各所述第二目标检测框之间的各关联组合）。如果线数小于n，继续下一步。

Step5. 找到未被线覆盖到的最小元素。从没有画线的每一行的每个元素中减去这个值并把这个值增加到被画线的每一列。接着回到Step3。

由此，根据匈牙利匹配算法和所述费用矩阵，则可以计算得到各所述第一目标检测框与各所述第二目标检测框之间的各关联组合。

在本发明第一实施例中，通过获取第一拍摄画面上的至少一个第一目标检测框和第二拍摄画面上的至少一个第二目标检测框，其中所述第一拍摄画面和所述第二拍摄画面为自车具备公共视场区域的一组摄像头拍摄得到；根据各所述第一目标检测框和各所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息；根据所述重叠区域信息，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度；根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合，并根据各所述关联组合将各所述第一目标检测框对应的第一目标和各所述第二目标检测框对应的第二目标进行关联。从而本实施例一方面通过不同摄像头的目标检测框在世界坐标下的重叠区域信息，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合，无需提取图像特征也就难以被车速、摄像头角度等因素影响，从而可以有效提高目标关联的准确性。另一方面，本实施例只需要不同摄像头拍摄画面上的目标检测框的信息，无需提取图像特征，则可以减少算力的消耗，同时提高运算速率。

进一步地，参照图8，本发明第二实施例提供一种目标关联方法，基于上述图2所示的实施例，在步骤S421根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，还包括：

步骤B10，根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框的单帧匹配组合；

步骤B20，对所述单帧匹配组合进行多帧追踪，获得各历史匹配组合；

步骤B30，根据各所述历史匹配组合的平均费用值和匹配帧数，计算得出各所述历史匹配组合的匹配分值；

步骤B40，获取各所述第一目标检测框对应的所述匹配分值最高的第一待关联组合，与各所述第二目标检测框对应的所述匹配分值最高的第二待关联组合；

步骤B50，当所述第一待关联组合与所述第二待关联组合一致时，将所述第一待关联组合或第二待关联组合作为关联组合。

可以理解的是，通过上述匈牙利匹配算法得到的是某一帧各所述第一目标检测框与各所述第二目标检测框之间的各关联组合。另外，由于匈牙利匹配算法实际上是一个全局算法，即为了全局实现最优匹配，因此为了进一步提高目标关联的准确性，还需要对所述关联组合进行追踪。

根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框的单帧匹配组合。然后对所述单帧匹配组合进行多帧追踪，获得多帧的历史匹配组合，进而确定各所述历史匹配组合的平均费用值和匹配帧数。示例性地，各第一目标检测框包括a1、a2、a3；各第二目标检测框包括b1、b2、b3。假设在第一帧a1通过匈牙利匹配算法匹配到了b2，则记录a1-b2这一历史匹配组合，在后续的多帧跟踪，然后得到这一历史匹配组合的匹配帧数（即匈牙利匹配算法匹配得到a1-b2这一历史匹配组合的帧数）,并记录匈牙利匹配算法每一次匹配得到a1-b2这一历史匹配组合对应的费用值，然后计算得到对应的平均费用值。然后则可以根据各所述历史匹配组合的平均费用值和匹配帧数，计算得出各所述历史匹配组合的匹配分值。其中所述匹配分数与所述匹配帧数呈正相关，所述匹配分数与所述平均费用值呈负相关。

其中，公式左侧的value为历史匹配组合的匹配分值。公式右边的loss即为每一帧匹配得到该历史匹配组合时的费用值，life即为该历史匹配组合匹配帧数。费用值的和除以匹配帧数即为该历史匹配组合每一帧平均的费用值（即平均费用值）。平均费用值越低、匹配帧数越多，则匹配越高。由此，则可以获取各所述第一目标检测框对应的所述匹配分值最高的第一待关联组合，与各所述第二目标检测框对应的所述匹配分值最高的第二待关联组合。示例性地，各第一目标检测框包括a1、a2、a3；各第二目标检测框包括b1、b2、b3。a1-b1这一历史匹配组合的匹配分值为10，a1-b2这一历史匹配组合的匹配分值为2，a1-b3这一历史匹配组合的匹配分值为3，则可以确定第一目标检测框a1对应的第一待关联组合为a1-b1这一匹配分值最高的历史匹配组合。同理，b1-a1这一历史匹配组合的匹配分值为10，b1-a2这一历史匹配组合的匹配分值为4，b1-a3这一历史匹配组合的匹配分值为3，则可以确定第二目标检测框b1对应的第二待关联组合为b1-a1这一匹配分值最高的历史匹配组合。此时，所述第一待关联组合与所述第二待关联组合一致，则可以将所述第一待关联组合或第二待关联组合作为关联组合。若所述第一待关联组合与所述第二待关联组合不一致，例如，第一目标检测框a1对应的第一待关联组合为a1-b1，而第二目标检测框b1对应的第二待关联组合为b1-a3，则此时可以执行步骤：对所述单帧匹配组合进行多帧追踪，获得各历史匹配组合。继续对单帧匹配组合进行追踪，直至所述所述第一待关联组合与所述第二待关联组合一致。

本实施例中，通过对单帧匹配组合进行多帧跟踪，再通过多帧跟踪得到的历史匹配组合的平均费用值和匹配帧数，根据各所述历史匹配组合的平均费用值和匹配帧数，计算得出各所述历史匹配组合的匹配分值；获取各所述第一目标检测框对应的所述匹配分值最高的第一待关联组合，与各所述第二目标检测框对应的所述匹配分值最高的第二待关联组合；当所述第一待关联组合与所述第二待关联组合一致时，将所述第一待关联组合或第二待关联组合作为关联组合。从而在全局上实现最优匹配，进一步提高目标关联的准确性。

进一步地，参照图9，本发明第三实施例提供一种目标关联方法，基于上述图2所示的实施例，在步骤B30根据各所述历史匹配组合的平均费用值和匹配帧数，计算得出各所述历史匹配组合的匹配分值的步骤之后，还包括：

步骤C10，获取所述历史匹配组合的匹配分值超过预设阈值的持续帧数，并判断所述持续帧数是否大于预设帧数阈值；

步骤C20，若所述持续帧数大于预设帧数阈值，则锁定所述历史匹配组合中第一目标检测框和第二目标检测框之间的关联关系。

进一步地，为了减少运算量、减少运算时间，可以获取所述历史匹配组合的匹配分值超过预设阈值的持续帧数，并判断所述持续帧数是否大于预设帧数阈值；若所述持续帧数大于预设帧数阈值，说明这历史匹配组合中第一目标检测框和第二目标检测框之间的关联关系已经稳定，则锁定所述历史匹配组合中第一目标检测框和第二目标检测框之间的关联关系。由此，可以在后续计算中直接跳过这一被锁定的历史匹配组合。除非这一历史匹配组合中第一目标检测框伙第二目标检测框消失，否则不再对这一历史匹配组合进行计算。若所述持续帧数不大于预设帧数阈值，说明这历史匹配组合中第一目标检测框和第二目标检测框之间的关联关系并不稳定，则不对所述匹配分值对应的历史匹配组合中第一目标检测框和第二目标检测框之间的关联关系进行锁定。本实施例中，对历史匹配组合的匹配分值超过预设阈值的持续帧数大于预设帧数阈值，认为该历史匹配组合已经稳定关联，则对该历史匹配组合进行锁定，则可以避免对稳定关联的历史匹配组合重复进行计算，减少了减少运算量和运算时间，提高了运算效率。

如图10所示，图10为本发明实施例方案涉及的硬件运行环境的设备结构示意图。

具体地，所述目标关联设备可以是ADAS（Advanced Driving Assistance System，高级驾驶辅助系统）控制器、VCU（Vehicle Control Unit，整车控制器）、PC（PersonalComputer，个人计算机）、平板电脑、便携式计算机或者服务器等设备。

如图10所示，所述目标关联设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图10中示出的设备结构并不构成对所述目标关联设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及目标关联应用程序。

在图10所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的目标关联程序，并执行上述目标关联方法各实施例中的步骤。

此外，本发明实施例还提出一种车辆，所述车辆包括上述目标关联设备。当然，可以理解的是，所述车辆还包括驱动装置、传感装置等其他保障车辆正常运行的装置。

此外，本发明实施例还提出一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的目标关联方法中的操作，具体步骤此处不再过多赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，车辆，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种目标关联方法，其特征在于，所述目标关联方法包括以下步骤：

获取第一拍摄画面上的至少一个第一目标检测框和第二拍摄画面上的至少一个第二目标检测框，其中所述第一拍摄画面和所述第二拍摄画面为自车具备公共视场区域的一组摄像头拍摄得到；

根据各所述第一目标检测框和各所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息；

根据所述重叠区域信息，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度；

根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合，并根据各所述关联组合将各所述第一目标检测框对应的第一目标和各所述第二目标检测框对应的第二目标进行关联；

所述重叠区域信息包括各所述第一目标检测框与各所述第二目标检测框的公共世界点，所述根据所述重叠区域信息，计算得出各所述第一目标检测框与各所述第二目标检测框之间的关联置信度的步骤，包括：

根据所述公共世界点的数量和各所述公共世界点与所述自车之间的相对距离，计算得出各所述第一目标检测框与各所述第二目标检测框之间的费用值，并将所述费用值作为关联置信度，其中所述费用值与所述数量呈负相关，所述费用值与所述相对距离呈正相关。

2.如权利要求1所述的目标关联方法，其特征在于，在所述根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤之前，包括：

以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格；

所述根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤，包括：

根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框投影在世界坐标系下的各第一投影区域，以及各所述第二目标检测框投影在世界坐标系下的各第二投影区域；

根据各所述第一投影区域和各所述第二投影区域的重叠区域，将所述世界点网格在各所述重叠区域内的公共世界点作为重叠区域信息。

3.如权利要求2所述的目标关联方法，其特征在于，在所述以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格的步骤之后，所述目标关联方法还包括：

根据所述摄像头的拍摄参数，将所述世界点网格投影至所述第一拍摄画面和所述第二拍摄画面上，形成世界点投影网格；

所述根据所述第一目标检测框和所述第二目标检测框，确定各所述第一目标检测框和各所述第二目标检测框在世界坐标系下的重叠区域信息的步骤，所述目标关联方法还包括：

根据所述第一目标检测框、所述第二目标检测框和所述世界点投影网格，确定所述世界点网格中在各所述第一目标检测框内的第一世界点，以及所述世界点网格中在各所述第二目标检测框内的第二世界点；

将所述第一世界点和第二世界点中的公共世界点作为重叠区域信息。

4.如权利要求2所述的目标关联方法，其特征在于，所述以所述自车为中心，在预设关联范围内建立在世界坐标系下的世界点网格的步骤之前，包括：

获取所述自车的实时行驶路况；

当所述实时行驶路况为高速路况时，将第一网格范围作为所述预设关联范围；

当所述实时行驶路况为低速路况时，将第二网格范围作为所述预设关联范围，其中所述第二网格范围小于所述第一网格范围。

5.如权利要求1所述的目标关联方法，其特征在于，所述根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，包括：

当所述第一目标检测框或所述第二目标检测框的数量为一个时，将所述费用值最小的公共世界点对应第一目标检测框和第二目标检测框作为所述第一目标检测框与所述第二目标检测框之间的关联组合。

6.如权利要求1所述的目标关联方法，其特征在于，所述根据所述关联置信度，确定各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，还包括：

当所述第一目标检测框和所述第二目标检测框的数量为至少两个时，根据所述费用值，构建各所述第一目标检测框与各所述第二目标检测框的费用矩阵；

根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框之间的各关联组合。

7.如权利要求6所述的目标关联方法，其特征在于，所述根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框之间的各关联组合的步骤，还包括：

根据匈牙利匹配算法和所述费用矩阵，计算得到各所述第一目标检测框与各所述第二目标检测框的单帧匹配组合；

对所述单帧匹配组合进行多帧追踪，获得各历史匹配组合；

根据各所述历史匹配组合的平均费用值和匹配帧数，计算得出各所述历史匹配组合的匹配分值；

获取各所述第一目标检测框对应的所述匹配分值最高的第一待关联组合，与各所述第二目标检测框对应的所述匹配分值最高的第二待关联组合；

当所述第一待关联组合与所述第二待关联组合一致时，将所述第一待关联组合或第二待关联组合作为关联组合。

8.如权利要求7所述的目标关联方法，其特征在于，所述根据各所述历史匹配组合的平均费用值和匹配帧数，计算得出各所述历史匹配组合的匹配分值的步骤之后，还包括：

获取所述历史匹配组合的匹配分值超过预设阈值的持续帧数，并判断所述持续帧数是否大于预设帧数阈值；

若所述持续帧数大于预设帧数阈值，则锁定所述历史匹配组合中第一目标检测框和第二目标检测框之间的关联关系。

9.一种目标关联设备，其特征在于，所述目标关联设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的目标关联方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有目标关联程序，所述目标关联程序被处理器执行时实现如权利要求1至8中任一项所述的目标关联方法的步骤。

Images