CN115719375A - 目标融合方法、装置及电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种目标融合方法、装置及电子设备、计算机可读存储介质，该方法由云端执行，该方法包括：获取路端上报的目标检测结果，目标检测结果包括目标检测框的绝对位置和目标的航向角；根据路端对应的路侧相机的朝向以及目标的航向角，确定目标相对于路侧相机的朝向类型；根据目标检测框的绝对位置以及目标相对于路侧相机的朝向类型确定目标中心的绝对位置；根据目标中心的绝对位置确定目标融合结果。本申请基于路端的2D目标检测结果，进一步结合路侧相机的朝向等数据确定出了目标相对于路侧相机的朝向类型，并估计出了目标中心的绝对位置，以此对不同路侧相机的目标检测结果进行融合，大大提高了多路侧相机的目标融合的准确性。

Description

目标融合方法、装置及电子设备、计算机可读存储介质

技术领域

本申请涉及目标融合技术领域，尤其涉及一种目标融合方法、装置及电子设备、计算机可读存储介质。

背景技术

目前在车路协同领域，路口和路段中一般都会架设有多个路杆，每个路杆上会分别安装有朝向顺车道行驶方向和逆车道行驶方向的路侧相机，用于采集不同视野范围、不同行驶方向上的道路图像，从而实现全路段的道路监控。

而在十字路口区域或者位于两杆之间的路段区域会存在多路侧相机的视野重叠区域，基于2D目标检测算法，视野重叠区域的每个路侧相机针对同一个目标都会检测出一个2D检测框，多个路侧相机就会产生多个2D检测框，由于使用2D目标检测算法，有的路侧相机检测到的是车头，有的路侧相机检测到的是车尾，在将检测框的底边中心或者检测框中心投影到世界坐标系下后，同一个目标就会投影出多个路侧相机的目标检测结果。因此云端需要对多个路侧相机的目标检测结果进行融合，从而保证每个目标只输出一个位置结果。

然而，由于2D目标检测结果误差以及标定误差等原因，多个路侧相机之间的目标检测结果往往偏差很大，而融合范围过大又可能会导致将两个不同目标融合成为一个目标，从而降低了融合结果的准确性。

发明内容

本申请实施例提供了一种目标融合方法、装置及电子设备、计算机可读存储介质，以提高目标融合的准确性。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种目标融合方法，所述方法由云端执行，其中，所述方法包括：

获取路端上报的目标检测结果，所述目标检测结果包括目标检测框的绝对位置和目标的航向角；

根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型；

根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置；

根据所述目标中心的绝对位置确定目标融合结果。

可选地，所述根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型包括：

确定所述路侧相机的朝向与所述目标的航向角的相对角度偏差；

若所述路侧相机的朝向与所述目标的航向角的相对角度偏差满足第一角度偏差要求，则确定所述目标相对于所述路侧相机的朝向类型为目标正面朝向路侧相机；

若所述路侧相机的朝向与所述目标的航向角的相对角度偏差满足第二角度偏差要求，则确定所述目标相对于所述路侧相机的朝向类型为目标反面朝向路侧相机；

否则，则确定所述目标相对于所述路侧相机的朝向类型为目标侧面朝向路侧相机。

可选地，所述目标检测框的绝对位置为目标检测框的底边中心的绝对位置，所述根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置包括：

根据所述目标相对于所述路侧相机的朝向类型以及目标类型，确定所述目标检测框的底边中心的绝对位置对应的预设偏移策略，所述预设偏移策略包括偏移方向和偏移距离；

根据所述目标检测框的底边中心的绝对位置对应的预设偏移策略，对所述目标检测框的底边中心的绝对位置进行偏移处理，得到所述目标中心的绝对位置。

可选地，所述目标相对于所述路侧相机的朝向类型包括目标正面朝向路侧相机、目标反面朝向路侧相机和目标侧面朝向路侧相机，所述根据所述目标相对于所述路侧相机的朝向类型以及目标类型，确定所述目标检测框的底边中心的绝对位置对应的预设偏移策略包括：

若所述目标相对于所述路侧相机的朝向类型为目标正面朝向路侧相机或目标反面朝向路侧相机，则根据所述目标类型，确定所述目标检测框的底边中心的绝对位置对应的第一预设偏移策略；

若所述目标相对于所述路侧相机的朝向类型为目标侧面朝向路侧相机，则根据所述目标类型，确定所述目标检测框的底边中心的绝对位置对应的第二预设偏移策略。

可选地，所述根据所述目标中心的绝对位置确定目标融合结果包括：

基于各个目标中心的绝对位置，确定各个目标中心的绝对位置对应的目标区域；

确定任意两个目标中心的绝对位置对应的目标区域的交并比；

根据任意两个目标中心的绝对位置对应的目标区域的交并比确定所述目标融合结果。

可选地，所述根据任意两个目标中心的绝对位置对应的目标区域的交并比确定所述目标融合结果包括：

将任意两个目标中心的绝对位置对应的目标区域的交并比与预设交并比阈值进行比较；

若所述任意两个目标中心的绝对位置对应的目标区域的交并比大于所述预设交并比阈值，则确定所述任意两个目标中心的绝对位置对应的目标为同一目标；

否则，则确定所述任意两个目标中心的绝对位置对应的目标为不同目标。

第二方面，本申请实施例还提供了一种目标融合装置，所述装置应用于云端，其中，所述装置包括：

获取单元，用于获取路端上报的目标检测结果，所述目标检测结果包括目标检测框的绝对位置和目标的航向角；

第一确定单元，用于根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型；

第二确定单元，用于根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置；

第三确定单元，用于根据所述目标中心的绝对位置确定目标融合结果。

第三方面，本申请实施例还提供了一种目标融合系统，所述系统包括云端和路端，其中，所述云端用于执行前述之任一所述方法，所述路端用于执行：

获取路侧相机对应的多帧目标检测结果；

利用预设跟踪匹配算法对多帧目标检测结果进行跟踪匹配，得到所述路侧相机的目标跟踪结果；

根据所述路侧相机的目标跟踪结果确定所述目标的航向角。

可选地，所述路端还用于执行：

获取路侧相机坐标系与世界坐标系的变换关系；

根据所述路侧相机坐标系与世界坐标系的变换关系，将所述目标检测框的绝对位置变换到世界坐标系下，得到目标在世界坐标系下的位置。

第四方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。

第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的目标融合方法由云端执行，先获取路端上报的目标检测结果，目标检测结果包括目标检测框的绝对位置和目标的航向角；根据路端对应的路侧相机的朝向以及目标的航向角，确定目标相对于路侧相机的朝向类型；根据目标检测框的绝对位置以及目标相对于路侧相机的朝向类型确定目标中心的绝对位置；根据目标中心的绝对位置确定目标融合结果。本申请实施例的目标融合方法基于路端的2D目标检测结果，进一步结合路侧相机的朝向等数据确定出了目标相对于路侧相机的朝向类型，并估计出了目标的中心位置，以此对不同路侧相机的目标检测结果进行融合，大大提高了多路侧相机的目标融合的准确性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种目标融合方法的流程示意图；

图2为本申请实施例中一种目标融合装置的结构示意图；

图3为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种目标融合方法，所述方法由云端执行，如图1所示，提供了本申请实施例中一种目标融合方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：

步骤S110，获取路端上报的目标检测结果，所述目标检测结果包括目标检测框的绝对位置和目标的航向角。

本申请实施例的目标融合方法由云端来执行，基于云端与路端的通信连接，可以先获取各个路端上报的目标检测结果，这里的目标检测结果主要可以包括目标检测框的绝对位置以及对应的目标的航向角，目标检测框的绝对位置是指目标检测框在世界坐标系即WGS-84(World Geodetic System 1984)大地坐标系下的位置，当然还可以包括该路端对应的路侧相机的唯一标识，从而便于云端区分不同的路端的检测结果以及不同路端之间的关系。检测的目标类型例如可以包括道路中的车辆、行人等目标。

步骤S120，根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型。

目标的航向角反映了目标在世界坐标系下的朝向，路侧相机的朝向则反映了路侧相机在世界坐标系下的拍摄角度或者拍摄方向，因此通过将目标的航向角和路侧相机的朝向进行比较，能够确定出目标相对于路侧相机的朝向，也即从路侧相机的视角看到的目标的朝向，这里的朝向例如可以包括目标正面朝向路侧相机、目标反面朝向路侧相机以及目标侧面朝向路侧相机。

步骤S130，根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置。

由于同一个目标相对于不同的路侧相机的朝向可能不同，那么从不同的路侧相机的视角就会看到不同朝向的目标，例如有的路侧相机只看到车头，有的路侧相机只看到车尾，有的路侧相机只看到车身侧面，那么在将这些不同的路侧相机对应的2D目标检测框投影到世界坐标系下之后，得到目标在世界坐标系下的绝对位置也就不同，例如有的是车头对应的绝对位置，有的是车尾对应的绝对位置，有的是车身侧面对应的绝对位置。

基于此，本申请实施例需要结合目标检测框的绝对位置以及目标相对于路侧相机的朝向类型估计出整个目标的中心的绝对位置，从而为后续的多路侧相机的目标融合提供准确的融合依据。

步骤S140，根据所述目标中心的绝对位置确定目标融合结果。

对于同一个目标，基于每个路端上报的目标检测结果估计出的目标中心的绝对位置仍有可能不完全对应同一个位置，即存在一定程度偏差，因此本申请实施例可以采取一定融合策略对多个路侧相机视角对应的目标中心的绝对位置进行融合处理，从而得到最终的目标融合结果，保证同一个目标仅对应一个最终位置。

本申请实施例的目标融合方法基于路端的2D目标检测结果，进一步结合路侧相机的朝向等数据确定出了目标相对于路侧相机的朝向类型，并估计出了目标的中心位置，以此对不同路侧相机的目标检测结果进行融合，大大提高了多路侧相机的目标融合的准确性。此外，本申请实施例不需要额外检测出车头、车尾、车身等具体类别，在现有的2D目标检测结果的基础上通过适当的额外处理即可实现3D目标检测的效果，实现成本较低。

在本申请的一些实施例中，所述根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型包括：确定所述路侧相机的朝向与所述目标的航向角的相对角度偏差；若所述路侧相机的朝向与所述目标的航向角的相对角度偏差满足第一角度偏差要求，则确定所述目标相对于所述路侧相机的朝向类型为目标正面朝向路侧相机；若所述路侧相机的朝向与所述目标的航向角的相对角度偏差满足第二角度偏差要求，则确定所述目标相对于所述路侧相机的朝向类型为目标反面朝向路侧相机；否则，则确定所述目标相对于所述路侧相机的朝向类型为目标侧面朝向路侧相机。

在确定目标相对于路侧相机的朝向类型时，可以将路侧相机的朝向与目标的航向角进行比较，确定二者相对角度偏差，如果路侧相机的朝向角度与目标的航向角的相对角度偏差满足第一角度偏差要求，例如相对角度偏差接近于180度，说明从路侧相机的视角来看，目标的正面是朝向路侧相机的。如果路侧相机的朝向角度与目标的航向角的相对角度偏差满足第二角度偏差要求，例如相对角度偏差接近于0度，说明从路侧相机的视角来看，目标的反面是朝向路侧相机的。

而如果路侧相机的朝向角度与目标的航向角的相对角度偏差既不满足上述第一角度偏差要求，也不满足上述第二角度偏差要求，说明从路侧相机的视角来看，目标的侧面是朝向路侧相机的。

在本申请的一些实施例中，所述目标检测框的绝对位置为目标检测框的底边中心的绝对位置，所述根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置包括：根据所述目标相对于所述路侧相机的朝向类型以及目标类型，确定所述目标检测框的底边中心的绝对位置对应的预设偏移策略，所述预设偏移策略包括偏移方向和偏移距离；根据所述目标检测框的底边中心的绝对位置对应的预设偏移策略，对所述目标检测框的底边中心的绝对位置进行偏移处理，得到所述目标中心的绝对位置。

路端基于2D目标检测算法可以直接得到的是目标检测框的底边中心在路侧相机坐标系下的位置，在将其投影到世界坐标系下时，由于同一目标相对于不同路侧相机视角的朝向不同，因此同一个目标对应的多个不同目标检测框在投影到世界坐标系下之后就会对应有多个目标检测框的绝对位置，且多个绝对位置之间的差异也较大，因此需要采用一定的策略对此种差异进行补偿。

本申请实施例事先定义了预设偏移策略，预设偏移策略的核心在于将不同路侧相机视角对应的目标检测框的绝对位置均补偿为目标的实际中心位置，例如可以包括对目标检测框的绝对位置的偏移方向和偏移距离的补偿，这样就可以大大缩小同一个目标对应的多个目标检测框的绝对位置之间的偏差对于目标融合的影响，从而提高目标融合的准确性。

由于目标相对于路侧相机的朝向类型的不同，如目标正面、反面或者侧面朝向路侧相机，以及具体目标类型的不同，如车辆或者行人，都会影响预设偏移策略的设置，因此本申请实施例可以先根据目标相对于路侧相机的朝向类型以及具体的目标类型，确定目标检测框的绝对位置对应的预设偏移策略。

在本申请的一些实施例中，所述目标相对于所述路侧相机的朝向类型包括目标正面朝向路侧相机、目标反面朝向路侧相机和目标侧面朝向路侧相机，所述根据所述目标相对于所述路侧相机的朝向类型以及目标类型，确定所述目标检测框的底边中心的绝对位置对应的预设偏移策略包括：若所述目标相对于所述路侧相机的朝向类型为目标正面朝向路侧相机或目标反面朝向路侧相机，则根据所述目标类型，确定所述目标检测框的底边中心的绝对位置对应的第一预设偏移策略；若所述目标相对于所述路侧相机的朝向类型为目标侧面朝向路侧相机，则根据所述目标类型，确定所述目标检测框的底边中心的绝对位置对应的第二预设偏移策略。

以车辆目标为例，如果车辆相对于路侧相机的朝向类型为车头或车尾，说明从路侧相机的视角来看，目标检测框的底边中心的绝对位置与目标的中心位置相当于相差了半个车长的距离，如果车辆相对于路侧相机的朝向类型为车身侧面，说明从路侧相机的视角来看，目标检测框的底边中心的绝对位置与目标的中心位置相当于相差了半个车宽的距离。因此可以看出，目标相对于路侧相机的朝向类型不同，目标检测框的底边中心的绝对位置与目标中心的绝对位置之间的偏差是不同的，因此在设置预设偏移策略时可以考虑目标相对于路侧相机的朝向类型的影响。

当然，目标类型的不同也会影响上述预设偏移策略的具体设置，例如车辆的尺寸与行人的尺寸存在明显差别，而轿车的尺寸与大巴的尺寸也存在明显差别，那么对应的目标检测框的底边中心的绝对位置与目标中心的绝对位置的偏差也不同，因此可以进一步结合具体目标类型的不同采取不同的偏移策略。

本申请实施例的预设偏移策略主要包括偏移距离和偏移方向的设置，对于偏移距离的设置，需要同时考虑上述目标相对于路侧相机的朝向类型以及具体的目标类型的影响。当然，偏移距离大小的具体设置，本领域技术人员可以根据实际需求灵活调整，在此不作具体限定。

对于偏移方向的设置，从路侧相机的视角来说，无论目标相对于路侧相机的朝向类型是哪种类型，或者是具体的目标类型是哪种，目标检测框的底边中心的绝对位置与目标中心的绝对位置相比都是更靠近路侧相机的，因此目标相对于路侧相机的朝向类型以及具体的目标类型对于偏移方向的设置没有太大影响，偏移方向可以统一设置为往路侧相机的朝向方向移动，也即向靠近目标中心的绝对位置的方向移动。

为了便于理解，进一步举例说明，例如对于正面朝向路侧相机的大巴车目标，可以将其底边中心的绝对位置往路侧相机的朝向方向移动1.5米(接近于半个车长)，对于侧面朝向路侧相机的大巴车目标，可以将其底边中心的绝对位置往路侧相机的朝向方向移动1.3米(接近于半个车宽)等等，从而估计出目标中心在世界坐标系下的绝对位置。

在本申请的一些实施例中，所述根据所述目标中心的绝对位置确定目标融合结果包括：基于各个目标中心的绝对位置，确定各个目标中心的绝对位置对应的目标区域；确定任意两个目标中心的绝对位置对应的目标区域的交并比；根据任意两个目标中心的绝对位置对应的目标区域的交并比确定所述目标融合结果。

对于同一个目标，基于每个路端上报的目标检测结果估计出的目标中心的绝对位置仍有可能并不完全对应同一个位置，即存在一定程度偏差。基于此，本申请实施例可以先以各个目标中心的绝对位置为基准，根据目标类型所对应的长宽尺寸给目标赋予相应的长和宽，从而得到各个目标中心的绝对位置对应的目标区域。

之后计算任意两个目标中心的绝对位置对应的目标区域的交并比，交并比的大小反应了两个目标区域之间重叠部分的大小，如果是同一个目标，那么重叠部分应该足够大，反之，如果是不同目标，那么重叠部分应该足够小，基于此可以将不同目标中心的绝对位置对应的目标进行融合，得到最终的目标融合结果。最终的目标融合结果包括每一个融合后的目标的最终位置，如果同一个目标对应有多个目标中心的绝对位置，那么可以将属于这同一个目标的多个目标中心的绝对位置求平均值，作为该目标在世界坐标系下的最终位置。

在本申请的一些实施例中，所述根据任意两个目标中心的绝对位置对应的目标区域的交并比确定所述目标融合结果包括：将任意两个目标中心的绝对位置对应的目标区域的交并比与预设交并比阈值进行比较；若所述任意两个目标中心的绝对位置对应的目标区域的交并比大于所述预设交并比阈值，则确定所述任意两个目标中心的绝对位置对应的目标为同一目标；否则，则确定所述任意两个目标中心的绝对位置对应的目标为不同目标。

在基于任意两个目标中心的绝对位置对应的目标区域的交并比确定目标融合结果时，可以利用事先设定好的交并比阈值来衡量，如果两个目标中心的绝对位置对应的目标区域的交并比大于一定交并比阈值，可以认为这两个目标中心的绝对位置对应的目标是同一目标，反之则是不同目标。具体阈值大小的设置，本领域技术人员可以根据实际需求灵活设置，在此不作具体限定。

本申请实施例还提供了一种目标融合装置200，所述装置应用于云端，如图2所示，提供了本申请实施例中一种目标融合装置的结构示意图，所述装置200包括：获取单元210、第一确定单元220、第二确定单元230以及第三确定单元240，其中：

获取单元210，用于获取路端上报的目标检测结果，所述目标检测结果包括目标检测框的绝对位置和目标的航向角；

第一确定单元220，用于根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型；

第二确定单元230，用于根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置；

第三确定单元240，用于根据所述目标中心的绝对位置确定目标融合结果。

在本申请的一些实施例中，所述第一确定单元220具体用于：确定所述路侧相机的朝向与所述目标的航向角的相对角度偏差；若所述路侧相机的朝向与所述目标的航向角的相对角度偏差满足第一角度偏差要求，则确定所述目标相对于所述路侧相机的朝向类型为目标正面朝向路侧相机；若所述路侧相机的朝向与所述目标的航向角的相对角度偏差满足第二角度偏差要求，则确定所述目标相对于所述路侧相机的朝向类型为目标反面朝向路侧相机；否则，则确定所述目标相对于所述路侧相机的朝向类型为目标侧面朝向路侧相机。

在本申请的一些实施例中，所述目标检测框的绝对位置为目标检测框的底边中心的绝对位置，所述第二确定单元230具体用于：根据所述目标相对于所述路侧相机的朝向类型以及目标类型，确定所述目标检测框的底边中心的绝对位置对应的预设偏移策略，所述预设偏移策略包括偏移方向和偏移距离；根据所述目标检测框的底边中心的绝对位置对应的预设偏移策略，对所述目标检测框的底边中心的绝对位置进行偏移处理，得到所述目标中心的绝对位置。

在本申请的一些实施例中，所述目标相对于所述路侧相机的朝向类型包括目标正面朝向路侧相机、目标反面朝向路侧相机和目标侧面朝向路侧相机，所述第二确定单元230具体用于：若所述目标相对于所述路侧相机的朝向类型为目标正面朝向路侧相机或目标反面朝向路侧相机，则根据所述目标类型，确定所述目标检测框的底边中心的绝对位置对应的第一预设偏移策略；若所述目标相对于所述路侧相机的朝向类型为目标侧面朝向路侧相机，则根据所述目标类型，确定所述目标检测框的底边中心的绝对位置对应的第二预设偏移策略。

在本申请的一些实施例中，所述第三确定单元240具体用于：基于各个目标中心的绝对位置，确定各个目标中心的绝对位置对应的目标区域；确定任意两个目标中心的绝对位置对应的目标区域的交并比；根据任意两个目标中心的绝对位置对应的目标区域的交并比确定所述目标融合结果。

在本申请的一些实施例中，所述第三确定单元240具体用于：将任意两个目标中心的绝对位置对应的目标区域的交并比与预设交并比阈值进行比较；若所述任意两个目标中心的绝对位置对应的目标区域的交并比大于所述预设交并比阈值，则确定所述任意两个目标中心的绝对位置对应的目标为同一目标；否则，则确定所述任意两个目标中心的绝对位置对应的目标为不同目标。

能够理解，上述目标融合装置，能够实现前述实施例中的目标融合方法的各个步骤，关于目标融合方法的相关阐释均适用于目标融合装置，此处不再赘述。

本申请实施例还提供了一种目标融合系统，所述系统包括云端和路端，其中，所述云端用于执行前述方法，所述路端用于执行：获取路侧相机对应的多帧目标检测结果；利用预设跟踪匹配算法对多帧目标检测结果进行跟踪匹配，得到所述路侧相机的目标跟踪结果；根据所述路侧相机的目标跟踪结果确定所述目标的航向角。

路端在进行目标检测时，可以先获取当前的路侧相机采集的道路图像，然后利用一定的2D目标检测算法对道路图像进行2D目标检测，2D目标检测算法例如可以采用现有的YOLO系列的网络训练得到，当然，具体采用何种算法进行2D目标检测，本领域技术人员可以结合现有技术灵活选择，在此不作具体限定。

在得到当前路侧相机对应的目标检测结果后，还可以进一步基于当前路侧相机连续多帧的目标检测结果来确定目标的航向角，利用一定的目标跟踪匹配算法如光流跟踪算法、粒子滤波算法等，对连续多帧的目标检测结果进行跟踪匹配，从而可以得到同一个目标在连续多帧图像中的位置，然后基于路侧相机与世界坐标系的变换关系，即可得到同一个目标在连续多帧世界坐标系下的绝对位置。

虽然航向角的计算只需要用到两帧数据中的目标的绝对位置，但考虑到临近几帧之间目标的运动变化可能较小，无法准确计算航向角，因此本申请实施例可以从历史的多帧目标检测结果中选取与当前帧相隔一定帧数的目标检测结果来计算当前帧的目标的航向角。当然，具体的计算方式本领域技术人员可以结合现有技术来确定，在此不作赘述。

举例说明，如果当前帧为第10帧图像，那么可以从历史的多帧目标检测结果中选取第2帧图像中检测到的目标位置来计算第10帧图像对应的目标航向角，如果当前帧为第11帧图像，那么可以从历史的多帧目标检测结果中选取第3帧图像中检测到的目标位置来计算第11帧图像对应的目标航向角，以此类推，也即按照一定的帧数间隔选取目标检测结果计算航向角，以保证航向角计算的准确性。

在本申请的一些实施例中，所述路端还用于执行：获取路侧相机坐标系与世界坐标系的变换关系；根据所述路侧相机坐标系与世界坐标系的变换关系，将所述目标检测框的绝对位置变换到世界坐标系下，得到目标在世界坐标系下的位置。

由于路端直接检测得到的目标检测框的位置是位于路侧相机坐标系下的，而为了保证融合准确性，云端对于路端的目标检测结果的融合是世界坐标系下的融合，因此路端可以先基于事先标定好的路侧相机坐标系与世界坐标系的变换关系，将目标检测框在路侧相机坐标系下的位置变换到世界坐标系下，得到目标检测框在世界坐标系下的绝对位置，最后连同目标的航向角以及路侧相机的唯一标识等数据一起发送给云端进行处理。

图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成目标融合装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取路端上报的目标检测结果，所述目标检测结果包括目标检测框的绝对位置和目标的航向角；

根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型；

根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置；

根据所述目标中心的绝对位置确定目标融合结果。

上述如本申请图1所示实施例揭示的目标融合装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中目标融合装置执行的方法，并实现目标融合装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中目标融合装置执行的方法，并具体用于执行：

获取路端上报的目标检测结果，所述目标检测结果包括目标检测框的绝对位置和目标的航向角；

根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型；

根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置；

根据所述目标中心的绝对位置确定目标融合结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种目标融合方法，所述方法由云端执行，其中，所述方法包括：

获取路端上报的目标检测结果，所述目标检测结果包括目标检测框的绝对位置和目标的航向角；

根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型；

根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置；

根据所述目标中心的绝对位置确定目标融合结果。

2.如权利要求1所述方法，其中，所述根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型包括：

确定所述路侧相机的朝向与所述目标的航向角的相对角度偏差；

若所述路侧相机的朝向与所述目标的航向角的相对角度偏差满足第一角度偏差要求，则确定所述目标相对于所述路侧相机的朝向类型为目标正面朝向路侧相机；

若所述路侧相机的朝向与所述目标的航向角的相对角度偏差满足第二角度偏差要求，则确定所述目标相对于所述路侧相机的朝向类型为目标反面朝向路侧相机；

否则，则确定所述目标相对于所述路侧相机的朝向类型为目标侧面朝向路侧相机。

3.如权利要求1所述方法，其中，所述目标检测框的绝对位置为目标检测框的底边中心的绝对位置，所述根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置包括：

根据所述目标相对于所述路侧相机的朝向类型以及目标类型，确定所述目标检测框的底边中心的绝对位置对应的预设偏移策略，所述预设偏移策略包括偏移方向和偏移距离；

根据所述目标检测框的底边中心的绝对位置对应的预设偏移策略，对所述目标检测框的底边中心的绝对位置进行偏移处理，得到所述目标中心的绝对位置。

4.如权利要求3所述方法，其中，所述目标相对于所述路侧相机的朝向类型包括目标正面朝向路侧相机、目标反面朝向路侧相机和目标侧面朝向路侧相机，所述根据所述目标相对于所述路侧相机的朝向类型以及目标类型，确定所述目标检测框的底边中心的绝对位置对应的预设偏移策略包括：

若所述目标相对于所述路侧相机的朝向类型为目标正面朝向路侧相机或目标反面朝向路侧相机，则根据所述目标类型，确定所述目标检测框的底边中心的绝对位置对应的第一预设偏移策略；

若所述目标相对于所述路侧相机的朝向类型为目标侧面朝向路侧相机，则根据所述目标类型，确定所述目标检测框的底边中心的绝对位置对应的第二预设偏移策略。

5.如权利要求1所述方法，其中，所述根据所述目标中心的绝对位置确定目标融合结果包括：

基于各个目标中心的绝对位置，确定各个目标中心的绝对位置对应的目标区域；

确定任意两个目标中心的绝对位置对应的目标区域的交并比；

根据任意两个目标中心的绝对位置对应的目标区域的交并比确定所述目标融合结果。

6.如权利要求5所述方法，其中，所述根据任意两个目标中心的绝对位置对应的目标区域的交并比确定所述目标融合结果包括：

将任意两个目标中心的绝对位置对应的目标区域的交并比与预设交并比阈值进行比较；

若所述任意两个目标中心的绝对位置对应的目标区域的交并比大于所述预设交并比阈值，则确定所述任意两个目标中心的绝对位置对应的目标为同一目标；

否则，则确定所述任意两个目标中心的绝对位置对应的目标为不同目标。

7.一种目标融合装置，所述装置应用于云端，其中，所述装置包括：

获取单元，用于获取路端上报的目标检测结果，所述目标检测结果包括目标检测框的绝对位置和目标的航向角；

第一确定单元，用于根据所述路端对应的路侧相机的朝向以及所述目标的航向角，确定目标相对于所述路侧相机的朝向类型；

第二确定单元，用于根据所述目标检测框的绝对位置以及所述目标相对于所述路侧相机的朝向类型确定目标中心的绝对位置；

第三确定单元，用于根据所述目标中心的绝对位置确定目标融合结果。

8.一种目标融合系统，所述系统包括云端和路端，其中，所述云端用于执行权利要求1～6之任一所述方法，所述路端用于执行：

获取路侧相机对应的多帧目标检测结果；

利用预设跟踪匹配算法对多帧目标检测结果进行跟踪匹配，得到所述路侧相机的目标跟踪结果；

根据所述路侧相机的目标跟踪结果确定所述目标的航向角。

9.如权利要求8所述系统，其中，所述路端还用于执行：

获取路侧相机坐标系与世界坐标系的变换关系；

根据所述路侧相机坐标系与世界坐标系的变换关系，将所述目标检测框的绝对位置变换到世界坐标系下，得到目标在世界坐标系下的位置。

10.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1～6之任一所述方法。

11.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1～6之任一所述方法。

Images