CN111986512B - 一种目标距离确定方法及装置 - Google Patents

Abstract

一种目标距离确定方法及装置，用以准确地确定自动驾驶中目标的距离。该方法为：将基于多焦段摄像传感器中每个摄像头获取的目标的图像输入第一模型得到第一距离；根据第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合；目标摄像头组合包括多个摄像头中焦段不完全相同的至少两个摄像头；根据目标摄像头组合中每个摄像头获取的图像分别确定目标的预测距离；根据目标摄像头组合中每个摄像头获取的目标的预测距离，确定目标的距离；其中，多焦段摄像传感器包括多个摄像头，每个摄像头对应一个焦段，多个摄像头中至少两个摄像头对应的焦段不同。这样可以使场景覆盖范围较大，进而使得确定的目标的距离较准确。

Description

一种目标距离确定方法及装置

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种目标距离确定方法及装置。

背景技术

在当前的自动驾驶领域中，高级驾驶辅助系统(advanced driver assistancesystems，ADAS)采用摄像头来感知车道线、障碍物、交通标志牌、地面标志、交通信号灯等要素，以人工智能(artificial intelligence，AI)算法为核心衍生出整车前方碰撞预警系统(forward collision warning，FCW)、车道偏离预警(lane departure warning，LDW)以及自动紧急制动(autonomous emergency braking，AEB)等功能，这些功能都需要以车辆、行人等目标(object)的距离感知为基础。

目前，主要基于单目摄像头或双目摄像头来实现目标的测距。但是由于单目摄像头和双目摄像头这些传感器的硬件约束(例如，单目摄像头随目标的举例增加测距精度下降明显，双目摄像头测量覆盖范围有限)，不能满足自动驾驶领域要求的目标的检测距离远，精度高的要求，导致得到的目标的距离不准确。

发明内容

本申请提供一种目标距离确定方法及装置，用以准确地确定自动驾驶中目标的距离。

第一方面，本申请提供了一种目标距离确定方法，该方法包括：将基于多焦段摄像传感器中每个摄像头获取的目标的图像输入第一模型得到第一距离；根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合；所述目标摄像头组合包括所述多个摄像头中焦段不完全相同的至少两个摄像头；根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离；根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离；其中，所述多焦段摄像传感器包括多个摄像头，每个摄像头对应一个焦段，所述多个摄像头中至少两个摄像头对应的焦段不同；所述第一模型用于基于输入的图像预测距离。

通过上述方法，可以改善传统双目和单目摄像头随着测量距离增大，测量误差逐渐增大的问题，使得场景覆盖范围较大，进而使得确定的目标的距离较准确。

在一个可能的设计中，根据历史样本数据训练确定所述第一模型；所述历史样本数据包括目标样本的图像数据集；根据采集的多个目标的信息数据，更新所述第一模型，确定更新后的所述第一模型；所述多个目标的信息数据包括所述多个目标的角度信息、位置信息、方向信息。这样可以准确地训练得到所述第一模型，进而可以通过第一模型准确得到第一距离。

在一个可能的设计中，将基于所述多个摄像头获取的所述多个目标的图像输入所述第一模型得到多个测量距离；计算每个摄像头的焦段所对应的拍摄范围内所述多个目标的实际距离与对应的测量距离的误差；根据计算得到的误差确定距离的范围与摄像头组合的对应关系。这样可以准确地得到距离的范围与摄像头组合的对应关系，进而可以准确地确定目标摄像头组合。

在一个可能的设计中，根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合，具体方法可以为：确定所述第一距离所属的距离的范围；根据所述第一距离所属的距离的范围以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合。这样可以准确地确定目标摄像头组合，进而基于目标摄像头组合中的摄像头准确地确定目标的距离。

在一个可能的设计中，根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离之前，在所述目标摄像头组合中每个摄像头拍摄的图像中确定所述目标，并标记目标框，得到所述目标摄像头组合中每个摄像头对应的处理后的图像；将检测到的所述目标摄像头组合中每个摄像头对应的处理后的图像中的目标框分别映射到世界坐标系下；计算映射后的第i个目标框和第j个目标框的重合率，并确定所述重合率大于设定阈值；其中，i，j取遍不大于N的正整数，i和j不同，N为映射后的目标框的个数。这样可以确保目标摄像头组合中所有摄像头中的目标为相同的目标。

在一个可能的设计中，当所述目标摄像头组合中包括两个摄像头时，根据所述目标摄像头组合中每个摄像头对应的目标的预测距离，确定所述目标的距离，可以符合以下公式：

D_final＝αD_{camera far}+βD_{camera near}+ε

其中，D_final为所述目标的距离，D_{camera far}为所述目标摄像头组合中包括两个摄像头中焦段长的摄像头对应的目标的预测距离，D_{camera near}为所述目标摄像头组合中包括两个摄像头中焦段短的摄像头对应的目标的预测距离，α和β为固定权重值，ε为固定值。

第二方面，本申请实施例还提供了一种目标距离确定装置，该目标距离确定装置具有实现上述第一方面的目标距离确定方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，所述目标距离确定装置的结构中包括输入单元和处理单元，这些单元可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。

在一种可能的设计中，所述目标距离确定装置的结构中包括处理器和存储器。所述处理器被配置为支持所述目标距离确定装置执行上述第一方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述目标距离确定装置必要的程序指令和数据。所述处理器用于读取并执行所述存储器中存储的程序指令，执行上述第一方面中任一可能的设计中所提及的方法。

第三方面，本申请实施例还提供了一种自动驾驶车辆，所述自动驾驶车辆中可以包括上述第二方面所提及的目标距离确定装置。

第四方面，本申请实施例还提供了一种自动驾驶辅助系统，所述自动驾驶辅助系统中可以包括上述第二方面所提及的目标距离确定装置。

第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令在被所述计算机调用时用于使所述计算机执行上述第一方面或第一方面中任一可能的设计中所提及的方法。示例性的，计算机可读存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括非瞬态计算机可读介质、随机存取存储器(random-access memory，RAM)、只读存储器(read-only memory，ROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

第六方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面或第一方面中任一可能的设计中所提及的方法。

第七方面，本申请实施例还提供了一种芯片，所述芯片与存储器相连，用于读取并执行所述存储器中存储的程序指令，以实现上述第一方面或第一方面中任一可能的设计中所提及的方法。

上述第二方面至第七方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。

附图说明

图1为本申请提供的一种应用场景的示意图；

图2为本申请提供的一种不同焦段摄像头的覆盖范围的示意图；

图3为本申请提供的一种目标距离确定方法的流程图；

图4为本申请提供的一种第一模型训练的流程示意图；

图5为本申请提供的一种距离的范围与摄像头组合的对应关系的示意图；

图6为本申请提供的一种目标距离确定方法的框图；

图7为本申请提供的一种目标的匹配过程示意图；

图8为本申请提供的一种道路标定示意图；

图9为本申请提供的一种目标距离确定装置的结构示意图；

图10为本申请提供的一种目标距离确定装置的结构图。

具体实施方式

下面将结合附图对本申请作进一步地详细描述。

本申请实施例提供一种目标距离确定方法及装置，用以准确地确定自动驾驶中目标的距离。其中，本申请所述方法和装置基于同一技术构思，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。

图1示出了本申请实施例提供的目标距离确定方法适用的一种可能的应用场景，所述应用场景可以为自动驾驶场景。所述应用场景中包括至少一辆车辆，所述至少一辆车辆可以为自动驾驶车辆，任一辆车辆上包括多焦段摄像传感器。所述多焦段摄像传感器中包括多个摄像头，每个摄像头对应一个焦段，所述多个摄像头中至少两个摄像头对应的焦段不同。其中，焦段是变焦镜头焦距的变化范围，不同焦段的摄像头可以覆盖不同的拍摄范围。

在所述应用场景中，任一个车辆可以基于多焦段摄像传感器包括的多个摄像头获取的图像来确定目标的距离。目标的距离确定之后，车辆可以进行合理的决策和路径规划。

需要说明的是，图1中仅以一辆车辆示出，应理解，这并不限定应用场景中车辆的数量，应用场景中可以包括更多的车辆，此处不再示出。

在上述应用场景中，基于多焦段摄像传感器来确定目标的距离时，基本原理可以基于图2所示的不同焦段摄像头的覆盖范围来说明：例如，多焦段摄像传感器中包括近焦摄像头(也可以称为短焦摄像头)、中焦摄像头和长焦摄像头(也可以称为远焦摄像头)三个摄像头。假如需要测量x2-x0的距离，由于直接测量x2-x0的距离较远，如果采用近焦摄像头直接测量误差较大，因此可以改写x2-x0＝(x0′-x0)+(x2′-x0′)，这样可以获得更精准的测量距离；因为中焦摄像头的覆盖范围离x2所在位置更近，测量的距离较直接使用近焦摄像头可以更精准，其中x0′-x0可以通过常规的定标方法获得。

在自动驾驶场景中，传统的单目摄像头受限于硬件的限制，随着目标距离增加测距精度低下降明显，导致传统的单目摄像头测距方案测距精度较差；虽然双目摄像头较单目摄像头的测量精度有所提高，但由于双目摄像头的焦段一致且固定，依然存在覆盖距离的限制，特别是当目标距离较远超出摄像头焦段覆盖范围后，距离测量精度下降明显，且只能测量图像中物体的距离信息而无法辨别图像中的有效目标，而目标的距离恰是自动驾驶需要获取的关键要素。基于此，本申请提出了一种目标距离确定方法，可以基于多焦段摄像传感器包括的多个摄像头融合的目标距离检测方案，可以获得比单目摄像头更精确的目标距离，比双目摄像头覆盖更广的测距范围，进而使得确定的目标的距离比较准确。

基于以上描述，本申请实施例提供的一种目标距离确定方法，适用于图1所示的应用场景。所述方法可以由车辆中的目标距离确定装置实现，例如，所述目标距离确定装置可以是车辆中的处理器等。下面以目标距离确定装置为执行主体示例描述。参阅图3所示，所述方法的具体流程可以包括：

步骤301：目标距离确定装置将基于多焦段摄像传感器中每个摄像头获取的目标的图像输入第一模型得到第一距离，其中，所述多焦段摄像传感器包括多个摄像头，每个摄像头对应一个焦段，所述多个摄像头中至少两个摄像头对应的焦段不同；所述第一模型用于基于输入的图像预测距离。

具体的，所述第一模型要预先训练得到，训练得到所述第一模型的过程可以为：所述目标距离确定装置根据历史样本数据训练确定所述第一模型，之后根据采集的多个目标的信息数据，更新所述第一模型，确定更新后的所述第一模型；其中，所述历史样本数据可以包括目标样本的图像数据集；所述多个目标的信息数据可以包括所述多个目标的角度信息、位置信息、方向信息等。

示例性的，所述历史样本数据可以从已有的公开数据库中获得，所述公开数据库是常见的训练数据库，例如，数据集(ImageNet)、公开驾驶数据集(二进制判决图(binarydecision diagrams，BDD)100K)、COCO数据集等等训练数据库。

在一种可选的实施方式中，所述目标距离确定装置根据历史样本数据训练确定所述第一模型时，可以采用现有的目标检测算法，例如Yolov(you only look once)3/Yolov4。由于目标检测算法具有精度高，速度快的特性，所以得到的所述第一模型的精度比较高。

在一种可选的实施方式中，所述目标距离确定装置根据采集的多个目标的信息数据，更新所述第一模型时，可以先根据采集的实际的所述多个目标的角度信息、位置信息、方向信息模拟出所述多个目标的角度信息、位置信息、方向信息等，得到实际的和模拟的所述多个目标的角度信息、位置信息、方向信息等，然后根据实际的和模拟的所述多个目标的角度信息、位置信息、方向信息等调整所述第一模型，以使得到的第一模型更加准确。

示例性的，所述第一模型也可以称为目标检测模型，例如，可以是YoloV3/YoloV4等检测模型。

示例性的，第一模型的训练过程可以如图4所示的流程简单示意。

步骤302：所述目标距离确定装置根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合；所述目标摄像头组合包括所述多个摄像头中焦段不完全相同的至少两个摄像头。

例如，所述距离的范围与摄像头组合的对应关系可以为：当所述距离的范围是0～80米(m)时，对应的摄像头组合中包括至少一个近焦摄像头和至少一个中焦摄像头；当所述距离的范围是80m以上(即大于80m)时，对应的摄像头组合中包括至少一个中焦摄像头和至少一个远焦摄像头(也称为长焦摄像头)。需要说明的是，上述举例中距离的范围与摄像头组合的对应关系仅仅是一个示例，本申请对此不作限定。

在一种可选的实施方式中，所述目标距离确定装置要预先确定距离的范围与摄像头组合的对应关系，具体方法可以为：所述目标距离确定装置将基于所述多个摄像头获取的所述多个目标的图像输入所述第一模型得到多个测量距离；然后，所述目标距离确定装置计算每个摄像头的焦段所对应的拍摄范围内所述多个目标的实际距离与对应的测量距离的误差；最后，所述目标距离确定装置根据计算得到的误差确定距离的范围与摄像头组合的对应关系。例如，如图5所示，假如通过图5所示的分界线来区分距离的范围与摄像头组合的对应关系，当目标在分界线下面(也可以理解为道路的左侧)时，可以表示对应近焦摄像头和中焦摄像头组成的摄像头组合，当目标在分界线上面(也可以理解为道路的右侧)时，可以表示对应中焦摄像头和远焦摄像头组成的摄像头组合。例如，上述分界线在距离本车80m处，本车在测量2号车的距离时，由于2号车与车的距离在0～80米之间，所以可以选择近焦摄像头和中焦摄像头组成的摄像头组合；本车在测量3号车的距离时，由于3号车与本车的距离在80m以上，所以可以选择中焦摄像头和远焦摄像头组成的摄像头组合。

在一种可选的实施方式中，所述目标距离确定装置根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合，具体方法可以为：所述目标距离确定装置确定所述第一距离所属的距离的范围，并根据所述第一距离所属的距离的范围以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合。

所述目标距离确定装置在执行上述步骤301和步骤302最终得到所述目标摄像头组合的过程可以称为距离预估过程。例如，在多焦段摄像传感器包含三个摄像头的情况下，假设如图6所示的示意图中，通过距离预估过程确定的目标摄像头组合中包括摄像头1和摄像头2，也即通过距离预估过程选择使用摄像头1和摄像头2来准确地确定目标的距离。

步骤303：所述目标距离确定装置根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离。

在一种可选的实施方式中，所述目标距离确定装置根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离之前，需要进行目标匹配，也即确定所述目标摄像头组合中每个摄像头拍摄的目标是同一个目标。具体方法可以为：所述目标距离确定装置在所述目标摄像头组合中每个摄像头获取的图像中确定所述目标，并标记目标框，得到所述目标摄像头组合中每个摄像头对应的处理后的图像；所述目标距离确定装置将检测到的所述目标摄像头组合中每个摄像头对应的处理后的图像中的目标框分别映射到世界坐标系下；所述目标距离确定装置计算映射后的第i个目标框和第j个目标框的重合率，并确定所述重合率大于设定阈值；其中，i，j取遍不大于N的正整数，i和j不同，N为映射后的目标框的个数。

具体的，所述目标距离确定装置在所述目标摄像头组合中每个摄像头获取的图像中确定所述目标，并标记目标框，具体可以通过目标检测算法针对所述目标摄像头组合中每个摄像头获取的图像标出目标的目标框(目标BOX)。

示例性的，所述目标距离确定装置计算映射后的第i个目标框和第j个目标框的重合率，并确定重合率(intersection over union，IOU)均大于设定阈值时，以及所述目标距离确定装置确定任一个映射后的目标框和其余映射后的目标框之间的重合率均大于所述设定阈值时，可以认定两个目标框对应的目标是同一个目标。通过上述方法可以减少目标匹配时间，提高不同摄像头目标匹配精度。

上述过程可以如图6所示的流程中所示。

在一种可选的实施方式中，所述目标摄像头组合中的每个摄像头可以同时拍摄到多个目标，进而所述目标距离确定装置对多个目标的距离进行计算，对针对每个目标的匹配过程都可以参考上述过程。具体的，所述目标距离确定装置在所述目标摄像头组合中每个摄像头获取的图像中确定多个目标，并标记相应的目标框时，为了后续计算重合率简单，可以计算每个目标框的中心位置。例如，当所述目标距离确定装置在确定了所述目标摄像头组合中包括摄像头1和摄像头2的情况下，假设需要确定9个目标的距离时，具体每个目标的匹配过程可以如图7所示。

需要说明的是，在进行目标框的映射时，除了上述涉及的映射到世界坐标系下的方法，也可以以其中一个处理后的图像为参考系，将其他处理后的图像中的目标框映射到作为参考系的图像所在的坐标系下，然后在进行后续重合率计算流程(也可以称为目标框匹配流程)。例如，图7中所示的，就是将摄像头1拍摄的图像得到的标记了目标框的处理后的图像作为参考系，只需将摄像头2中拍摄的图像得到的标记了目标框的处理后的图像中的目标框进行映射，然后进行后续流程。当然，也可以将摄像头2拍摄的图像得到的标记了目标框的处理后的图像作为参考系，将摄像头1中拍摄的图像得到的标记了目标框的处理后的图像中的目标框进行映射；或者分别将摄像头1和摄像头2对应的目标框分别映射到世界坐标系下，本申请对此不作限定。

步骤304：所述目标距离确定装置根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离。

在一种示例中，当所述目标摄像头组合中包括两个摄像头时，所述目标距离确定装置根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离，可以符合以下公式一：

D_final＝αD_{camera far}+βD_{camera near}+ε 公式一；

其中，D_final为所述目标的距离，D_{camera far}为所述目标摄像头组合中包括两个摄像头中焦段长的摄像头对应的目标的预测距离，D_{camera near}为所述目标摄像头组合中包括两个摄像头中焦段短的摄像头对应的目标的预测距离，α和β为固定权重值，ε为固定值。

具体的，上述公式一可以称为是距离计算公式，该公式可以是预先定义的。其中，在对上述公式一的定义过程中，可以通过实际车辆的多焦段摄像传感器采集数据，对道路长度进行标定，进而通过实际标记的标记点(数据点)对距离计算公式进行拟合求解，获得权重参数α，β；然后，将获得的权重参数通过实际道路进行测试，进而对权重参数进行微调，同时ε进行误差补偿。例如，在对道路进行标定时，可以假设道路长度标定距离为150米(m)，标记点间隔为10厘米(cm)，共采集1500个数据点，例如，图8所示。

通过上述方法可以使得到的距离计算公式比较准确，进而在目标摄像头组合中包含两个摄像头时，获得的目标的距离比较准确。需要说明的是，在上述公式描述的是目标摄像头组合中包含两个摄像头的情况，当包含两个以上的摄像头时，原理与两个摄像头的原理类似，可以相互参见，此处不再详细说明。

采用本申请提供的目标距离确定方法，可以改善传统双目和单目摄像头随着测量距离增大，测量误差逐渐增大的问题，使得场景覆盖范围较大，进而使得确定的目标的距离较准确。

基于以上实施例，本申请实施例还提供了一种目标距离确定装置，该目标距离确定装置用于实现上述图3所示的目标距离确定方法。参阅图9所示，目标距离确定装置900可以包括输入单元901和处理单元902。具体的：

所述输入单元901用于将基于多焦段摄像传感器中每个摄像头获取的目标的图像输入第一模型得到第一距离，其中，所述多焦段摄像传感器包括多个摄像头，每个摄像头对应一个焦段，所述多个摄像头中至少两个摄像头对应的焦段不同；所述第一模型用于基于输入的图像预测距离；

所述处理单元902用于根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合；所述目标摄像头组合包括所述多个摄像头中焦段不完全相同的至少两个摄像头；根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离；根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离。

在一种可选的实施方式中，所述处理单元902还用于：根据历史样本数据训练确定所述第一模型；所述历史样本数据包括目标样本的图像数据集；根据采集的多个目标的信息数据，更新所述第一模型，确定更新后的所述第一模型；所述多个目标的信息数据包括所述多个目标的角度信息、位置信息、方向信息。

在一种可选的实施方式中，所述输入单元901还用于将基于所述多个摄像头获取的所述多个目标的图像输入所述第一模型得到多个测量距离；所述处理单元902还用于计算每个摄像头的焦段所对应的拍摄范围内所述多个目标的实际距离与对应的测量距离的误差；根据计算得到的误差确定距离的范围与摄像头组合的对应关系。

具体的，所述处理单元902在根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合时，具体用于：确定所述第一距离所属的距离的范围；根据所述第一距离所属的距离的范围以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合。

示例性的，所述处理单元902在根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离之前，还用于：在所述目标摄像头组合中每个摄像头获取的图像中确定所述目标，并标记目标框，得到所述目标摄像头组合中每个摄像头对应的处理后的图像；将检测到的所述目标摄像头组合中每个摄像头对应的处理后的图像中的目标框分别映射到世界坐标系下；计算映射后的第i个目标框和第j个目标框的重合率，并确定所述重合率大于设定阈值；其中，i，j取遍不大于N的正整数，i和j不同，N为映射后的目标框的个数。

在一种示例中，当所述目标摄像头组合中包括两个摄像头时，根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离，可以符合以下公式：

D_final＝αD_{camera far}+βD_{camera near}+ε

其中，D_final为所述目标的距离，D_{camera far}为所述目标摄像头组合中包括两个摄像头中焦段长的摄像头对应的目标的预测距离，D_{camera near}为所述目标摄像头组合中包括两个摄像头中焦段短的摄像头对应的目标的预测距离，α和β为固定权重值，ε为固定值。

采用本申请提供的目标距离确定装置，可以改善传统双目和单目摄像头随着测量距离增大，测量误差逐渐增大的问题，使得场景覆盖范围较大，进而使得确定的目标的距离较准确。

需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

基于以上实施例，本申请实施例还提供了一种目标距离确定装置，所述目标距离确定装置可以实现上述图3所示的目标距离确定方法。参阅图10所示，所述目标距离确定装置1000可以包括处理器901和存储器902，其中：

其中，处理器1001可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合等等。处理器1001还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。处理器1001在实现上述功能时，可以通过硬件实现，当然也可以通过硬件执行相应的软件实现。

处理器1001和存储器1002之间相互连接。可选的，处理器1001和存储器1002可以通过总线1003相互连接；总线1003可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在一种可选的实施方式中，存储器1002，与处理器1001耦合，用于存放程序等。具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。存储器1002可能包括RAM，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。处理器1001执行存储器1002所存放的应用程序，实现上述功能，从而实现目标距离确定装置1000的功能，即实现目标距离确定方法。

具体的，所述目标距离确定装置1000在实现目标距离确定方法时，可以包括：

所述处理器1001用于调用所述存储器1002中的程序指令执行：

将基于多焦段摄像传感器中每个摄像头获取的目标的图像输入第一模型得到第一距离，其中，所述多焦段摄像传感器包括多个摄像头，每个摄像头对应一个焦段，所述多个摄像头中至少两个摄像头对应的焦段不同；所述第一模型用于基于输入的图像预测距离；

根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合；所述目标摄像头组合包括所述多个摄像头中焦段不完全相同的至少两个摄像头；

根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离；

根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的目标距离。

在一种可选的实施方式中，所述处理器1001还用于：根据历史样本数据训练确定所述第一模型；所述历史样本数据包括目标样本的图像数据集；根据采集的多个目标的信息数据，更新所述第一模型，确定更新后的所述第一模型；所述多个目标的信息数据包括所述多个目标的角度信息、位置信息、方向信息。

在一种可选的实施方式中，所述处理器1001还用于将基于所述多个摄像头获取的所述多个目标的图像输入所述第一模型得到多个测量距离；计算每个摄像头的焦段所对应的拍摄范围内所述多个目标的实际距离与对应的测量距离的误差；根据计算得到的误差确定距离的范围与摄像头组合的对应关系。

具体的，所述处理器1001在根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合时，具体用于：确定所述第一距离所属的距离的范围；根据所述第一距离所属的距离的范围以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合。

示例性的，所述处理器1001在根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离之前，还用于：在所述目标摄像头组合中每个摄像头获取的图像中确定所述目标，并标记目标框，得到所述目标摄像头组合中每个摄像头对应的处理后的图像；将检测到的所述目标摄像头组合中每个摄像头对应的处理后的图像中的目标框分别映射到世界坐标系下；计算映射后的第i个目标框和第j个目标框的重合率，并确定所述重合率大于设定阈值；其中，i，j取遍不大于N的正整数，i和j不同，N为映射后的目标框的个数。

在一种示例中，当所述目标摄像头组合中包括两个摄像头时，根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离，可以符合以下公式：

D_final＝αD_{camera far}+βD_{camera near}+ε

其中，D_final为所述目标的距离，D_{camera far}为所述目标摄像头组合中包括两个摄像头中焦段长的摄像头对应的目标的预测距离，D_{camera near}为所述目标摄像头组合中包括两个摄像头中焦段短的摄像头对应的目标的预测距离，α和β为固定权重值，ε为固定值。

采用本申请提供的目标距离确定装置，可以改善传统双目和单目摄像头随着测量距离增大，测量误差逐渐增大的问题，使得场景覆盖范围较大，进而使得确定的目标的距离较准确。

基于以上实施例，本申请实施例还提供了一种自动驾驶车辆，所述自动驾驶车辆中可以包括上述图9或图10所示目标距离确定装置。

本申请实施例还提供了一种自动驾驶辅助系统，所述自动驾驶辅助系统中可以包括上述图9或图10所示目标距离确定装置。

基于以上实施例，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，该计算机程序被计算机执行时，所述计算机可以实现上述方法实施例提供的目标距离确定方法。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品用于存储计算机程序，该计算机程序被计算机执行时，所述计算机可以实现上述方法实施例提供的目标距离确定方法。

本申请实施例还提供一种芯片，所述芯片与存储器耦合，所述芯片用于实现上述方法实施例提供的目标距离确定方法。

在本申请中，多个指两个或者两个以上。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种目标距离确定方法，其特征在于，所述方法包括：

将基于多焦段摄像传感器中每个摄像头获取的目标的图像输入第一模型得到第一距离，其中，所述多焦段摄像传感器包括多个摄像头，每个摄像头对应一个焦段，所述多个摄像头中至少两个摄像头对应的焦段不同；所述第一模型用于基于输入的图像预测距离；

根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合；所述目标摄像头组合包括所述多个摄像头中焦段不完全相同的至少两个摄像头；

根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离；

根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据历史样本数据训练确定所述第一模型；所述历史样本数据包括目标样本的图像数据集；

根据采集的多个目标的信息数据，更新所述第一模型，确定更新后的所述第一模型；所述多个目标的信息数据包括所述多个目标的角度信息、位置信息、方向信息。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

将基于所述多个摄像头获取的所述多个目标的图像输入所述第一模型得到多个测量距离；

计算每个摄像头的焦段所对应的拍摄范围内所述多个目标的实际距离与对应的测量距离的误差；

根据计算得到的误差确定距离的范围与摄像头组合的对应关系。

4.如权利要求1-3任一项所述的方法，其特征在于，根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合，包括：

确定所述第一距离所属的距离的范围；

根据所述第一距离所属的距离的范围以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合。

5.如权利要求1-4任一项所述的方法，其特征在于，根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离之前，所述方法还包括：

在所述目标摄像头组合中每个摄像头获取的图像中确定所述目标，并标记目标框，得到所述目标摄像头组合中每个摄像头对应的处理后的图像；

将检测到的所述目标摄像头组合中每个摄像头对应的处理后的图像中的目标框分别映射到世界坐标系下；

计算映射后的第i个目标框和第j个目标框的重合率，并确定所述重合率大于设定阈值；其中，i，j取遍不大于N的正整数，i和j不同，N为映射后的目标框的个数。

6.如权利要求1-5任一项所述的方法，其特征在于，当所述目标摄像头组合中包括两个摄像头时，根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离，符合以下公式：

D_final＝αD_{camera far}+βD_{camera near}+ε

其中，D_final为所述目标的距离，D_{camera far}为所述目标摄像头组合中包括两个摄像头中焦段长的摄像头对应的目标的预测距离，D_{camera near}为所述目标摄像头组合中包括两个摄像头中焦段短的摄像头对应的目标的预测距离，α和β为固定权重值，ε为固定值。

7.一种目标距离确定装置，其特征在于，包括：

输入单元，用于将基于多焦段摄像传感器中每个摄像头获取的目标的图像输入第一模型得到第一距离，其中，所述多焦段摄像传感器包括多个摄像头，每个摄像头对应一个焦段，所述多个摄像头中至少两个摄像头对应的焦段不同；所述第一模型用于输入的图像预测距离；

处理单元，用于根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合；所述目标摄像头组合包括所述多个摄像头中焦段不完全相同的至少两个摄像头；根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离；根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离。

8.如权利要求7所述的装置，其特征在于，所述处理单元还用于：

根据历史样本数据训练确定所述第一模型；所述历史样本数据包括目标样本的图像数据集；

根据采集的多个目标的信息数据，更新所述第一模型，确定更新后的所述第一模型；所述多个目标的信息数据包括所述多个目标的角度信息、位置信息、方向信息。

9.如权利要求7或8所述的装置，其特征在于，

所述输入单元，还用于将基于所述多个摄像头获取的所述多个目标的图像输入所述第一模型得到多个测量距离；

所述处理单元，还用于计算每个摄像头的焦段所对应的拍摄范围内所述多个目标的实际距离与对应的测量距离的误差；根据计算得到的误差确定距离的范围与摄像头组合的对应关系。

10.如权利要求7-9任一项所述的装置，其特征在于，所述处理单元，在根据所述第一距离以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合时，具体用于：

确定所述第一距离所属的距离的范围；

根据所述第一距离所属的距离的范围以及距离的范围与摄像头组合的对应关系，确定目标摄像头组合。

11.如权利要求7-10任一项所述的装置，其特征在于，所述处理单元，在根据所述目标摄像头组合中每个摄像头获取的图像分别确定所述目标的预测距离之前，还用于：

在所述目标摄像头组合中每个摄像头获取的图像中确定所述目标，并标记目标框，得到所述目标摄像头组合中每个摄像头对应的处理后的图像；

将检测到的所述目标摄像头组合中每个摄像头对应的处理后的图像中的目标框分别映射到世界坐标系下；

计算映射后的第i个目标框和第j个目标框的重合率，并确定所述重合率大于设定阈值；其中，i，j取遍不大于N的正整数，i和j不同，N为映射后的目标框的个数。

12.如权利要求7-11任一项所述的装置，其特征在于，当所述目标摄像头组合中包括两个摄像头时，根据所述目标摄像头组合中每个摄像头获取的目标的预测距离，确定所述目标的距离，符合以下公式：

D_final＝αD_{camera far}+βD_{camera near}+ε

其中，D_final为所述目标的距离，D_{camera far}为所述目标摄像头组合中包括两个摄像头中焦段长的摄像头对应的目标的预测距离，D_{camera near}为所述目标摄像头组合中包括两个摄像头中焦段短的摄像头对应的目标的预测距离，α和β为固定权重值，ε为固定值。

13.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-6中任一项所述的方法。

14.一种自动驾驶车辆，其特征在于，包括如上述权利要求7-12任一项所述的目标距离确定装置。

15.一种自动驾驶辅助系统，其特征在于，包括如上述权利要求7-12任一项所述的目标距离确定装置。

Images