CN114973182A - 用于确定对象的距离的方法和系统 - Google Patents

Abstract

本公开提供用于确定对象的距离的方法和系统。该方法包括由计算机硬件部件执行的以下步骤：确定包含所述对象的图像；基于所述图像确定所述对象的类；基于距离传感器确定所述距离的粗估计；以及基于所述粗估计并且基于所述对象的类来确定所述对象的距离。

Description

用于确定对象的距离的方法和系统

技术领域

本公开涉及用于确定对象的距离的方法和系统。

背景技术

知道到车辆周围对象的距离是(至少部分地)自主驾驶车辆的重要方面。

因此，需要提供用于确定到车辆周围的对象的距离的有效且可靠的方法和系统。

发明内容

本公开提供了由计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。

在一个方面，本公开涉及一种用于确定对象的距离的由计算机实现的方法，该方法包括由计算机硬件部件执行(换言之：由计算机硬件部件进行)的步骤：确定包含(换言之：示出)所述对象的图像；基于所述图像确定所述对象的类；基于距离传感器确定距离的粗估计；以及基于所述粗估计并且基于所述对象的类来确定所述对象的距离。

该距离可以是标量距离，或者具有超过一个分量的向量(例如二维或三维向量，使得该距离可以用于确定在二维或三维空间中相对于设置有传感器的本车辆的位置)。

类的确定可以理解为基于图像将对象分类为多个类中的一个。

例如，可以提供一种技术，该技术用于使用ML(机器学习)模型训练，并且利用距离补偿校正将在2D摄像头视图中成像的关注对象重新投影到鸟瞰图(BEV)坐标系上，来构建面向距离的对象描述。

可以提供一种可以应用在自驾驶汽车中的实时对象检测系统。该系统可以一次检测多个对象类，并且可以提供和它们自身与本车辆之间的距离有关的定位。可以提供环境的描述连同基于重新投影平面的所检测到的对象的位置知识。

根据另一方面，从多个交通参与者类型中选择对象的类。可以选择交通参与者类型，使得特定类型的所有对象具有相似的大小。

根据另一方面，所述多个交通参与者类型包括行人、和/或自行车、和/或轿车、和/或卡车。

根据另一方面，从多个定向中选择所述对象的类。

根据另一方面，所述多个定向包括左、和/或左上、和/或上、和/或右上、和/或右、和/或右下、和/或下、和/或左下。

例如，可以提供一种用于根据训练类分配来构建校正向量的方法。对象类可以是在语义上有关的，和/或与大小(例如宽度和高度)有关的，和/或定向特定的(例如具有粒度：下、左下、左、左上、上、右上、右、右下)。

根据另一方面，可以使用机器学习方法，例如人工神经网络，来确定类。机器学习方法(例如人工神经网络)的训练方法可以允许所检测到的类的准确重投影。

根据另一方面，人工神经网络可以是SSD(单触发检测器)类型或YOLO(你只看一次)型。将理解的是，YOLO方法是SSD型方法之一。用于训练SSD型(或YOLO型)神经网络的方法可以允许图像检测的准确重新投影以获得对象之间的BEV位置知识。SSD型(或YOLO型)的机器学习模型可以仅在图像上训练。已经发现，图像2D边界框的标记是快速的，并且用于图像对象检测的开放训练集是可得的。

根据另一方面，所述计算机实现的方法还可以包括由所述计算机硬件部件执行的以下步骤：确定图像中对象的边界框。可以基于图像来确定对象的边界框。

根据另一方面，可以还基于边界框来确定粗估计。

根据另一方面，基于将距离传感器的测量结果与边界框的匹配来确定粗估计。

根据另一方面，基于用于对象的类的散列表来确定距离。

根据另一方面，散列表包括校正，所述校正用于基于粗估计确定距离。

在另一方面中，本公开涉及一种计算机系统，所述计算机系统包括多个计算机硬件部件，所述多个计算机硬件部件被配置成执行本文所述的由计算机实现的方法的多个或所有步骤。所述计算机系统可以是车辆的一部分。

计算机系统可以包括多个计算机硬件部件(例如处理器(例如处理单元或处理网络)、至少一个存储器(例如存储器单元或存储器网络)、以及至少一个非暂时性数据存储部)。应当理解，可以提供另外的计算机硬件部件并且用于在计算机系统中执行由计算机实现的方法的步骤。非暂时性数据存储部和/或存储器单元可以包括计算机程序，计算机程序用于指示计算机例如使用处理单元和至少一个存储器单元来执行本文描述的由计算机实现的方法的多个或所有步骤或方面。

在另一方面中，本发明涉及一种车辆，所述车辆包括如本文所述的计算机系统，被配置成获取图像的摄像头以及距离传感器。

在另一方面，本公开涉及一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行本文所述的由计算机实现的方法的多个或所有步骤或方面的指令。所述计算机可读媒介可以被配置成：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁介质，例如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)，例如闪存；等等。此外，计算机可读介质可以被配置成可经由诸如因特网连接的数据连接来访问的数据存储部。计算机可读介质例如可以是在线数据储存库或云存储。

本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所述的由计算机实现的方法的多个或所有步骤或方面。

附图说明

本文结合以下示意性示出的附图描述了本公开的示例性实施方式和功能：

图1是图像和相应边界框的图示；

图2是在图1的场景中由距离传感器确定的距离的图示；

图3是粗重新投影图像的示意图，其中例示了对象；

图4是例示根据各种实施方式的用于确定对象的距离的方法的流程图；

图5示出了根据各种实施方式的距离确定系统；以及

图6示出了根据各种实施方式的具有多个计算机硬件部件的计算机系统，所述多个计算机硬件部件被配置成执行用于确定对象的距离的由计算机实现的方法的步骤。

具体实施方式

可能希望自驾驶(换言之：自主)车辆能够确定到其他对象的距离，并且在找到它们的位置之后，确定用于自驾驶车辆的一组可能动作。应当理解，不同的对象具有不同的含义或意义，并且虽然一些对象类是可以忽略的，但是可能需要对其它对象进行定位，以确定用于自驾驶汽车的最佳和最安全的驾驶方式。

机器学习方法可以允许在摄像头图像平面上以2D(二维)边界框的形式准确地找到关注对象的定位。2D边界框的确定可以包括：

1)确定包围对象的边界框的坐标(在图像中)；

2)确定对象的类型(例如轿车、卡车、行人、建筑车辆等)；以及

3)确定检测的确定性分数(或概率)。

确定2D边界框可以是非常有效的。2D边界框确定可以在嵌入式设备上实时工作，并且可以在区分许多类上具有非常好的精度。应当理解，被区分的类的数目可以依赖于训练数据。例如，可以建模多达80个类。

然而，这样的平面摄像头表示可能不给出关于关注对象实际上距本车辆(上面设置了获取图像的摄像头)多远以及与其之间的实际距离相关的其3D(三维)位置的信息。根据各种实施方式，提供了实时且以非常准确的方式返回这种信息的可互换且可靠的系统。

根据各种实施方式，可以提供表示的快速且准确的构造，该表示允许识别由在图像上工作的检测算法找到的所有关注对象相对于本车辆的位置。根据各种实施方式的架构可应用于各种传感器设置。

根据各种实施方式，通过对机器学习方法(例如人工神经网络(例如为SSD型))的训练连同用于使用“具有深度的传感器”(例如雷达、激光雷达、3D摄像头、飞行时间摄像头)将在2D平面摄像头视图中找到的所有关注对象重新投影到BEV坐标系上(换言之：基于由摄像头投影在图像传感器上的2D坐标来确定3D坐标)的准确方法，可以构建面向距离的对象描述。此外，根据各种实施方式，可以通过补偿对象的距离来提供进一步的校正，其可以通过选择适当的训练策略来暗示，该训练策略依赖于指定对象位置(朝向方向)和将其封装到训练类类型中的大小(宽度、长度)，从而使类更加具有粒度。

根据各种实施方式，可以提供粗重新投影方法，其近似环境中对象的定位。此外，可以提供一种执行ML(机器学习)方法的训练的方法，该方法是有益的并且允许提高重新投影的对象的位置的总体准确度。

为了执行重新投影本身，可以使用具有深度的传感器或隐含地从传感器指示的深度(作为单摄像头/立体摄像头深度)。例如，传感器可以是激光雷达传感器或雷达传感器。使用具有深度的传感器重新投影的方法可以利用与投影时使用的那些操作(即，将3D点云投影到摄像头图像上)相反的操作。此外，可以提供一种对图像点的深度进行估计的方法，因为最可能的是查看图像平面中的特定点，并不直接与来自具有深度的传感器的任何投影点相关联(例如，因为该点由于传感器点的稀疏性而被丢失)。

为了具有场景的合理准确的视图并且能够在BEV中识别位置，即给出从本车辆到所有关注对象的距离，可以假设在图像样本上的各个对象的2D边界框检测的附近存在投影到摄像头视图上的至少一个“具有深度的传感器”点，其中附近可以被理解为各个边界框中的至少一个所投影的传感器点。例如，如果需要检测另外的对象，则可以提供能够根据需要尽可能远地并且尽可能密集地投射点的传感器，从而对于我们关注的对象存在接近的投影点。因此，可以提供包括所有关注对象的合理反应的环境。

根据各种实施方式，重新投影可以从找到各个2D边界框中心开始。然后，在具有中心点的情况下，对于各个中心点，可以利用使用k-d树方法的有效方法来确定k个最靠近的所投影的“具有深度的传感器”点(k为整数)。然后，它们深度的平均值可以作为边界框中心的估计深度。使用该深度，可以使用与在将“具有深度的传感器”点投影到摄像头平面上时所使用的操作相反的操作将中心重新投影到3D上。然后，中心点(和/或边界框)可以被投影到鸟瞰图上。

然而，仅在这些步骤之后，所获得的定位可能是粗略的。它可以识别出在BEV中，关注的对象占据了重新投影的点，没有给出它们的位置的准确表示。

根据利用2D边界框检测神经网络的标准训练可得的信息，可以确定对象的类型并且可以确定其存在的概率(例如使用SSD型的机器学习方法)。根据各种实施方式，增强该信息可以用于使得定位(换言之：位置的确定)更鲁棒。这可以通过检测神经网络的训练的特定方式(例如提供训练类的特定方式)来提供。

根据各种实施方式，可以提供对象到训练类(例如行人、轿车、自行车...)的特定划分，其中其能够指示特定类中的所有对象的固定大小。通过指定类，可以假设其元素具有相似的大小，使得各个类包含具有至少基本上相同或相似大小(例如宽度和/或长度)的元素。

根据各种实施方式，可以训练(例如SSD型的)神经网络，将主类细分为具有类似宽度和高度的类，如卡车_类型_a、卡车_类型_b...

根据各种实施方式，可以确定对象的定向。对于重新投影设置，可以使用定向的离散表示(例如：可以使用左、左上、上、右上、右、右下、下、左下。然而，将理解，可以使用更具有粒度或更粗糙的表示。定向可以采取神经网络中的进一步子类的形式。于是，例如，对象的类可以是“轿车_底_右”(即，类“轿车”的对象类型和“底_右”的对象定向)。

在具有对象的定向和类型的情况下，可以对检测中心从平面摄像头到BEV上的重新投影提供补偿。默认大小值可以用于各个类；例如，大多数轿车具有类似的尺寸(从BEV看，我们只对它们的宽度和高度关注)。然后，我们可以将默认方向应用于具有其前面的指示的BEV边界框。

根据各种实施方式，可以在散列表中指定针对重新投影的中心点的补偿，散列表中对于各个类(如卡车_类型_a_前_左)，可以提供BEV校正向量。使用这些向量，当重新投影各个类时，可以进行补偿。将理解，通过根据各种实施方式的学习策略获得的对象的已知前后定向可以用于其它目的。

根据各种实施方式，各个所识别的2D边界框可以被重新投影，从而实现BEV中的环境的准确描述连同检测到的对象的位置知识。根据各种实施方式的架构可以用于不同的传感器设置。代替导致不同点云密度的各种激光雷达传感器，为了提供深度，可以提供根据单摄像头或立体摄像头预测的深度，或来自雷达读数的深度。

图1示出了图像和对应的边界框(例如边界框102)的图示100。各个边界框可以与在边界框中确定的对象的类以及指示所确定的信息(包括类的边界框)有多可靠的置信度值(或概率值)有关。

图2示出了由图1的场景中的距离传感器确定的距离的图示200。

图3示出了粗重投影图像的图示300，其中例示了对象302。通过应用校正向量和由所识别的类类型暗示的朝向信息，可以进一步校正对象的定位(边界框及其方向)。

图4示出了说明根据各种实施方式的用于确定对象的距离的方法的流程图400。在402处，可以确定包含对象的图像。在404处，可以基于图像确定对象的类。在406处，可以基于距离传感器来确定距离的粗估计。在408处，可以基于粗估计并且基于对象的类来确定对象的距离。

根据各种实施方式，对象的类可以从多个交通参与者类型中选择。

根据各种实施方式，多个交通参与者类型可包括行人、和/或自行车、和/或轿车、和/或卡车。

根据各种实施方式，对象的类可以从多个定向中选择。

根据各种实施方式，多个定向可以包括左、和/或左上、和/或上、和/或右上、和/或右、和/或右下、和/或下、和/或左下。

根据各种实施方式，可以使用人工神经网络来确定类。

根据各种实施方式，人工神经网络可以是SSD型的。

根据各种实施方式，该方法还可以包括确定图像中的对象的边界框。

根据各种实施方式，可以进一步基于边界框来确定粗估计。

根据各种实施方式，可以基于将距离传感器的测量结果与边界框的匹配来确定粗估计。

根据各种实施方式，可以基于对象类的散列表来确定距离。

根据各种实施方式，散列表可以包括(针对各个类别)校正，该校正用于基于粗估计确定距离。

步骤402、404、406、408中的各个步骤以及上述进一步步骤可以由计算机硬件部件来执行。

图5示出了根据各种实施方式的距离确定系统500。距离确定系统500可以包括图像确定电路502、类确定电路504、粗估计确定电路506和距离确定电路508。

图像确定电路502可以被配置成确定包含对象的图像。

类别确定电路504可以被配置成基于图像确定对象的类。

粗估计确定电路506可经配置以基于距离传感器确定距离的粗估计。

距离确定电路508可以被配置成基于粗估计并且基于对象的类来确定对象的距离。

图像确定电路502、类别确定电路504、粗估计确定电路506和距离确定电路508可以例如经由电连接510(例如电缆或计算机总线)或经由任何其它合适的电连接彼此耦接以交换电信号。

“电路”可以被理解为任何类型的逻辑实现实体，其可以是专用电路或执行存储在存储器、固件或其任何组合中的程序的处理器。

图6示出了具有多个计算机硬件部件的计算机系统600，所述多个计算机硬件部件被配置成执行根据各种实施方式的用于确定对象的距离的由计算机实现的方法的步骤。计算机系统600可以包括处理器602、存储器604和非暂时性数据存储部606。摄像头608和距离传感器610可以被提供为计算机系统600的一部分(如图6所例示)，或者可以在计算机系统600的外部提供。

处理器602可以执行存储器604中提供的指令。非暂时性数据存储部606可以存储计算机程序，包括可以传送到存储器604且接着由处理器602执行的指令。摄像头608可以用于确定包含对象的图像。距离传感器610可用于确定粗估计。

处理器602、存储器604和非暂时性数据存储部606可以例如经由电连接612(例如电缆或计算机总线)或经由任何其它合适的电连接彼此耦接以交换电信号。摄像头608和/或距离传感器610可以例如经由外部接口耦接到计算机系统600，或者可以作为计算机系统的一部分来提供(换言之：计算机系统内部，例如经由电连接612耦接)。

术语“耦接”或“连接”旨在分别包括直接“耦接”(例如经由物理链路)或直接“连接”以及间接“耦接”或间接“连接”(例如经由逻辑链路)。

应当理解，已经针对上述方法之一描述的内容可以对于距离确定系统500和/或计算机系统600类似地成立。

附图标记列表

100图像和对应的边界框的图示

102边界框

200图1的场景中由距离传感器确定的距离的图示

300粗重新投影图像的示意图，其中例示了对象

302对象

400例示根据各种实施方式的用于确定对象的距离的方法的流程图

402确定包含对象的图像的步骤；

404基于图像确定对象的类的步骤

406基于距离传感器确定距离的粗估计的步骤

408基于粗估计并且基于对象的类确定对象的距离的步骤

500距离确定系统

502图像确定电路

504类确定电路

506粗估计确定电路

508距离确定电路

510连接

600根据各种实施方式的计算机系统

602处理器

604存储器

606非暂时性数据存储部

608摄像头

610距离传感器

612连接。

Claims (15)

1.一种用于确定对象的距离的由计算机实现的方法，所述方法包括由计算机硬件部件执行的以下步骤：

确定(402)包含所述对象的图像；

基于所述图像确定(404)所述对象的类；

基于距离传感器确定(406)所述距离的粗估计；以及

基于所述粗估计并且基于所述对象的类来确定(408)所述对象的距离。

2.根据权利要求1所述的由计算机实现的方法，其中，所述对象的类是从多个交通参与者类型中选择的。

3.根据权利要求2所述的由计算机实现的方法，其中，所述多个交通参与者类型包括行人、和/或自行车、和/或轿车、和/或卡车。

4.根据权利要求1至3中的至少一项所述的由计算机实现的方法，其中，所述对象的类是从多个定向中选择的。

5.根据权利要求4所述的由计算机实现的方法，其中，所述多个定向包括左、和/或左上、和/或上、和/或右上、和/或右、和/或右下、和/或下、和/或左下。

6.根据权利要求1至5中的至少一项所述的由计算机实现的方法，其中，所述类是使用人工神经网络来确定的。

7.根据权利要求6所述的由计算机实现的方法，其中，所述人工神经网络是SSD型的。

8.根据权利要求1至7中的至少一项所述的由计算机实现的方法，所述方法还包括由所述计算机硬件部件执行的以下步骤：确定图像中对象的边界框。

9.根据权利要求8所述的由计算机实现的方法，其中，所述粗估计是进一步基于所述边界框来确定的。

10.根据权利要求9所述的由计算机实现的方法，其中，所述粗估计是基于将所述距离传感器的测量结果与所述边界框匹配来确定的。

11.根据权利要求1至10中的至少一项所述的由计算机实现的方法，其中，所述距离是基于所述对象的类的散列表来确定的。

12.根据权利要求11所述的由计算机实现的方法，其中，所述散列表包括校正，所述校正用于基于所述粗估计来确定所述距离。

13.一种计算机系统(600)，所述计算机系统(600)包括多个计算机硬件部件，所述多个计算机硬件部件被配置成执行根据权利要求1至12中的至少一项所述的由计算机实现的方法的步骤。

14.一种车辆，所述车辆包括：

根据权利要求13所述的计算机系统(600)；

摄像头(608)，其被配置成获取所述图像；以及

所述距离传感器(610)。

15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至12中的至少一项所述的由计算机实现的方法的指令。

Images