CN112912892A - 自动驾驶方法和装置、距离确定方法和装置 - Google Patents

Abstract

本公开涉及自动驾驶方法，包括：通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类；将可见光图像映射到深度图像，并根据多个第一图像区域所对应的物体种类确定深度图像中多个第二图像区域所对应的物体种类；根据深度图像中多个第二图像区域所对应的物体种类，确定多个第二图像区域中属于第一物体种类物体的目标图像区域；根据目标图像区域的深度信息，确定属于第一物体种类的物体与车辆的距离。根据本公开的实施例，即使在可见光图像中第一物体种类的物体被第二物体种类的物体所遮挡，也能够准确地确定第一物体种类的物体与车辆的距离。

Description

自动驾驶方法和装置、距离确定方法和装置

技术领域

本发明涉及自动驾驶领域，尤其涉及自动驾驶方法、距离确定方法、自动驾驶装置、距离确定装置、可移动平台和机器可读存储介质。

背景技术

为了实现车辆等交通工具的自动驾驶，识别出车辆周围的物体以便进行避让，是不可或缺的技术。

为了有效地进行避让，一方面需要识别出车辆周围的物体，另一方面还需要确定物体到车辆的距离。但是在实际行驶场景中，车辆周围会存在很多物体，物体之间存在遮挡的情况，这会导致对于被遮挡的物体，难以准确地确定其到车辆的距离。

发明内容

本发明提出了自动驾驶方法、距离确定方法、自动驾驶装置、距离确定装置、可移动平台和机器可读存储介质，以解决相关技术中的技术问题。

根据本公开实施例的第一方面，提出一种自动驾驶方法，应用于一车辆，所述车辆上搭载有摄像装置，所述摄像装置用于获取可见光图像，所述方法包括：

通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类；所述物体种类包括第一物体种类和第二物体种类；

将所述可见光图像映射到深度图像，并根据多个所述第一图像区域所对应的物体种类确定所述深度图像中多个第二图像区域所对应的物体种类；

根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第一物体种类物体的目标图像区域；

根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离。

根据本公开实施例的第二方面，提出一种距离确定方法，应用于一可移动平台，所述可移动平台上搭载有摄像装置，包括：

通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类；所述可见光图像由所述摄像装置获取；

将所述可见光图像映射到深度图像，并根据多个所述第一图像区域所对应的物体种类确定所述深度图像中多个第二图像区域所对应的物体种类；

根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第一物体种类的目标图像区域；

根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离。

根据本公开实施例的第三方面，提出一种自动驾驶装置，应用于一车辆，所述车辆上搭载有摄像装置以及处理器，所述处理器用于执行上述任一实施例所述距离确定方法中的步骤。

根据本公开实施例的第四方面，提出一种距离确定装置，应用于一可移动平台，所述可移动平台上搭载有摄像装置以及处理器，所述处理器用于执行上述任一实施例所述距离确定方法中的步骤。

根据本公开实施例的第五方面，提出一种可移动平台，包括：

机体；

动力系统，设于所述机体，所述动力系统用于为所述可移动平台提供动力；

摄像装置，设于所述机体，所述摄像装置用于获取可见光图像；

以及一个或多个处理器，用于执行上述任一实施例所述距离确定方法中的步骤。

根据本公开实施例的第六方面，提出一种机器可读存储介质，适用于可移动平台，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被被配置为执行上述任一实施例所述距离确定方法中的步骤。

根据本公开的实施例，即使在可见光图像中第一物体种类的物体被第二物体种类的物体所遮挡，也能够准确地确定第一物体种类的物体与车辆的距离，以便车辆根据该距离准确地做出响应动作，有利于确保行驶安全。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开的实施例示出的一种自动驾驶方法的示意流程图。

图2是根据本公开的实施例示出的另一种自动驾驶方法的示意流程图。

图3是根据本公开的实施例示出的又一种自动驾驶方法的示意流程图。

图4是根据本公开的实施例示出的一种神经网络的示意图。

图5是根据本公开的实施例示出的又一种自动驾驶方法的示意流程图。

图6是根据本公开的实施例示出的又一种自动驾驶方法的示意流程图。

图7A至图7D是本公开的实施例所示的自动驾驶方法的应用场景示意图。

图8是根据本公开的实施例示出的一种距离确定方法的示意流程图。

图9是根据本公开的实施例示出的另一种距离确定方法的示意流程图。

图10是根据本公开的实施例示出的又一种距离确定方法的示意流程图。

图11是根据本公开的实施例示出的又一种距离确定方法的示意流程图。

图12是根据本公开的实施例示出的又一种距离确定方法的示意流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1是根据本公开的实施例示出的一种自动驾驶方法的示意流程图。本实施例所示的自动驾驶方法可以应用于车辆，所述车辆可以是无人驾驶车辆，在车辆上可以搭载有摄像装置，例如照相机、录像机等，摄像装置可以获取可见光图像。

如图1所示，所述自动驾驶方法可以包括以下步骤：

在步骤S101中，通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类；所述物体种类包括第一物体种类和第二物体种类；

在步骤S102中，将所述可见光图像映射到深度图像，并根据多个所述第一图像区域所对应的物体种类确定所述深度图像中多个第二图像区域所对应的物体种类；

在步骤S103中，根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第一物体种类物体的目标图像区域；

在步骤S104中，根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离。

在一个实施例中，目标识别算法可以是预先通过机器学习训练得到的神经网络，例如卷积神经网络。神经网络可以被训练用于识别图像中每个区域对应的物体种类，例如所述物体种类可以包括第一物体种类和第二物体种类，具体地，第一物体种类可以是动态物体，第二物体种类可以是静态物体。

本公开所述实施例中的步骤(例如上述步骤S102)，主要可以在第二物体种类的物体遮挡第一物体种类的物体时进行，例如，第一物体种类是车辆，第二物体种类是路边的栅栏或绿化带。当前的自动驾驶汽车需要确定其与视野内的车辆的距离，以避免两车相撞而发生交通事故。但是当路边的栅栏或绿化带对其视野内的车辆部分遮挡时，当前的自动驾驶汽车会误识别路边的栅栏或绿化带也是车辆，从而发生距离的误测而发生误操作。通过本方案，可以降低误判的概率，提高自动驾驶的决策准确度，为用户提供更好的自动驾驶体验。

关于确定第二物体种类的物体遮挡第一物体种类的物体的方式，可以根据需要选择，并不限于下面示例的方式。例如在第一物体种类的物体对应的第一图像区域和第二物体种类的物体对应的第一图像区域相接的情况下，可以通过第一预设算法(例如预先通过机器学习得到的模型)识别第一物体种类的物体的完整度，如果第一物体种类的物体完整度大于预设完整度，例如大于95％，具体情况可以是图像中第一物体种类的物体为车辆侧面图像，其中只有前车灯未显示在图像中，那么可以确定第一物体种类的物体未被第二物体种类的物体遮挡；如果第一物体种类的物体完整度小于预设完整度，例如小于95％，例如上述车辆侧面图像中整个车头都未显示在图像中，可以确定第一物体种类的物体被第二物体种类的物体遮挡。

进一步可以根据第一物体种类的物体和第二物体种类的物体在图像中的关系，确定第一种类的物体是否被第二物体种类的物体所遮挡，并且可以将可见光图像映射到深度图像。其中，可见光图像和深度图像之间的映射关系(例如以矩阵的形式表示)可以是预先确定的。

在将可见光图像映射到深度图像后，可见光图像中的第一图像区域也会映射到深度图像中形成第二图像区域，那么第一图像区域对应的物体种类，就是第二图像区域对应的物体种类。

在确定深度图像中每个第二图像区域对应的物体种类后，可以进一步在第二图像区域中确定属于第一物体种类的目标图像区域。由于目标图像区域位于深度图像中，所以目标图像区域的深度信息是可以确定的，而目标图像区域由对应第一物体种类的物体，因此可以根据目标图像区域的深度信息确定第一物体种类的物体的深度信息，进而根据第一物体种类的物体的深度信息可以确定属于第一物体种类的物体与本方法所应用于的车辆的距离。

据此，即使在可见光图像中第一物体种类的物体被第二物体种类的物体所遮挡，也能够准确地确定第一物体种类的物体与车辆的距离，以便车辆根据该距离准确地做出响应动作，有利于确保行驶安全。

可选地，所述深度图像由搭载在所述车辆上的双目摄像设备或者激光雷达获得。

在一个实施例中，在车辆上还可以搭载双目摄像设备，或者搭载激光雷达，那么可以通过双目摄像设备，或者激光雷达来获取所述深度图像。

图2是根据本公开的实施例示出的另一种自动驾驶方法的示意流程图。如图2所示，在根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离之前，所述方法还包括：

在步骤S105中，根据所述深度图像中各个点云的深度信息，对所述深度图像中的点云进行聚类生成聚类结果；

在步骤S106中，根据所述聚类结果对所述目标图像区域进行修正；

其中，所述根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离包括：

在步骤S1041中，根据修正后的目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离。

在一个实施例中，所采集的深度图可以包括多个点云，每个点云可以具备各自深度信息，那么可以根据点云的深度信息对点云进行聚类，例如将深度接近的点云聚类为一类，那么聚类结果中属于同一类的点云，较大概率属于同一个物体，进而可以根据聚类结果对目标图像区域进行修正。

例如聚类结果中属于同一类的点云，其中第一部分点云位于目标图像区域内，第二部分点云位于目标图像区域外，那么可以扩大目标图像区域，使得扩大后的目标图像区域包含第一部分点云和第二部分点云，有利于确保修正后的目标图像区域包含第一物体种类的物体每个部分，进而根据修正后的目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离，有利于保证确定距离的准确性。

例如聚类结果中属于同一类的点云，简称A类点云，全部位于目标图像区域内，但是目标图像区域除了包括A类点云，还包括一小部分其他类点云，那么可以对目标图像区域进行缩小，使得缩小后的目标图像包含全部A类点云，并且不包含其他类点云，有利于确保修正后的目标图像区域仅包含第一物体种类的物体，而不包含其他物体种类的物体，进而根据修正后的目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离，有利于保证确定距离的准确性。

图3是根据本公开的实施例示出的又一种自动驾驶方法的示意流程图。如图3所示，所述通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类包括：

在步骤S1011中，通过所述目标识别算法识别所述可见光图像中每个第一图像区域属于每个物体种类的置信度；

在步骤S1012中，根据所述置信度确定每个第一图像区域对应的物体种类。

在一个实施例中，目标识别算法例如可以是神经网络，所述神经网络可以被训练用于识别图像中每个第一图像区域属于每个物体种类的置信度。

图4是根据本公开的实施例示出的一种神经网络的示意图。

如图4所示，神经网络可以是逐步训练得到的，神经网络可以包括多个依次相连的模块，并且模块之间可以具有向前传播(Skip connection)关系，每个模块包括卷积层Conv、批量归一化层bn和线性整流层Relu。

神经网络的输入量可以表示为N*4*H*W，其中H表示图像的高度，W表示图像的宽度，N表示图像的数量，4表示图像的通道数，例如红(R)、绿(G)、蓝(B)以及深度共4个通道。

神经网络的输出量可以是表示为张量N*K*H*W，其中N的含义与输入量中对应参数的含义相同，K表示物体种类的标识，其中，可以预先设置每种物体种类的标识，以便确定出物体种类后，能够通过相应的标识进行表示。

例如，可以预先粗略划分五类物体，分别是车辆、天空、路面、动态物体、静态物体。其中，可以设置天空的标识为16，路面的标识为1。车辆的具体种类可以有多个，例如轿车标识为19，卡车的标识为20，公交车的标识为21，篷车的标识为22，火车的标识为24，拖车的标识为23，三轮车的标识为28，工程车辆的标识为27。静态物体的具体种类可以有多个，例如楼房的标识为5，墙的标识为6，栅栏的标识为7，护栏的标识为8，桥梁的标识为9，隧道的标识为10，柱子的标识为11，交通灯的标识为12，交通标识的为13，植物的标识为14，地形的标识为15。动态物体的具体种类可以有多个，例如行人的标识为17，起手的标识为18，摩托车的标识为25，自行车的标识为26。

进而可以在输出量中通过K表示物体种类，输出量中的H和W可以表示属于K对应物体种类的物体在图像中的高度和宽度，进而根据H和W可以确定每种K对应物体种类的物体在图像中对应的区域，例如上述实施例中的第一图像区域。

另外，输出量中的K除了可以包含物体种类的标识，还可以包含第一图像区域属于该物体种类的置信度(也可以表示为概率)，也即通过目标识别算法可以识别出可见光图像中每个第一图像区域属于每个物体种类的置信度，从而可以根据置信度确定每个第一图像区域对应的物体种类。

也即对于某个第一图像区域，难以100％确定其所属的物体种类，而是可以确定其可以属于多个物体种类，以及属于每个物体种类的置信度，进而可以根据置信度确定第一图像区域到底应该对应哪个物体种类。例如可以将其中置信度最大的物体种类，作为第一图像区域对应的物体种类，例如第一图像区域20％的置信度属于柱子，30％的置信度属于植物，50％的置信度属于行人，其中最大的置信度为50％，对应的物体种类为行人，那么可以确定第一图像区域属于行人。

图5是根据本公开的实施例示出的又一种自动驾驶方法的示意流程图。如图5所示，在根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离之前，所述方法还包括：

在步骤S107中，根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第二物体种类的物体的第三图像区域；

其中，所述根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离包括；

在步骤S1042中，根据所述目标图像区域的深度信息与所述第三图像区域的深度信息确定属于第一物体种类的物体与所述车辆的距离。

在实际情况中，可以存在以下场景，第一物体种类的物体局部被第二物体种类的物体所遮挡，第一图像区域既包含属于第一物体种类的物体，又包含属于第二物体种类的物体，映射到深度图像中的第二图像区域，也既既包含属于第一物体种类的物体，又包含属于第二物体种类的物体。

例如第二图像区域中属于第二物体种类的物体为第三图像区域，对第二图像区域中属于第一物体种类的物体造成了遮挡，那么属于第一物体种类的物体与车辆的距离，不仅可以考虑目标图像区域的深度信息，还可以考虑第三图像区域的深度信息，也即根据根据目标图像区域的深度信息与第三图像区域的深度信息确定属于第一物体种类的物体与可移动平台的距离。

由于识别算法本身存在一定的不准确性，在确定第一图像区域中属于第一物体种类的物体和属于第二物体种类的物体时，针对部分像素可能会产生错误的判断结果，将实际上应该属于第二物体种类的物体的像素，确定为属于第一物体种类的物体，或者将实际上应该属于第一物体种类的物体的像素，确定为属于第二物体种类的物体，因此，本实施例综合考虑目标图像区域的深度信息以及第三图像区域的深度信息来确定属于第一物体种类的物体与车辆的距离，以便在对部分像素误判的情况下，也能够考虑到被误判像素的深度信息，有利于确保确定距离的准确性。

可选地，属于第二物体种类的物体的第一图像区域和属于第一物体种类的物体的第一图像区域在所述可见光图像中相邻。

在一个实施例中，在上述出现误判的情况下，一种情况是是将属于第一物体种类的物体中部分像素误判为属于第二物体种类的物体，那么这部分像素在可见光图像中对应的第一图像区域，和属于第一物体种类的物体的另外一部分像素应该是相邻的(具体是相接的)。

也即在属于第二物体种类的物体的第一图像区域和属于第一物体种类的物体的第一图像区域在可见光图像中相邻的情况下，那么才较为可能出现误判的情况，因此才根据目标图像区域的深度信息与第三图像区域的深度信息确定属于第一物体种类的物体与车辆的距离。而在属于第二物体种类的物体的第一图像区域和属于第一物体种类的物体的第一图像区域在可见光图像中不相邻的情况下，那么判断结果一般是准确的，所以可以不必根据目标图像区域的深度信息与第三图像区域的深度信息确定属于第一物体种类的物体与车辆的距离，而只是根据目标图像区域的深度信息确定属于第一物体种类的物体与车辆的距离即可。

图6是根据本公开的实施例示出的又一种自动驾驶方法的示意流程图。如图6所示，所述根据所述目标图像区域的深度信息与所述第三图像区域的深度信息确定属于第一物体种类的物体与所述车辆的距离包括：

在步骤S10421中，通过第一权值对所述目标图像区域的深度信息进行加权，以及通过第二权值对所述第三图像区域的深度信息进行加权，计算加权后的两者之和获得所述属于第一物体种类的物体与所述车辆的距离。

在一个实施例中，根据目标图像区域的深度信息与第三图像区域的深度信息确定属于第一物体种类的物体与车辆的距离，具体可以通过第一权值对目标图像区域的深度信息进行加权，以及通过第二权值对第三图像区域的深度信息进行加权，计算加权后的两者之和获得属于第一物体种类的物体与车辆的距离。其中，第一权值和第二权值可以根据需要设定，一般情况下，可以设定第一权值大于第二权值。

可选地，所述目标识别算法为卷积神经网络。

可选地，所述卷积神经网络包括多组层结构，每组层结构包含卷积层、批量归一化层和线性整流层。

可选地，所述卷积神经网络包括残差网络。

图7A至图7D是本公开的实施例所示的自动驾驶方法的应用场景示意图。

如图7A所示，为车辆视角的示意图，在图中可以看出，左前方有车辆，车辆靠右一些有行人，其中车辆被绿化带中的植物遮挡了后半部。

在一个实施例中，可以预先为每个物体种类设置对应的颜色，进而将图7A所示图像输入上述实施例中的卷积神经网络，那么可以确定图像中每个区域中的像素所属物体的物体种类，进而根据物体种类对像素进行着色，着色结果如图7B所示，基于图7B所示的着色结果，可以清楚地的区分出车辆、行人、路面、交通灯、绿化带中的植物等物体。

由于图7B所示图像中物体种类较多，可以对于其中的物体种类进行进一步规律，例如归类为为上述实施例中的五类：车辆、天空、路面、动态物体、静态物体。进而确定图像中的像素属于这五类物体中的哪一类，然后根据所述的类别对应的颜色对像素进行着色，那么可以简化图像中的着色，得到如图7C所示的图像，如图7C所示，交通灯、植物、远处的山等都属于静态物体，因此可以通过相同颜色着色，天空通过一种颜色着色，路面通过一种颜色着色，那么在图像中就仅剩下左侧的车辆和车辆右侧的行人，那么对于车辆和属于静态物体的行人，可以通过不同的颜色进行着色，从而通过五种颜色即可将图像中每一类物体清晰的标识出来。

需要说明的是，图7C的着色是可选地，也可以在得到图7B后，就执行后续渲染操作，而不必在得到图7C后再进行后续渲染。

进而根据上述图7B或者图7C所示的图像，由于已经确定了每个像素所属的物体的物体类别，并进行了着色，那么可以根据着色结果进一步对图像进行渲染，如图7D所示，使得渲染后的图像与显示场景中物体的颜色较为接近，并且能够对车辆、行人等容易对驾驶产生影响的物体进行突出的渲染，以便根据渲染结果能够准确地确定图像中哪些物体是需要注意的物体，进而对这些物体进行测距，从而对距离较近的物体进行有效避让，以便确保自动驾驶过程中的行驶安全。

图8是根据本公开的实施例示出的一种距离确定方法的示意流程图。本实施例所示的自动驾驶方法可以应用于可移动平台，所述可移动平台上搭载有摄像装置，例如照相机、录像机等，摄像装置可以获取可见光图像。

如图8所示，所述距离确定方法可以包括以下步骤：

在步骤S201中，通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类；所述可见光图像由所述摄像装置获取；

在步骤S202中，将所述可见光图像映射到深度图像，并根据多个所述第一图像区域所对应的物体种类确定所述深度图像中多个第二图像区域所对应的物体种类；

在步骤S203中，根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第一物体种类的目标图像区域；

在步骤S204中，根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离。

根据本公开的实施例，即使在可见光图像中第一物体种类的物体被第二物体种类的物体所遮挡，也能够准确地确定第一物体种类的物体与可移动平台的距离，以便可移动平台所在车辆能够根据该距离准确地做出响应动作，有利于确保行驶安全。

可选地，所述可移动平台为汽车。

可选地，所述第一物体种类为动态物体。

可选地，所述第一物体种类包括汽车。

可选地，所述深度图像由搭载在所述可移动平台上的双目摄像设备或者激光雷达获得。

图9是根据本公开的实施例示出的另一种距离确定方法的示意流程图。如图9所示，在根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离之前，所述方法还包括：

在步骤S205中，根据所述深度图像中各个点云的深度信息，对所述深度图像中的点云进行聚类生成聚类结果；

在步骤S206中，根据所述聚类结果对所述目标图像区域进行修正；

其中，所述根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离包括：

在步骤S2041中，根据修正后的目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离。

在一个实施例中，所采集的深度图可以包括多个点云，每个点云可以具备各自深度信息，那么可以根据点云的深度信息对点云进行聚类，例如将深度接近的点云聚类为一类，那么聚类结果中属于同一类的点云，较大概率属于同一个物体，进而可以根据聚类结果对目标图像区域进行修正。

例如聚类结果中属于同一类的点云，其中第一部分点云位于目标图像区域内，第二部分点云位于目标图像区域外，那么可以扩大目标图像区域，使得扩大后的目标图像区域包含第一部分点云和第二部分点云，有利于确保修正后的目标图像区域包含第一物体种类的物体每个部分，进而根据修正后的目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离，有利于保证确定距离的准确性。

例如聚类结果中属于同一类的点云，简称A类点云，全部位于目标图像区域内，但是目标图像区域除了包括A类点云，还包括一小部分其他类点云，那么可以对目标图像区域进行缩小，使得缩小后的目标图像包含全部A类点云，并且不包含其他类点云，有利于确保修正后的目标图像区域仅包含第一物体种类的物体，而不包含其他物体种类的物体，进而根据修正后的目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离，有利于保证确定距离的准确性。

图10是根据本公开的实施例示出的又一种距离确定方法的示意流程图。如图10所示，所述通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类包括：

在步骤S2011中，通过所述目标识别算法识别所述可见光图像中每个第一图像区域属于每个物体种类的置信度；

在步骤S2012中，根据所述置信度确定每个第一图像区域对应的物体种类。

在一个实施例中，目标识别算法例如可以是神经网络，所述神经网络可以被训练用于识别图像中每个第一图像区域属于每个物体种类的置信度。例如可以采用如图4所示的神经网络。

由于对于某个第一图像区域，难以100％确定其所属的物体种类，而是可以确定其可以属于多个物体种类，以及属于每个物体种类的置信度，进而可以根据置信度确定第一图像区域到底应该对应哪个物体种类。例如可以将其中置信度最大的物体种类，作为第一图像区域对应的物体种类，例如第一图像区域20％的置信度属于柱子，30％的置信度属于植物，50％的置信度属于行人，其中最大的置信度为50％，对应的物体种类为行人，那么可以确定第一图像区域属于行人。

图11是根据本公开的实施例示出的又一种距离确定方法的示意流程图。如图11所示，在根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离之前，所述方法还包括：

在步骤S207中，根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第二物体种类的第三图像区域；

其中，所述根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离包括：

在步骤S2042中，根据所述目标图像区域的深度信息与所述第三图像区域的深度信息确定属于第一物体种类的物体与所述可移动平台的距离。

可选地，属于第二物体种类的第一图像区域和属于第一物体种类的第一图像区域在所述可见光图像中相邻。

在实际情况中，第一物体种类的物体局部被第二物体种类的物体所遮挡，第一图像区域既包含属于第一物体种类的物体，又包含属于第二物体种类的物体，映射到深度图像中的第二图像区域，也既既包含属于第一物体种类的物体，又包含属于第二物体种类的物体。

例如第二图像区域中属于第二物体种类的物体为第三图像区域中，对第二图像区域中属于第一物体种类的物体造成了遮挡，那么属于第一物体种类的物体与车辆的距离，不仅可以考虑目标图像区域的深度信息，还可以考虑第三图像区域的深度信息，也即根据根据目标图像区域的深度信息与第三图像区域的深度信息确定属于第一物体种类的物体与可移动平台的距离。

由于识别算法本身存在一定的不准确性，在确定第一图像区域中属于第一物体种类的物体和属于第二物体种类的物体时，针对部分像素可能会产生错误的判断结果，将实际上应该属于第二物体种类的物体的像素，确定为属于第一物体种类的物体，或者将实际上应该属于第一物体种类的物体的像素，确定为属于第二物体种类的物体，因此，本实施例综合考虑目标图像区域的深度信息以及第三图像区域的深度信息来确定属于第一物体种类的物体与车辆的距离，以便在对部分像素误判的情况下，也能够考虑到被误判像素的深度信息，有利于确保确定距离的准确性。

图12是根据本公开的实施例示出的又一种距离确定方法的示意流程图。如图12所示，所述根据所述目标图像区域的深度信息与所述第三图像区域的深度信息确定属于第一物体种类的物体与所述可移动平台的距离包括：

在步骤S20421中，通过第一权值对所述目标图像区域的深度信息进行加权，以及通过第二权值对所述第三图像区域的深度信息进行加权，计算加权后的两者之和获得所述属于第一物体种类的物体与所述可移动平台的距离。

在一个实施例中，根据目标图像区域的深度信息与第三图像区域的深度信息确定属于第一物体种类的物体与车辆的距离，具体可以通过第一权值对目标图像区域的深度信息进行加权，以及通过第二权值对第三图像区域的深度信息进行加权，计算加权后的两者之和获得属于第一物体种类的物体与车辆的距离。其中，第一权值和第二权值可以根据需要设定，一般情况下，可以设定第一权值大于第二权值。

可选地，所述目标识别算法为卷积神经网络。

可选地，所述卷积神经网络包括多组层结构，每组层结构包含卷积层、批量归一化层和线性整流层。

可选地，所述卷积神经网络包括残差网络。

本公开的实施例还提出了一种自动驾驶装置，应用于一车辆，所述车辆上搭载有摄像装置以及处理器，所述处理器用于执行如上述任一实施例所述距离确定方法中的步骤。

本公开的实施例还提出了一种距离确定装置，应用于一可移动平台，所述可移动平台上搭载有摄像装置以及处理器，所述处理器用于执行如上述任一实施例所述距离确定方法中的步骤。

本公开的实施例还提出了一种可移动平台，包括：

机体；

动力系统，设于所述机体，所述动力系统用于为所述可移动平台提供动力；

摄像装置，设于所述机体，所述摄像装置用于获取可见光图像；

以及一个或多个处理器，用于执行上述任一实施例所述距离确定方法中的步骤。

在一实施例中，所述可移动平台为无人机、自动驾驶汽车等。

本公开的实施例还提出了一种机器可读存储介质，适用于可移动平台，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被被配置为执行上述任一实施例所述距离确定方法中的步骤。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (27)

1.一种自动驾驶方法，其特征在于，应用于一车辆，所述车辆上搭载有摄像装置，所述摄像装置用于获取可见光图像，所述方法包括：

通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类；所述物体种类包括第一物体种类和第二物体种类；

将所述可见光图像映射到深度图像，并根据多个所述第一图像区域所对应的物体种类确定所述深度图像中多个第二图像区域所对应的物体种类；

根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第一物体种类物体的目标图像区域；

根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离。

2.根据权利要求1所述的方法，其特征在于，所述深度图像由搭载在所述车辆上的双目摄像设备或者激光雷达获得。

3.根据权利要求1所述的方法，其特征在于，在根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离之前，所述方法还包括：

根据所述深度图像中各个点云的深度信息，对所述深度图像中的点云进行聚类生成聚类结果；

根据所述聚类结果对所述目标图像区域进行修正；

其中，所述根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离包括：

根据修正后的目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离。

4.根据权利要求1所述的方法，其特征在于，所述通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类包括：

通过所述目标识别算法识别所述可见光图像中每个第一图像区域属于每个物体种类的置信度；

根据所述置信度确定每个第一图像区域对应的物体种类。

5.根据权利要求1所述的方法，其特征在于，在根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离之前，所述方法还包括：

根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第二物体种类的物体的第三图像区域；

其中，所述根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述车辆的距离包括；

根据所述目标图像区域的深度信息与所述第三图像区域的深度信息确定属于第一物体种类的物体与所述车辆的距离。

6.根据权利要求5所述的方法，其特征在于，属于第二物体种类的物体的第一图像区域和属于第一物体种类的物体的第一图像区域在所述可见光图像中相邻。

7.根据权利要求5所述的方法，其特征在于，所述根据所述目标图像区域的深度信息与所述第三图像区域的深度信息确定属于第一物体种类的物体与所述车辆的距离包括：

通过第一权值对所述目标图像区域的深度信息进行加权，以及通过第二权值对所述第三图像区域的深度信息进行加权，计算加权后的两者之和获得所述属于第一物体种类的物体与所述车辆的距离。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述目标识别算法为卷积神经网络。

9.根据权利要求8所述的方法，其特征在于，所述卷积神经网络包括多组层结构，每组层结构包含卷积层、批量归一化层和线性整流层。

10.根据权利要求9所述的方法，其特征在于，所述卷积神经网络包括残差网络。

11.一种距离确定方法，其特征在于，应用于一可移动平台，所述可移动平台上搭载有摄像装置，包括：

通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类；所述可见光图像由所述摄像装置获取；

将所述可见光图像映射到深度图像，并根据多个所述第一图像区域所对应的物体种类确定所述深度图像中多个第二图像区域所对应的物体种类；

根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第一物体种类的目标图像区域；

根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离。

12.根据权利要求11所述的方法，其特征在于，所述可移动平台为汽车。

13.根据权利要求11所述的方法，其特征在于，所述第一物体种类为动态物体。

14.根据权利要求11所述的方法，其特征在于，所述第一物体种类包括汽车。

15.根据权利要求11所述的方法，其特征在于，所述深度图像由搭载在所述可移动平台上的双目摄像设备或者激光雷达获得。

16.根据权利要求11所述的方法，其特征在于，在根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离之前，所述方法还包括：

根据所述深度图像中各个点云的深度信息，对所述深度图像中的点云进行聚类生成聚类结果；

根据所述聚类结果对所述目标图像区域进行修正；

其中，所述根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离包括：

根据修正后的目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离。

17.根据权利要求11所述的方法，其特征在于，所述通过预设的目标识别算法识别可见光图像中多个第一图像区域所对应的物体种类包括：

通过所述目标识别算法识别所述可见光图像中每个第一图像区域属于每个物体种类的置信度；

根据所述置信度确定每个第一图像区域对应的物体种类。

18.根据权利要求11所述的方法，其特征在于，在根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离之前，所述方法还包括：

根据所述深度图像中多个第二图像区域所对应的物体种类，确定多个所述第二图像区域中属于第二物体种类的第三图像区域；

其中，所述根据所述目标图像区域的深度信息，确定属于第一物体种类的物体与所述可移动平台的距离包括：

根据所述目标图像区域的深度信息与所述第三图像区域的深度信息确定属于第一物体种类的物体与所述可移动平台的距离。

19.根据权利要求18所述的方法，其特征在于，属于第二物体种类的第一图像区域和属于第一物体种类的第一图像区域在所述可见光图像中相邻。

20.根据权利要求18所述的方法，其特征在于，所述根据所述目标图像区域的深度信息与所述第三图像区域的深度信息确定属于第一物体种类的物体与所述可移动平台的距离包括：

通过第一权值对所述目标图像区域的深度信息进行加权，以及通过第二权值对所述第三图像区域的深度信息进行加权，计算加权后的两者之和获得所述属于第一物体种类的物体与所述可移动平台的距离。

21.根据权利要求11至20中任一项所述的方法，其特征在于，所述目标识别算法为卷积神经网络。

22.根据权利要求11所述的方法，其特征在于，所述卷积神经网络包括多组层结构，每组层结构包含卷积层、批量归一化层和线性整流层。

23.根据权利要求12所述的方法，其特征在于，所述卷积神经网络包括残差网络。

24.一种自动驾驶装置，其特征在于，应用于一车辆，所述车辆上搭载有摄像装置以及处理器，所述处理器用于执行权利要求11至23中任一项所述距离确定方法中的步骤。

25.一种距离确定装置，其特征在于，应用于一可移动平台，所述可移动平台上搭载有摄像装置以及处理器，所述处理器用于执行权利要求11至23中任一项所述距离确定方法中的步骤。

26.一种可移动平台，其特征在于，包括：

机体；

动力系统，设于所述机体，所述动力系统用于为所述可移动平台提供动力；

摄像装置，设于所述机体，所述摄像装置用于获取可见光图像；

以及一个或多个处理器，用于执行权利要求11至23中任一项所述距离确定方法中的步骤。

27.一种机器可读存储介质，其特征在于，适用于可移动平台，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被配置为执行权利要求11至23中任一项所述距离确定方法中的步骤。

Images