CN111426299B - 一种基于目标物的景深进行测距的方法及装置 - Google Patents

Abstract

本说明书公开了一种基于目标物的景深进行测距的方法及装置，获取到待预测图像后，可以将待预测图像输入到预先训练的特征提取模型，以确定待预测图像对应的图像特征，其中，针对待预测图像涉及的每个目标物，待预测图像对应的图像特征中该目标物所对应的各特征值相近。而后，将待预测图像对应的图像特征输入到预先训练的景深预测模型，以预测出待预测图像涉及的每个目标物对应的景深值，并对无人驾驶设备与各目标物之间的距离进行测距，在一定程度上提高了确定出的待预测图像涉及的各目标物对应的景深值的准确性。

Description

一种基于目标物的景深进行测距的方法及装置

技术领域

本说明书涉及无人驾驶技术领域，尤其涉及一种基于目标物的景深进行测距的方法及装置。

背景技术

当前，在无人驾驶设备的自动行驶过程中，检测该无人驾驶设备周围的障碍物并控制无人驾驶设备进行躲避，能够在一定程度上保证无人驾驶设备的行驶安全。

在实际应用中，无人驾驶设备可以采集周围的图像，并识别采集到的图像所涉及的障碍物对应的景深值，来确定障碍物与无人驾驶设备的距离，从而控制无人驾驶设备安全行驶。

其中，障碍物对应的景深值可以通过景深预测模型来确定，具体的，可以将采集到的图像输入到该景深预测模型中，确定出图像中障碍物对应的景深值。通常来说，属于同一障碍物的景深值应是差异不大的，但是在实际应用中，可能会出现该景深预测模型确定出的同一障碍物对应的景深值相差较大的情况，即，该景深预测模型确定出的景深值的准确性较低，相应的，基于准确性较低的景深值来对无人驾驶设备进行控制，可能会导致无人驾驶设备在行驶的过程中存在一定的安全隐患。

所以，如何准确的通过采集到的图像确定出障碍物对应的景深值，则是一个亟待解决的问题。

发明内容

本说明书提供一种基于目标物的景深进行测距的方法及装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种基于目标物的景深进行测距的方法，包括：

获取待预测图像；

将所述待预测图像输入到预先训练的特征提取模型，以确定所述待预测图像对应的图像特征，其中，针对所述待预测图像涉及的每个目标物，所述待预测图像对应的图像特征中该目标物所对应的各特征值相近，所述特征提取模型是通过与能够识别图像中各目标物的图像识别模型进行联合训练得到的；

将所述待预测图像对应的图像特征输入到预先训练的景深预测模型，以预测出所述待预测图像涉及的每个目标物对应的景深值；

根据预测出的所述待预测图像涉及的每个目标物对应的景深值，对无人驾驶设备与各目标物之间的距离进行测距。

可选地，所述方法还包括：

根据确定出的所述各目标物与所述无人驾驶设备之间的距离，对所述无人驾驶设备进行控制。

可选地，所述特征提取模型以及所述景深预测模型是通过如下方式训练得到的，具体包括：

获取各样本图像；

针对每个样本图像，将该样本图像输入到所述特征提取模型中，以确定该样本图像对应的图像特征；

将该样本图像对应的图像特征输入到所述景深预测模型，以预测出该样本图像对应的景深值，作为预测景深值，以及将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果；

以最小化所述预测景深值与该样本图像对应的标注景深值之间的差异，以及最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练。

可选地，所述预测识别结果包括：该样本图像中包含的每个目标物的图像在该样本图像中所处的图像识别区域、该样本图像中包含的每个目标物的图像对应的目标物分割值中的至少一种；

所述标注识别结果包括：该样本图像中包含的每个目标物的图像在该样本图像中所处的标注识别区域、该样本图像中包含的每个目标物的图像所对应的标注分割值中的至少一种。

可选地，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果，具体包括：

针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到图像识别模型，以确定该目标物的图像在该样本图像中所处的图像识别区域；

最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练，具体包括：

以最小化该目标物的图像在该样本图像中所处的图像识别区域与该目标物的图像在该样本图像中所处的标注识别区域之间的差异为优化目标，对所述特征提取模型、所述景深预测模型以及所述图像识别模型进行训练。

可选地，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果，具体包括：

针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到图像识别模型，以确定该目标物的图像所对应的目标物分割值；

最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练，具体包括：

以最小化该目标物的图像所对应的目标物分割值与该目标物的图像所对应的标注分割值之间的差异为优化目标，对所述特征提取模型、所述景深预测模型以及所述图像识别模型进行训练。

可选地，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果，具体包括：

针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到图像识别模型，以确定该目标物的图像在该样本图像中所处的图像识别区域以及该目标物的图像所对应的目标物分割值；

最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练，具体包括：

以最小化该目标物的图像在该样本图像中所处的图像识别区域与该目标物的图像在该样本图像中所处的标注识别区域之间的差异，以及最小化该目标物的图像所对应的目标物分割值与该目标物的图像所对应的标注分割值之间的差异为优化目标，对所述特征提取模型、所述景深预测模型以及所述图像识别模型进行训练。

本说明书提供了一种基于目标物的景深进行测距的装置，包括：

获取模块，用于获取待预测图像；

提取模块，用于将所述待预测图像输入到预先训练的特征提取模型，以确定所述待预测图像对应的图像特征，其中，针对所述待预测图像涉及的每个目标物，所述待预测图像对应的图像特征中该目标物所对应的各特征值相近，所述特征提取模型是通过与能够识别图像中各目标物的图像识别模型进行联合训练得到的；

预测模块，用于将所述待预测图像对应的图像特征输入到预先训练的景深预测模型，以预测出所述待预测图像涉及的每个目标物对应的景深值；

测距模块，用于根据预测出的所述待预测图像涉及的每个目标物对应的景深值，对所述装置与各目标物之间的距离进行测距。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于目标物的景深进行测距的方法。

本说明书提供了一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于目标物的景深进行测距的方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的无人驾驶设备的控制方法中，获取到无人驾驶设备采集的待预测图像后，可以将待预测图像输入到预先训练的特征提取模型，以确定待预测图像对应的图像特征。其中，针对待预测图像涉及的每个目标物，待预测图像对应的图像特征中该目标物所对应的各特征值相近。而后，将待预测图像对应的图像特征输入到预先训练的景深预测模型，以预测出待预测图像涉及的每个目标物对应的景深值，并根据预测出的待预测图像涉及的每个目标物对应的景深值，对无人驾驶设备与各目标物之间的距离进行测距。

从上述方法中可以看出，本方法是在确定出了待预测图像的图像特征后，将该图像特征输入景深预测模型对待预测图像涉及的各目标物对应的景深值进行预测。其中，针对待预测图像涉及的每个目标物，在该图像特征中该目标物对应的各特征值不会相差过大，通过这样的图像特征确定出的该目标物对应的景深值也就能够在数值上较为接近。因此，相比于现有技术，在一定程度上提高了确定出的待预测图像涉及的各目标物对应的景深值的准确性，从而能够通过较为准确的测出无人驾驶设备与各目标物之间的距离，进而有效地提高了无人驾驶设备在行驶过程中的安全性。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中一种基于目标物的景深进行测距的方法的流程示意图；

图2为本说明书提供的一种基于目标物的图像在样本图像中所处的区域进行模型训练的示意图；

图3A、图3B为本说明书提供的一种基于分割值进行模型训练的示意图；

图4为本说明书提供的一种基于目标物的景深进行测距的装置的示意图；

图5为本说明书提供的对应于图1的无人驾驶设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中一种基于目标物的景深进行测距的方法的流程示意图，具体包括以下步骤：

S101：获取待预测图像。

在无人驾驶设备的行驶过程中，无人驾驶设备周围可能会存在许多能够影响无人驾驶设备的行驶的目标物，如无人驾驶设备周围行驶的车辆、道路中的路障、行人等。而无人驾驶设备在行驶过程中可以通过图像采集器采集到包含有这些目标物的图像，作为待预测图像，并对待预测图像涉及的各目标物对应的景深值进行预测，从而实现对该无人驾驶设备的控制，以保证该无人驾驶设备的行驶安全。其中，这里提到的图像采集器是指在无人驾驶设备上安装的相机、摄像头等图像采集装置。

这里提到的无人驾驶设备可以是指无人车、机器人、自动配送设备等能够实现自动驾驶的设备。基于此，应用本说明书提供的无人驾驶设备的控制方法的无人驾驶设备可以用于执行配送领域的配送任务，如，使用无人驾驶设备进行快递、物流、外卖等配送的业务场景。

需要说明的是，用于实现本说明书提供的无人驾驶设备的控制方法的执行主体可以是无人驾驶设备本身，也可以是服务平台。对于服务平台为执行主体的情况来说，无人驾驶设备采集到待预测图像后可以上传到服务平台中，服务平台可以对待预测图像涉及的各目标物对应的景深值进行预测，进而对无人驾驶设备对与各目标物之间的距离实施测距。而为了便于描述，下面仅以执行主体为无人驾驶设备为例，对本说明书提供的无人驾驶设备的控制方法进行说明。

S102：将所述待预测图像输入到预先训练的特征提取模型，以确定所述待预测图像对应的图像特征，其中，针对所述待预测图像涉及的每个目标物，所述待预测图像对应的图像特征中该目标物所对应的各特征值相近。

S103：将所述待预测图像对应的图像特征输入到预先训练的景深预测模型，以预测出所述待预测图像涉及的每个目标物对应的景深值。

无人驾驶设备获取到待预测图像后，可以将该待预测图像输入到预先训练的特征提取模型中，确定出该待预测图像对应的图像特征，并将该图像特征输入到预先训练的景深预测模型，以对该待预测图像涉及的各目标物的景深值进行预测。其中，这里提到的该待预测图像涉及的各目标物，是指该待预测图像中所包含的被无人驾驶设备的图像采集器捕捉到图像的目标物。

在本说明书中，该特征提取模型可与景深预测模型联合进行训练，而为了使景深预测模型在进行景深值预测时能够具备一定的区分目标物的能力，从而提高景深值预测的准确性，这里可以引入图像识别模型，参与到特征提取模型以及景深预测模型的联合训练中。

具体的，无人驾驶设备可以获取到预先进行标注过的各样本图像，并针对每个样本图像，将该样本图像输入到特征提取模型中，确定出该样本图像对应的图像特征。而后，将该样本图像对应的图像特征分别输入到景深预测模型和图像识别模型中，并通过景深预测模型对该样本图像进行景深值预测，得到预测景深值，以及通过图像识别模型对该样本图像涉及的各目标物进行识别，并将得到的识别结果作为预测识别结果。无人驾驶设备可以最小化预测景深值与该样本图像对应的标注景深值，以及最小化预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对特征提取模型以及景深预测模型进行训练。

从这一训练过程可以看出，若是通过上述方式完成特征提取模型以及景深预测模型的训练，可以保证景深预测模型输出的预测景深值接近该标注景深值的同时，还能保证图像识别模型输出的预测识别结果与该标注识别结果相接近，这样可以使得特征提取模型能够参考该样本图像中包含的各目标物在图像上的区别进行特征提取。

在本说明书中，无人驾驶设备对该样本图像涉及的各目标物进行识别后所得到的识别结果的具体形式可以有多种，例如，该识别结果可以是指图像识别模型识别出的各目标物的图像在该样本图像中所处的图像识别区域。即，无人驾驶设备将该样本图像的图像特征输入到图像识别模型中后，可以针对该样本图像所涉及的每个目标物，确定出该目标物的图像大致位于该样本图像中的哪一区域。相应的，对于这种形式的识别结果来说，与之对应的该样本图像的标注识别结果应为在该样本图像中所标注出的该目标物的图像的所在区域，称之为该目标物的图像在该样本图像中所处的标注识别区域，如图2所示。

图2为本说明书提供的一种基于目标物的图像在样本图像中所处的区域进行模型训练的示意图。

图2中的样本图像中含有一个目标物的图像，在图中圆形所围成的区域即为该目标物的图像，图中实线矩形所围成的区域即为该目标物的图像在该样本图像中所处的标注识别区域，可以看出，该标注识别区域标注出了该目标物的图像在该样本图像中所处的实际区域。而通过图像识别模型识别出的该目标物对应的图像识别区域为图2中虚线围成的矩形。

从图2中可以看出，图像识别模型识别出的该目标物的图像在该样本图像中所处的图像识别区域，与该目标物的图像在该样本图像中的标注识别区域（即实际区域）存在差异，所以，无人驾驶设备可以最小化该标注识别区域与该图像识别区域之间的差异为优化目标对该图像识别模型进行训练，使得训练后的图像识别模型所输出的该目标物的图像在该样本图像中所处的图像识别区域，能够尽可能的接近该标注识别区域。

除了上述提到的图像识别区域的形式外，该识别结果还可以是指该样本图像包含的各目标物的图像对应的目标物分割值，这里提到的目标物分割值可以用于在样本图像中划分出目标物的图像轮廓。相应的，对于这种形式的识别结果来说，与之对应的该样本图像的标注识别结果应为在该样本图像中所标注出的该目标物所对应的分割值，称之为该目标物的图像对应的标注分割值，如图3A、图3B所示。

图3A、图3B为本说明书提供的一种基于分割值进行模型训练的示意图。

如图3A所示，该目标物的图像所对应的标注分割值用于在该样本图像中划分出该目标物的图像的实际图像轮廓。其中，对于一个像素来说，若是该像素属于该目标物的图像的像素，则可以将该像素所对应的分割值标为数字1，若是该像素不属于该目标物的图像的像素，则可以将该像素所对应的分割值标为数字0。也就是说，若是样本图像中只包含有一个目标物，则该目标物的图像的内部均用数字1表示，该目标物的图像的外部均用数字0表示。

图3B中示出了图像识别模型识别出的该目标物的图像所对应的目标物分割值，该目标物分割值用于在样本图像中划分出该图像识别模型所识别出该目标物的图像轮廓。其中，针对该样本图像中的每个像素，若是该图像识别模型识别出该像素位于该目标物的图像的内部，则可将该像素对应的分割值确定为数字1，若是该图像识别模型识别出该像素位于该目标物的图像的外部，则可将该像素对应的分割值确定为数字0。

而从图3B中可以看出，多个位于该目标物的图像边缘的像素对应的分割值被误识别为数字0，但实际上这些像素是位于该目标物的图像的内部的，这些像素对应的分割值应为数字1。也就是说，图像识别模型识别出的该目标物的图像所对应的目标物分割值存在一定的误差。而为了提高图像识别模型识别该目标物的图像所对应的目标物分割值的准确性，可以最小化该目标物的图像对应的目标物分割值与该目标物的图像所对应的标注分割值之间的差异作为优化目标，对特征提取模型、景深预测模型以及图像识别模型进行训练，以使图像识别模型确定出的该目标物的图像所对应的目标物分割值，尽可能的接近该目标物的图像所对应的标注分割值。

上述提到的是只基于目标物图像在样本图像中所处的区域或者只基于分割值对图像识别模型进行训练的，在实际应用中，无人驾驶设备也可以基于目标物图像在样本图像中所处的区域以及分割值对图像识别模型训练。

其中，无人驾驶设备可以针对每个样本图像，将该样本图像对应的图像特征输入到图像识别模型中，并针对该样本图像中包含的每个目标物，确定出该目标物的图像对应的目标物分割值以及该目标物的图像在该样本图像中所处的图像识别区域。无人驾驶设备可以将最小化该目标物的图像在该样本图像中所处的图像识别区域与该目标物的图像在该样本图像中所处的标注识别区域之间的差异，以及该目标物的图像对应的目标物分割值与该目标物的图像所对应的标注分割值之间的差异作为优化目标，对特征提取模型、景深预测模型以及图像识别模型进行联合训练。

为了提高特征提取模型对图像中各目标物的区分能力，在本说明书中，可以进一步地引入一个前后景区分模型，该前后景区分模型可以对样本图像进行前景和背景的区分，所谓的前景就是指样本图像中目标物的图像所在的区域，而背景则是指样本图像中除目标物的图像所处区域以外的其他区域。基于此，将样本图像输入到特征提取模型中后，可以将特征提取模型输出的该样本图像对应的图像特征以及该样本图像输入到该前后景区分模型中，以使该前后景模型对该样本图像进行前后景区分，得到区分结果。进一步地，可以将该区分结果以及该样本图像对应的图像特征输入到该图像识别模型中，以使该图像识别模型能够基于该图像特征以及该区分结果，确定出该样本图像中包含的各目标物的图像在该样本图像所在的图像识别区域以及各目标物的图像所对应的目标物分割值。

其中，对于该前后景区分模型来说，可以与特征提取模型、景深预测模型以及图像识别模型一起进行联合训练，即，该样本图像对应有标注区分结果（该标注区分结果用于表示人工标注出的该样本图像中前景和背景），所以，在上述提到的联合训练的基础上，可以进一步地保证最小化前后景区分模型输出的区分结果与标注区分结果之间的差异为优化目标，对该前后景区分模型进行训练。而由于加入了前后景区分模型，可以保证图像识别模型能够得到更为准确的识别效果，而在保证图像识别模型识别效果更为准确的情况下，可以进一步地提高特征提取模型对于图像中目标物的区分能力，从而进一步地提高景深预测模型预测景深的准确性。

上述提到的对特征提取模型、景深预测模型以及图像识别模型进行训练的执行主体为无人驾驶设备，当然在实际应用中，特征提取模型、景深预测模型以及图像识别模型也可以由服务平台进行联合训练。服务平台在完成特征提取模型以及景深预测模型的训练后，可以将训练后的特征提取模型以及景深预测模型配置在无人驾驶设备中，以使无人驾驶设备通过该特征提取模型以及景深预测模型对采集到的待预测图像涉及的各目标物进行景深值预测。

从上述对特征提取模型、景深预测模型以及图像识别模型的训练方式可以看出，其实可以将这三个模型作为一个整体网络进行训练，而在具体的训练过程中，实际上是以最小化景深预测模型以及图像识别模型所对应的损失函数作为训练目标，利用反向传播法来实现对特征提取模型中参数的调整，以使训练后的特征提取模型能够保证在提取出的图像特征中，同一目标物在该图像特征中所涉及的特征值相近。

也就是说，由于图像识别模型能够对待预测图像所涉及的各目标物进行区分，所以将图像识别模型以及特征提取模型一同进行训练，可以使得特征提取模型在提取待预测图像的图像特征时，能够在一定程度上学习到区分待预测图像涉及的各目标物的图像的能力。而所谓的该特征提取模型确定出的该待预测图像对应的图像特征中该目标物对应的各特征值相近，可以理解为该特征提取模型确定出的该待预测图像对应的图像特征中该目标物对应的各特征值之间的差值不超过设定数值，或是可以理解为该特征提取模型确定出的该待预测图像对应的图像特征中该目标物对应的各特征值之间的差值位于设定数值范围，即，在该待预测图像对应的图像特征中，该目标物对应的各特征值在数值上较为接近，这里提到的设定数值或是设定数值范围可以根据实际需求进行设定。

在本说明书中，对于每个目标物来说，由于该待预测图像的图像特征中该目标物对应的各特征值在数值上较为接近，使得景深预测模型通过该图像特征针对每个目标物预测该目标物对应的景深值时，该目标物的图像的各景深值在数值上较为接近。因此该景深预测模型确定出的该待预测图像涉及的各目标物对应的景深值在一定程度上保证了准确性。

需要说明的是，在上述模型训练过程中，预测识别结果与标注识别结果之间的差异除了可能由未训练的图像识别模型造成以外，还可能由未训练的特征提取模型造成。相应的，若是在上述模型训练过程中，图像识别模型为未训练的模型，则通过上述方式，可以将图像识别模型、特征提取模型进行联合训练，而若是图像识别模型为已经训练好的模型，则上述训练过程中，可以理解为使用已经训练好的图像识别模型，对特征提取模型进行单独训练。

S104：根据预测出的所述待预测图像涉及的每个目标物对应的景深值，对无人驾驶设备与各目标物之间的距离进行测距。

无人驾驶设备预测出该待预测图像涉及的每个目标物对应的景深值后，可以根据预测出的各目标物对应的景深值对上述无人驾驶设备进行控制，其中，如何通过各目标物对应的景深值对该无人驾驶设备进行控制的具体方式有很多，例如，无人驾驶设备可以针对该待预测图像涉及的每个目标物，根据预测出的该目标物对应的景深值确定出该目标物与该无人驾驶设备之间的距离，并通过该目标物与该无人驾驶设备之间的距离对该无人驾驶设备进行控制。

再例如，无人驾驶设备可以针对该待预测图像涉及的每个目标物。根据该无人驾驶设备采集该待预测图像时所处的地理位置、采集该待预测图像的图像采集器所处的位姿数据以及该待预测图像识别出该目标物相对于该无人驾驶设备的方向，进而根据预测出的该目标物对应的景深值结合该目标物相对于该无人驾驶设备的方向确定出该目标物相对于无人驾驶设备的方位，并通过该目标物相对于无人驾驶设备的方位对该无人驾驶设备进行控制。

从上述方法中可以看出，无人驾驶设备在确定出待预测图像的图像特征后，通过将该图像特征输入景深预测模型对待预测图像涉及的各目标物对应的景深值进行预测，由于确定该图像特征的特征提取模型是与能够区分各目标物的图像识别模型一同进行训练的，因此特征提取模型是在一定程度上具有区分待预测图像中各目标物的图像的能力，那么景深预测模型可以基于该特征提取模型确定出的待预测图像对应的图像特征，站在不同的目标物的角度上对待预测图像涉及的各目标物对应的景深值进行预测。其中，针对待预测图像涉及的每个目标物，在该图像特征中该目标物对应的各特征值不会相差过大，通过这样的图像特征确定出的该目标物对应的各景深值也就能够在数值上较为接近，因此，本方法在一定程度上提高了确定出的待预测图像涉及的各目标物对应的景深值的准确性，从而通过较为准确的景深值对无人驾驶设备进行更为安全的控制。

需要说明的是，在上述提到的模型训练过程是指将景深预测模型、特征提取模型以及图像识别模型一同进行训练。而在实际应用中，也可以先对特征提取模型以及景深预测模型进行训练，再引入图像识别模型，与特征提取模型和景深预测模型进行整体训练。当然也可以先对特征提取模型和图像识别模型进行训练，再引入景深预测模型，与特征提取模型和图像识别模型进行整体训练。

还需说明的是，无人驾驶设备对采集到的待预测图像进行景深值预测时，所使用的其实是训练后的特征提取模型以及景深预测模型，而并不需要使用图像识别模型。因此，结合上述提到的训练过程中，该图像识别模型可以看做是用于辅助特征提取模型以及景深预测模型的训练所使用的模型。进一步地，若是上述训练过程是由服务平台来完成的，那么可以只将训练后的特征提取模型以及景深预测模型部署在无人驾驶设备中，而图像识别模型无需部署。

以上为本说明书的一个或多个实施例提供的无人驾驶设备的控制方法，基于同样的思路，本说明书还提供了相应的无人驾驶设备的控制装置，如图4所示。

图4为本说明书提供的一种基于目标物的景深进行测距的装置示意图，具体包括：

获取模块401，用于获取所述装置采集的待预测图像；

提取模块402，用于将所述待预测图像输入到预先训练的特征提取模型，以确定所述待预测图像对应的图像特征，其中，针对所述待预测图像涉及的每个目标物，所述待预测图像对应的图像特征中该目标物所对应的各特征值相近，所述特征提取模型是通过与能够识别图像中各目标物的图像识别模型进行联合训练得到的；

预测模块403，用于将所述待预测图像对应的图像特征输入到预先训练的景深预测模型，以预测出所述待预测图像涉及的每个目标物对应的景深值；

测距模块404，用于控制根据预测出的所述待预测图像涉及的每个目标物对应的景深值，对所述装置与各目标物之间的距离进行测距。

可选地，所述装置还包括：

控制模块405，用于根据确定出的所述各目标物与所述装置之间的距离，对所述装置进行控制。

可选地，所述装置还包括：

训练模块406，用于获取各样本图像；针对每个样本图像，将该样本图像输入到所述特征提取模型中，以确定该样本图像对应的图像特征；将该样本图像对应的图像特征输入到所述景深预测模型，以预测出该样本图像对应的景深值，作为预测景深值，以及将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果；以最小化所述预测景深值与该样本图像对应的标注景深值之间的差异，以及最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练。

可选地，所述预测识别结果包括：该样本图像中包含的每个目标物的图像在该样本图像中所处的图像识别区域、该样本图像中包含的每个目标物的图像对应的目标物分割值中的至少一种；

所述标注识别结果包括：该样本图像中包含的每个目标物的图像在该样本图像中所处的标注识别区域、该样本图像中包含的每个目标物的图像所对应的标注分割值中的至少一种。

可选地，所述训练模块406具体用于，针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定该目标物的图像在该样本图像中所处的图像识别区域；

所述训练模块406具体用于，以最小化该目标物的图像在该样本图像中所处的图像识别区域与该目标物的图像在该样本图像中所处的标注识别区域之间的差异为优化目标，对所述特征提取模型、所述景深预测模型以及所述图像识别模型进行训练。

可选地，所述训练模块406具体用于，针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定该目标物的图像所对应的目标物分割值；

所述训练模块406具体用于，以最小化该目标物的图像所对应的目标物分割值与该目标物的图像所对应的标注分割值之间的差异为优化目标，对所述特征提取模型、所述景深预测模型所述图像识别模型进行训练。

可选地，所述训练模块406具体用于，针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定该目标物的图像在该样本图像中所处的图像识别区域以及该目标物的图像所对应的目标物分割值；

所述训练模块406具体用于，以最小化该目标物的图像在该样本图像中所处的图像识别区域与该目标物的图像在该样本图像中所处的标注识别区域之间的差异，以及最小化该目标物的图像所对应的目标物分割值与该目标物的图像所对应的标注分割值之间的差异为优化目标，对所述特征提取模型、所述景深预测模型所述图像识别模型进行训练。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的基于目标物的景深进行测距的方法。

本说明书还提供了图5所示的无人驾驶设备的示意结构图。如图5所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的基于目标物的景深进行测距的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种基于目标物的景深进行测距的方法，其特征在于，包括：

获取待预测图像；

将所述待预测图像输入到预先训练的特征提取模型，以确定所述待预测图像对应的图像特征，其中，针对所述待预测图像涉及的每个目标物，所述待预测图像对应的图像特征中该目标物所对应的各特征值相近，所述特征提取模型是通过与能够识别图像中各目标物的图像识别模型进行联合训练得到的；

将所述待预测图像对应的图像特征输入到预先训练的景深预测模型，以预测出所述待预测图像涉及的每个目标物对应的景深值；

根据预测出的所述待预测图像涉及的每个目标物对应的景深值，对无人驾驶设备与各目标物之间的距离进行测距。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据确定出的所述各目标物与所述无人驾驶设备之间的距离，对所述无人驾驶设备进行控制。

3.如权利要求1所述的方法，其特征在于，所述特征提取模型以及所述景深预测模型是通过如下方式训练得到的：

获取各样本图像；

针对每个样本图像，将该样本图像输入到所述特征提取模型中，以确定该样本图像对应的图像特征；

将该样本图像对应的图像特征输入到所述景深预测模型，以预测出该样本图像对应的景深值，作为预测景深值，以及将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果；

以最小化所述预测景深值与该样本图像对应的标注景深值之间的差异，以及最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练。

4.如权利要求3所述的方法，其特征在于，所述预测识别结果包括：该样本图像中包含的每个目标物的图像在该样本图像中所处的图像识别区域、该样本图像中包含的每个目标物的图像对应的目标物分割值中的至少一种；

所述标注识别结果包括：该样本图像中包含的每个目标物的图像在该样本图像中所处的标注识别区域、该样本图像中包含的每个目标物的图像所对应的标注分割值中的至少一种。

5.如权利要求4所述的方法，其特征在于，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果，具体包括：

针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到图像识别模型，以确定该目标物的图像在该样本图像中所处的图像识别区域；

最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练，具体包括：

以最小化该目标物的图像在该样本图像中所处的图像识别区域与该目标物的图像在该样本图像中所处的标注识别区域之间的差异为优化目标，对所述特征提取模型、所述景深预测模型以及所述图像识别模型进行训练。

6.如权利要求4所述的方法，其特征在于，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果，具体包括：

针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到图像识别模型，以确定该目标物的图像所对应的目标物分割值；

最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练，具体包括：

以最小化该目标物的图像所对应的目标物分割值与该目标物的图像所对应的标注分割值之间的差异为优化目标，对所述特征提取模型、所述景深预测模型以及所述图像识别模型进行训练。

7.如权利要求4所述的方法，其特征在于，将该样本图像对应的图像特征输入到预设的图像识别模型，以确定针对该样本图像涉及的各目标物的识别结果，作为预测识别结果，具体包括：

针对该样本图像涉及的每个目标物，将该样本图像对应的图像特征输入到图像识别模型，以确定该目标物的图像在该样本图像中所处的图像识别区域以及该目标物的图像所对应的目标物分割值；

最小化所述预测识别结果与该样本图像对应的标注识别结果之间的差异为优化目标，对所述特征提取模型以及所述景深预测模型进行训练，具体包括：

以最小化该目标物的图像在该样本图像中所处的图像识别区域与该目标物的图像在该样本图像中所处的标注识别区域之间的差异，以及最小化该目标物的图像所对应的目标物分割值与该目标物的图像所对应的标注分割值之间的差异为优化目标，对所述特征提取模型、所述景深预测模型以及所述图像识别模型进行训练。

8.一种基于目标物的景深进行测距的装置，其特征在于，包括：

获取模块，用于获取待预测图像；

提取模块，用于将所述待预测图像输入到预先训练的特征提取模型，以确定所述待预测图像对应的图像特征，其中，针对所述待预测图像涉及的每个目标物，所述待预测图像对应的图像特征中该目标物所对应的各特征值相近，所述特征提取模型是通过与能够识别图像中各目标物的图像识别模型进行联合训练得到的；

预测模块，用于将所述待预测图像对应的图像特征输入到预先训练的景深预测模型，以预测出所述待预测图像涉及的每个目标物对应的景深值；

测距模块，用于根据预测出的所述待预测图像涉及的每个目标物对应的景深值，对所述装置与各目标物之间的距离进行测距。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。

10.一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。

Images