CN114782911B - 图像处理的方法、装置、设备、介质、芯片及车辆 - Google Patents

Abstract

本公开涉及一种图像处理的方法、装置、设备、介质、芯片及车辆，涉及自动驾驶技术领域，包括：通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；将多个待处理图像输入预先训练得到的深度估计模型，以得到每个待处理图像对应的深度图；其中，多个深度图中相交深度图的相交区域的像素点对应的深度值相同；相交深度图包括至少两个具有相交区域的深度图，相交区域为包含相同场景的区域；深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的。这样，提高了深度估计模型对于相交区域一致性的约束能力，使得模型能够给出空间深度一致的深度估计结果。

Description

图像处理的方法、装置、设备、介质、芯片及车辆

技术领域

本公开涉及自动驾驶技术领域，尤其涉及一种图像处理的方法、装置、设备、介质、芯片及车辆。

背景技术

深度估计是自动驾驶技术领域中的关键技术，其广泛应用于增强现实、自动驾驶等多种场景中，对于三维重建，三维物体检测等领域都有正向的影响。

对于多相机的深度估计，目前主要是根据像素级别的底层特征信息来进行深度估计。但是，对于不同相机的视野重叠区域无法保证能够得到一致的深度估计结果，导致多相机空间深度一致性较差。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像处理的方法、装置、设备、介质、芯片及车辆。

根据本公开实施例的第一方面，提供一种图像处理的方法，通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；将所述多个待处理图像输入预先训练得到的深度估计模型，以得到每个所述待处理图像对应的深度图；其中，多个所述深度图中相交深度图的相交区域的像素点对应的深度值相同；所述相交深度图包括至少两个具有相交区域的深度图，所述相交区域为包含相同场景的区域；所述深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，所述第一损失函数是根据不同采集视角的多个样本图像得到的，所述第二损失函数是根据第一图像和第二图像得到的，所述第一图像和所述第二图像是所述多个样本图像中在相同时刻采集得到的不同视角的图像，且所述第一图像和所述第二图像存在相交区域。

可选地，所述深度估计模型通过以下方式训练得到：

获取所述多个样本图像；

根据所述多个样本图像，得到第一损失函数；

通过所述第一损失函数对所述预设训练模型进行训练，得到待定深度估计模型；

获取所述多个样本图像中的所述第一图像和所述第二图像；

根据所述第一图像和所述第二图像，得到第二损失函数；

通过所述第二损失函数对所述待定深度估计模型进行训练，得到所述深度估计模型。

可选地，所述根据所述第一图像和所述第二图像，得到第二损失函数包括：

识别所述第一图像中的第一目标对象；

根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图；

根据所述距离变换图和所述第二图像，确定所述第二损失函数。

可选地，所述根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图包括：

获取所述第一图像中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第一像素点；

根据所述第一像素点，确定所述第一图像对应的距离变换图。

可选地，所述根据所述距离变换图和所述第二图像，确定所述第二损失函数包括：

识别所述第二图像中的第二目标对象；

获取所述第二图像中所述第二目标对象的第二像素点；

获取用于采集所述第一图像的图像采集装置对应的第一外参矩阵以及用于采集所述第二图像的图像采集装置对应的第二外参矩阵；

根据所述第二像素点、所述第一外参矩阵和所述第二外参矩阵，将所述第二图像与所述距离变换图进行拼接，得到目标图像；

根据所述目标图像，确定所述第二损失函数。

可选地，所述根据所述目标图像，确定所述第二损失函数包括：

获取所述目标图像中的所述第二像素点中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第三像素点；

确定所述第三像素点与所述第一目标对象的距离，作为所述第三像素点与所述第一目标对象的位置误差；

根据所述位置误差，确定所述第二损失函数。

可选地，所述根据所述多个样本图像，得到第一损失函数包括：

获取所述多个样本图像中的第三图像和第四图像，所述第三图像和所述第四图像是所述多个样本图像中由相同采集视角的图像采集装置连续采集得到的两个图像；

根据所述第三图像和所述第四图像，确定所述第三图像和所述第四图像之间的第一光度误差；

根据所述第一图像和所述第二图像，确定所述第一图像和所述第二图像之间的第二光度误差；

根据所述第一光度误差和所述第二光度误差，确定第一损失函数。

根据本公开实施例的第二方面，提供一种图像处理的装置，所述装置包括：

采集模块，被配置为通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；

估计模块，被配置为将所述多个待处理图像输入预先训练得到的深度估计模型，以得到每个所述待处理图像对应的深度图；

其中，多个所述深度图中相交深度图的相交区域的像素点对应的深度值相同；所述相交深度图包括至少两个具有相交区域的深度图，所述相交区域为包含相同场景的区域；

所述深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，所述第一损失函数是根据不同采集视角的多个样本图像得到的，所述第二损失函数是根据第一图像和第二图像得到的，所述第一图像和所述第二图像是所述多个样本图像中在相同时刻采集得到的不同视角的图像，且所述第一图像和所述第二图像存在相交区域。

可选地，所述深度估计模型通过以下方式训练得到：

获取所述多个样本图像；

根据所述多个样本图像，得到第一损失函数；

通过所述第一损失函数对所述预设训练模型进行训练，得到待定深度估计模型；

获取所述多个样本图像中的所述第一图像和所述第二图像；

根据所述第一图像和所述第二图像，得到第二损失函数；

通过所述第二损失函数对所述待定深度估计模型进行训练，得到所述深度估计模型。

可选地，所述根据所述第一图像和所述第二图像，得到第二损失函数包括：

识别所述第一图像中的第一目标对象；

根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图；

根据所述距离变换图和所述第二图像，确定所述第二损失函数。

可选地，所述根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图包括：

获取所述第一图像中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第一像素点；

根据所述第一像素点，确定所述第一图像对应的距离变换图。

可选地，所述根据所述距离变换图和所述第二图像，确定所述第二损失函数包括：

识别所述第二图像中的第二目标对象；

获取所述第二图像中所述第二目标对象的第二像素点；

获取用于采集所述第一图像的图像采集装置对应的第一外参矩阵以及用于采集所述第二图像的图像采集装置对应的第二外参矩阵；

根据所述第二像素点、所述第一外参矩阵和所述第二外参矩阵，将所述第二图像与所述距离变换图进行拼接，得到目标图像；

根据所述目标图像，确定所述第二损失函数。

可选地，所述根据所述目标图像，确定所述第二损失函数包括：

获取所述目标图像中的所述第二像素点中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第三像素点；

确定所述第三像素点与所述第一目标对象的距离，作为所述第三像素点与所述第一目标对象的位置误差；

根据所述位置误差，确定所述第二损失函数。

可选地，所述根据所述多个样本图像，得到第一损失函数包括：

获取所述多个样本图像中的第三图像和第四图像，所述第三图像和所述第四图像是所述多个样本图像中由相同采集视角的图像采集装置连续采集得到的两个图像；

根据所述第三图像和所述第四图像，确定所述第三图像和所述第四图像之间的第一光度误差；

根据所述第一图像和所述第二图像，确定所述第一图像和所述第二图像之间的第二光度误差；

根据所述第一光度误差和所述第二光度误差，确定第一损失函数。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在调用所述存储器上存储的可执行指令时，实现本公开第一方面所述方法的步骤。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所述方法的步骤。

根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行本公开第一方面所述方法的步骤。

根据本公开实施例的第六方面，提供一种车辆，包括上述第三方面所述的电子设备。

本公开的实施例提供的技术方案可以包括以下有益效果：通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；将该多个待处理图像输入预先训练得到的深度估计模型，以得到每个该待处理图像对应的深度图；其中，多个该深度图中相交深度图的相交区域的像素点对应的深度值相同；该相交深度图包括至少两个具有相交区域的深度图，该相交区域为包含相同场景的区域；该深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，该第一损失函数是根据不同采集视角的多个样本图像得到的，该第二损失函数是根据第一图像和第二图像得到的，该第一图像和该第二图像是该多个样本图像中在相同时刻采集得到的不同视角的图像，且该第一图像和该第二图像存在相交区域。通过上述方法，根据不同采集视角的多个样本图像得到的第一损失函数对预设训练模型进行训练，能够提高深度估计模型对待处理图像深度估计的准确性。由于第一图像和第二图像是在相同时刻采集得到的不同视角的图像，且该第一图像和该第二图像存在相交区域。根据第一图像和第二图像得到的第二损失函数对预设训练模型进行训练，使得模型能够关注到不同待处理图像之间的相交区域，提高了深度估计模型对于相交区域一致性的约束能力，使得模型能够给出空间深度一致的深度估计结果，便于后续更加准确进行三维重建。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种车辆的左前视相机采集的图像。

图2是根据一示例性实施例示出的一种车辆的前视相机采集的图像。

图3是根据一示例性实施例示出的一种两目点云空间拼接图的示意图。

图4是根据一示例性实施例示出的一种图像处理的方法的流程图。

图5是根据一示例性实施例示出的另一种两目点云空间拼接图的示意图。

图6是根据一示例性实施例示出的一种深度估计模型训练的方法的流程图。

图7是根据一示例性实施例示出的另一种深度估计模型训练的方法的流程图。

图8是根据一示例性实施例示出的另一种深度估计模型训练的方法的流程图。

图9是根据一示例性实施例示出的一种车道检测示意图。

图10是根据一示例性实施例示出的一种基于图9的距离变换图。

图11是根据一示例性实施例示出的一种图像处理的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

在下文中的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

在介绍本公开提供的图像处理的方法、装置、设备、介质、芯片及车辆之前，首先对本公开各个实施例所涉及的应用场景进行介绍。对具有自动驾驶功能的车辆来说，需要有感知周围几何结构的能力，当前深度估计研究主要集中在前视相机，只能覆盖车辆周围环境的小部分区域，因此多相机深度估计的研究是非常必要的。而多相机深度估计的主要难点在于空间深度一致性，即需要保证多个相机的视野重叠区域有一致的深度估计结果。目前一些深度估计研究主要是根据像素级别的底层特征信息来进行深度估计。但是，对于不同相机的视野重叠区域无法保证能够得到一致的深度估计结果，导致多相机空间深度一致性较差。

例如，图1为车辆的左前视相机对目标区域采集的图像，图2为车辆的前视相机对目标区域采集的图像，图3为根据图1和图2的图像对应的两个深度图进行三维重建拼接后得到的两目相机点云空间拼接图。如图3所示，图3中两个圆圈部分为用于采集图1的左前视相机与用于采集图2的前视相机的视野重叠区域。可见，在该视野重叠区域中，同一目标对象（如车道线）的深度值并不相同，直观的感受就是同一目标对象在重叠区域发生了畸变。由于深度估计的结果将直接影响到三维重建的效果，由此可知，图3中的两目相机的视野重叠区域没有在深度估计阶段得到稳定的约束，影响了对于同一目标对象的深度估计结果，最终导致三维重建的结果受到影响。

为了解决上述问题，本公开提供一种图像处理的方法、装置、设备、介质、芯片及车辆。根据不同采集视角的多个样本图像得到的第一损失函数对预设训练模型进行训练，能够提高深度估计模型对待处理图像深度估计的准确性。由于第一图像和第二图像是在相同时刻采集得到的不同视角的图像，且该第一图像和该第二图像存在相交区域。根据第一图像和第二图像得到的第二损失函数对预设训练模型进行训练，使得模型能够关注到不同待处理图像之间的相交区域，提高了深度估计模型对于相交区域一致性的约束能力，使得模型能够给出空间深度一致的深度估计结果，便于后续更加准确进行三维重建。

下面结合附图对本公开的具体实施方式进行详细说明。

图4是根据一示例性实施例示出的一种图像处理的方法的流程图，如图4所示，该方法可以包括以下步骤：

在步骤S101中，通过图像采集装置采集目标区域的多个待处理图像。

其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的。

示例地，以实际场景为车辆行驶过程为例进行说明，该目标区域例如可以是车辆行驶过程中车辆周围的环境，通过图像采集装置对目标区域进行图像采集，可以得到不同采集视角的图像采集装置采集的多个待处理图像。其中，采集视角例如可以是车辆左前视方向（例如图1中的视角），还可以是车辆前视方向（例如图2中的视角）或车辆右前视方向等其他视角，本公开对此不作具体限定。

在步骤S102中，将该多个待处理图像输入预先训练得到的深度估计模型，以得到每个该待处理图像对应的深度图。

其中，多个所述深度图中相交深度图的相交区域的像素点对应的深度值相同；所述相交深度图包括至少两个具有相交区域的深度图，所述相交区域为包含相同场景的区域。

示例地，如图5所示，图5为根据本实施例中的深度估计模型得到的图1和图2对应的深度图进行三维重建拼接后得到的另一种两目相机点云空间拼接图。可见，相较于图3而言，图5中对应的两个圆圈部分中同一目标对象（如车道线）的深度值相同，直观的感受就是同一目标对象在相交区域没有发生畸变。可以说明，本实施例中的深度估计模型能够提高对于相交区域一致性的约束能力，也即深度估计模型能够给出空间一致的深度估计，从而便于后续更加准确进行三维重建。

具体地，该深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，该第一损失函数是根据不同采集视角的多个样本图像得到的，该第二损失函数是根据第一图像和第二图像得到的，该第一图像和该第二图像是该多个样本图像中在相同时刻采集得到的不同视角的图像，且该第一图像和该第二图像存在相交区域。

其中，该预设训练模型例如但不限于可以是Monodepth2结构、Packnet结构、DIFFNET结构等。

采用上述方法，根据不同采集视角的多个样本图像得到的第一损失函数对预设训练模型进行训练，能够提高深度估计模型对待处理图像深度估计的准确性。由于第一图像和第二图像是在相同时刻采集得到的不同视角的图像，且该第一图像和该第二图像存在相交区域。根据第一图像和第二图像得到的第二损失函数对预设训练模型进行训练，使得模型能够关注到不同待处理图像之间的相交区域，提高了深度估计模型对于相交区域一致性的约束能力，使得模型能够给出空间深度一致的深度估计结果，便于后续更加准确进行三维重建。

图6是根据一示例性实施例示出的一种深度估计模型训练的方法的流程图，如图6所述，深度估计模型可以通过以下方式训练得到：

在步骤S201中，获取多个样本图像。

其中，多个样本图像是根据不同采集视角的图像采集装置采集得到的，每个采集视角对应多个连续采集得到的样本图像。

在步骤S202中，根据该多个样本图像，得到第一损失函数。

在步骤S203中，通过该第一损失函数对该预设训练模型进行训练，得到待定深度估计模型。

在本步骤中，可以根据该第一损失函数，通过反向传播算法对预设训练模型进行迭代更新，直到满足第一停止迭代条件，得到待定深度估计模型。例如，可以根据第一损失函数确定样本图像中每个像素点的预测深度值与合成图像（其中，合成图像例如可以是根据样本图像和与样本图像为相同采集视角采集的该样本图像的下一帧图像得到的，或者根据样本图像和与该样本图像为相同时刻采集的且存在相交区域的图像得到的）中每个像素点的预测深度值的第一损失量，以降低第一损失量为目标，利用反向传播算法来修正预设训练模型中的神经元参数，神经元参数例如可以是神经元的权重（英文：Weight）和偏置量（英文：Bias）。重复上述步骤，直至第一损失量满足第一停止迭代条件，第一停止迭代条件例如包括第一损失量小于预设的损失阈值或者第一损失函数收敛，以达到训练预设训练模型的目的。

在步骤S204中，获取该多个样本图像中的该第一图像和该第二图像。

在步骤S205中，根据该第一图像和该第二图像，得到第二损失函数。

在步骤S206中，通过该第二损失函数对该待定深度估计模型进行训练，得到该深度估计模型。

在本步骤中，可以根据该第二损失函数，通过反向传播算法对该待定深度估计模型进行迭代更新，直到满足第二停止迭代条件，得到深度估计模型。例如，可以根据第二损失函数确定第一图像中每个像素点的预测深度值与拼接图像（可以是根据第一图像和第二图像得到的）中每个像素点的预测深度值的第二损失量，以降低第二损失量为目标，利用反向传播算法来修正待定深度估计模型中的神经元参数，神经元参数例如可以是神经元的权重和偏置量。重复上述步骤，直至第二损失量满足第二停止迭代条件，第二停止迭代条件例如包括第二损失量小于预设的损失阈值或者第二损失函数收敛，以达到训练待定深度估计模型的目的。

图7是根据一示例性实施例示出的另一种深度估计模型训练的方法的流程图，如图7所示，步骤S202根据该多个样本图像，得到第一损失函数可以包括以下步骤：

在步骤S2021中，获取该多个样本图像中的第三图像和第四图像。

其中，该第三图像和该第四图像是该多个样本图像中由相同采集视角的图像采集装置连续采集得到的两个图像。例如，若第三图像位于第0帧，则第四图像可以是第三图像的前一帧或后一帧的图像，也就是帧+1或帧-1。

在步骤S2022中，根据该第三图像和该第四图像，确定该第三图像和该第四图像之间的第一光度误差。

其中，可以参照现有技术中光度误差（英文：Appearance Matching Loss）的相关方法，得到该第三图像和该第四图像之间的第一光度误差。该第一光度误差用于计算该第三图像中每个像素点的预测深度值和第一合成图像中每个像素点的预测深度值的第一损失值，该第一损失值可以表征该第三图像中每个像素点深度值和该第一合成图像中每个像素点深度值的相似程度。其中，该第一合成图像可以是根据第四图像进行转换重建后得到的，可以将第三图像和第一合成图像输入预设训练模型，以得到第三图像中每个像素点的预测深度值和第一合成图像中每个像素点的预测深度值。可以理解的，由于第三图像和第四图像是相同的采集视角连续采集得到的两个图像，因此第一光度误差能够反映同一图像采集装置在时间维度上的光度误差。

在步骤S2023中，根据该第一图像和该第二图像，确定该第一图像和该第二图像之间的第二光度误差。

其中，可以参照现有技术中光度误差的相关方法，得到该第一图像和该第二图像之间的第二光度误差。该第二光度误差用于计算该第一图像中每个像素点的预测深度值和第二合成图像中每个像素点的预测深度值的第二损失值，该第二损失值可以表征该第一图像中每个像素点深度值和该第二合成图像中每个像素点深度值的相似程度。其中，该第二合成图像可以是根据第二图像进行转换重建后得到的，可以将第一图像和第二合成图像输入预设训练模型，以得到第一图像中每个像素点的预测深度值和第二合成图像中每个像素点的预测深度值。可以理解的，由于第一图像和第二图像是在相同时刻采集得到的不同视角的图像，且所述第一图像和第二图像存在相交区域，因此第二光度误差能够反映不同的图像采集装置在空间维度上的光度误差。

在步骤S2024中，根据该第一光度误差和该第二光度误差，确定第一损失函数。

示例地，可以将第一光度误差和该第二光度误差进行加权求和，得到第一损失函数。

图8是根据一示例性实施例示出的另一种深度估计模型训练的方法的流程图，如图8所示，步骤S205根据该第一图像和该第二图像，得到第二损失函数可以包括以下步骤：

在步骤S2051中，识别该第一图像中的第一目标对象。

示例地，以实际场景为车辆行驶过程为例进行说明，该第一目标对象例如可以是道路上的车道线、道路旁的路标、红路灯等。

具体地，可以根据目标识别算法，识别第一图像中的第一目标对象。以第一目标对象为车道线为例，该目标识别算法例如可以是LaneNet网络、Gen-Lanenet网络、FOLOLane网络、LaneAF网络等。如图9所示，可以通过目标识别算法，识别出第一图像中的第一车道线（如图9中黑色线条）。

在步骤S2052中，根据该第一目标对象对该第一图像进行距离变换，得到该第一图像对应的距离变换图。

在一些实施例中，步骤S2052根据该第一目标对象对该第一图像进行距离变换，得到该第一图像对应的距离变换图可以包括以下步骤：

步骤A，获取该第一图像中与该第一目标对象的距离小于或者等于预设距离范围阈值的第一像素点。

示例地，以第一目标对象为车道线为例进行说明，首先可以根据上述步骤识别第一图像中的第一车道线（即第一目标对象），然后可以将第一图像中与第一车道线的垂直距离小于或者等于预设距离阈值范围的像素点作为第一像素点。

步骤B，根据该第一像素点，确定该第一图像对应的距离变换图。

其中，可以根据第一像素点，得到第一目标对象附近的像素点，从而在第一目标对象附近形成强度谷，如图10所示，图10中在车道线附近的矩形区域为该强度谷。该强度谷可以表示满足与该第一目标对象的距离小于或者等于预设距离范围阈值的像素点的集合，且距离第一目标对象越近，得到的距离变换（英文：distance transforms；缩写：DT）图中该像素点的颜色深度值越大。

在步骤S2053中，根据该距离变换图和该第二图像，确定该第二损失函数。

在一些实施例中，步骤S2053根据该距离变换图和该第二图像，确定该第二损失函数可以包括以下步骤：

S1，识别该第二图像中的第二目标对象。

类似地，该第二目标对象例如可以是道路上的车道线、道路旁的路标、红路灯等。示例地，可以通过目标识别算法，识别出第二图像中的第二车道线。

需要说明的是，第二目标对象和第一目标对象需要为同一类对象，例如在第一目标对象为车道线的情况下，第二目标对象也需要为车道线。

S2，获取该第二图像中该第二目标对象的第二像素点。

可以理解的，第二像素点为第二目标对象在第二图像中对应的像素点。

S3，获取用于采集该第一图像的图像采集装置对应的第一外参矩阵以及用于采集该第二图像的图像采集装置对应的第二外参矩阵。

S4，根据该第二像素点、该第一外参矩阵和该第二外参矩阵，将该第二图像与该距离变换图进行拼接，得到目标图像。

其中，可以根据该第二像素点、该第一外参矩阵和该第二外参矩阵，将该第二图像与该距离变换图通过现有技术中的相关方法进行拼接，得到目标图像。也就是说，该目标图像是根据第二图像和距离变换图拼接得到的空间拼接图。

S5，根据该目标图像，确定该第二损失函数。

在一些实施例中，S5中根据该目标图像，确定该第二损失函数可以包括以下步骤：

S51，获取该目标图像中的该第二像素点中与该第一目标对象的距离小于或者等于该预设距离范围阈值的第三像素点。

可以理解的，该第三像素点即为第一图像和第二图像的相交区域中的像素点。

S52，确定该第三像素点与该第一目标对象的距离，作为该第三像素点与该第一目标对象的位置误差。

S53，根据该位置误差，确定该第二损失函数。

示例地，第二损失函数可以为以下公式：

其中，

表示第二损失函数的第二损失量，

表示第三像素点的x轴坐标，

表示第三像素点的y轴坐标，

表示第三像素点的预测深度值（其中，第三像素点的预测深度值可以在根据第一损失函数对预设训练模型进行训练的过程中得到），

表示用于采集该第一图像的图像采集装置对应的第一内参矩阵，

表示用于采集该第二图像的图像采集装置对应的第二内参矩阵，

表示将第二图像与距离变换图进行拼接时的坐标变换矩阵，

表示距离变换图，

表示位置误差。

该第二损失函数用于计算第一图像中与第二图像存在相交区域的每个像素点的预测深度值和第二图像中与第一图像存在相交区域的每个像素点的预测深度值的第二损失量，该第二损失量可以表征该第一图像中与第二图像存在相交区域的每个像素点的预测深度值和第二图像中与第一图像存在相交区域的每个像素点的预测深度值的相似程度。

需要说明的是，上述示例是以第一图像与第二图像得到的距离变换图为例得到的第二损失函数的第二损失量，还可以根据第二图像与第一图像得到的距离变换图得到第二损失函数的第二损失量，具体实现步骤可以参照上述示例，此处不再赘述。

采用上述方法，根据不同采集视角的多个样本图像得到的第一损失函数对预设训练模型进行训练，能够提高深度估计模型对待处理图像深度估计的准确性。由于第一图像和第二图像是在相同时刻采集得到的不同视角的图像，且该第一图像和该第二图像存在相交区域。根据第一图像和第二图像得到的第二损失函数对预设训练模型进行训练，使得模型能够关注到不同待处理图像之间的相交区域，提高了深度估计模型对于相交区域一致性的约束能力，使得模型能够给出空间深度一致的深度估计结果，便于后续更加准确进行三维重建。

图11是根据一示例性实施例示出的一种图像处理的装置，如图11所示，该装置300包括：

采集模块301，被配置为通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；

估计模块302，被配置为将该多个待处理图像输入预先训练得到的深度估计模型，以得到每个该待处理图像对应的深度图；

其中，多个该深度图中相交深度图的相交区域的像素点对应的深度值相同；该相交深度图包括至少两个具有相交区域的深度图，该相交区域为包含相同场景的区域；

该深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，该第一损失函数是根据不同采集视角的多个样本图像得到的，该第二损失函数是根据第一图像和第二图像得到的，该第一图像和该第二图像是该多个样本图像中在相同时刻采集得到的不同视角的图像，且该第一图像和该第二图像存在相交区域。

可选地，该深度估计模型通过以下方式训练得到：

获取该多个样本图像；

根据该多个样本图像，得到第一损失函数；

通过该第一损失函数对该预设训练模型进行训练，得到待定深度估计模型；

获取该多个样本图像中的该第一图像和该第二图像；

根据该第一图像和该第二图像，得到第二损失函数；

通过该第二损失函数对该待定深度估计模型进行训练，得到该深度估计模型。

可选地，该根据该第一图像和该第二图像，得到第二损失函数包括：

识别该第一图像中的第一目标对象；

根据该第一目标对象对该第一图像进行距离变换，得到该第一图像对应的距离变换图；

根据该距离变换图和该第二图像，确定该第二损失函数。

可选地，该根据该第一目标对象对该第一图像进行距离变换，得到该第一图像对应的距离变换图包括：

获取该第一图像中与该第一目标对象的距离小于或者等于预设距离范围阈值的第一像素点；

根据该第一像素点，确定该第一图像对应的距离变换图。

可选地，该根据该距离变换图和该第二图像，确定该第二损失函数包括：

识别该第二图像中的第二目标对象；

获取该第二图像中该第二目标对象的第二像素点；

获取用于采集该第一图像的图像采集装置对应的第一外参矩阵以及用于采集该第二图像的图像采集装置对应的第二外参矩阵；

根据该第二像素点、该第一外参矩阵和该第二外参矩阵，将该第二图像与该距离变换图进行拼接，得到目标图像；

根据该目标图像，确定该第二损失函数。

可选地，该根据该目标图像，确定该第二损失函数包括：

获取该目标图像中的该第二像素点中与该第一目标对象的距离小于或者等于预设距离范围阈值的第三像素点；

确定该第三像素点与该第一目标对象的距离，作为该第三像素点与该第一目标对象的位置误差；

根据该位置误差，确定该第二损失函数。

可选地，该根据该多个样本图像，得到第一损失函数包括：

获取该多个样本图像中的第三图像和第四图像，该第三图像和该第四图像是该多个样本图像中由相同采集视角的图像采集装置连续采集得到的两个图像；

根据该第三图像和该第四图像，确定该第三图像和该第四图像之间的第一光度误差；

根据该第一图像和该第二图像，确定该第一图像和该第二图像之间的第二光度误差；

根据该第一光度误差和该第二光度误差，确定第一损失函数。

采用上述装置，根据不同采集视角的多个样本图像得到的第一损失函数对预设训练模型进行训练，能够提高深度估计模型对待处理图像深度估计的准确性。由于第一图像和第二图像是在相同时刻采集得到的不同视角的图像，且该第一图像和该第二图像存在相交区域。根据第一图像和第二图像得到的第二损失函数对预设训练模型进行训练，使得模型能够关注到不同待处理图像之间的相交区域，提高了深度估计模型对于相交区域一致性的约束能力，使得模型能够给出空间深度一致的深度估计结果，便于后续更加准确进行三维重建。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的图像处理的方法的步骤。

本公开还提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在调用所述存储器上存储的可执行指令时，实现本公开提供的图像处理的方法的步骤。例如，电子设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

在示例性实施例中，电子设备可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理的方法。

上述电子设备除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该电子设备可以是集成电路（Integrated Circuit，IC）或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU（Graphics Processing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）、FPGA（Field Programmable Gate Array，可编程逻辑阵列）、DSP（Digital SignalProcessor，数字信号处理器）、ASIC（Application Specific Integrated Circuit，专用集成电路）、SOC（System on Chip，片上系统或系统级芯片）等。上述的集成电路或芯片中可以用于执行可执行指令（或代码），以实现上述的图像处理的方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该处理器中，当该可执行指令被处理器执行时实现上述的图像处理的方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的图像处理的方法。

本公开还提供一种车辆，包括上述电子设备。其中，该车辆可以被配置为完全或部分自动驾驶模式。例如，车辆可以通过感知系统获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。

上述车辆可以为各种类型的行驶工具，例如，轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等，本公开实施例不做特别的限定。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理的方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种图像处理的方法，其特征在于，所述方法包括：

通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；

将所述多个待处理图像输入预先训练得到的深度估计模型，以得到每个所述待处理图像对应的深度图；

其中，多个所述深度图中相交深度图的相交区域的像素点对应的深度值相同；所述相交深度图包括至少两个具有相交区域的深度图，所述相交区域为包含相同场景的区域；

所述深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，所述第一损失函数是根据不同采集视角的多个样本图像得到的，所述第二损失函数是根据第一图像和第二图像得到的，所述第一图像和所述第二图像是所述多个样本图像中在相同时刻采集得到的不同视角的图像，且所述第一图像和所述第二图像存在相交区域；所述第二损失函数是根据第一图像和第二图像得到的包括：所述第二损失函数是根据距离变换图和所述第二图像得到的，所述距离变换图是在识别到所述第一图像中的第一目标对象的情况下，根据所述第一目标对象对所述第一图像进行距离变换后得到的。

2.根据权利要求1所述的方法，其特征在于，所述深度估计模型通过以下方式训练得到：

获取所述多个样本图像；

根据所述多个样本图像，得到第一损失函数；

通过所述第一损失函数对所述预设训练模型进行训练，得到待定深度估计模型；

获取所述多个样本图像中的所述第一图像和所述第二图像；

根据所述第一图像和所述第二图像，得到第二损失函数；

通过所述第二损失函数对所述待定深度估计模型进行训练，得到所述深度估计模型；

所述根据所述第一图像和所述第二图像，得到第二损失函数包括：

识别所述第一图像中的所述第一目标对象；

根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图；

根据所述距离变换图和所述第二图像，确定所述第二损失函数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图包括：

获取所述第一图像中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第一像素点；

根据所述第一像素点，确定所述第一图像对应的距离变换图。

4.根据权利要求2所述的方法，其特征在于，所述根据所述距离变换图和所述第二图像，确定所述第二损失函数包括：

识别所述第二图像中的第二目标对象；

获取所述第二图像中所述第二目标对象的第二像素点；

获取用于采集所述第一图像的图像采集装置对应的第一外参矩阵以及用于采集所述第二图像的图像采集装置对应的第二外参矩阵；

根据所述第二像素点、所述第一外参矩阵和所述第二外参矩阵，将所述第二图像与所述距离变换图进行拼接，得到目标图像；

根据所述目标图像，确定所述第二损失函数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标图像，确定所述第二损失函数包括：

获取所述目标图像中的所述第二像素点中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第三像素点；

确定所述第三像素点与所述第一目标对象的距离，作为所述第三像素点与所述第一目标对象的位置误差；

根据所述位置误差，确定所述第二损失函数。

6.根据权利要求2所述的方法，其特征在于，所述根据所述多个样本图像，得到第一损失函数包括：

获取所述多个样本图像中的第三图像和第四图像，所述第三图像和所述第四图像是所述多个样本图像中由相同采集视角的图像采集装置连续采集得到的两个图像；

根据所述第三图像和所述第四图像，确定所述第三图像和所述第四图像之间的第一光度误差；

根据所述第一图像和所述第二图像，确定所述第一图像和所述第二图像之间的第二光度误差；

根据所述第一光度误差和所述第二光度误差，确定第一损失函数。

7.一种图像处理的装置，其特征在于，所述装置包括：

采集模块，被配置为通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；

估计模块，被配置为将所述多个待处理图像输入预先训练得到的深度估计模型，以得到每个所述待处理图像对应的深度图；

其中，多个所述深度图中相交深度图的相交区域的像素点对应的深度值相同；所述相交深度图包括至少两个具有相交区域的深度图，所述相交区域为包含相同场景的区域；

所述深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，所述第一损失函数是根据不同采集视角的多个样本图像得到的，所述第二损失函数是根据第一图像和第二图像得到的，所述第一图像和所述第二图像是所述多个样本图像中在相同时刻采集得到的不同视角的图像，且所述第一图像和所述第二图像存在相交区域；所述第二损失函数是根据第一图像和第二图像得到的包括：所述第二损失函数是根据距离变换图和所述第二图像得到的，所述距离变换图是在识别到所述第一图像中的第一目标对象的情况下，根据所述第一目标对象对所述第一图像进行距离变换后得到的。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为在调用所述存储器上存储的可执行指令时，实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。

10.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1至6中任一项所述方法的步骤。

11.一种车辆，其特征在于，包括上述权利要求8所述的电子设备。

Images