CN114066958A - 目标的深度信息预测方法和装置、电子设备和存储介质 - Google Patents

目标的深度信息预测方法和装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114066958A
CN114066958A CN202111363919.3A CN202111363919A CN114066958A CN 114066958 A CN114066958 A CN 114066958A CN 202111363919 A CN202111363919 A CN 202111363919A CN 114066958 A CN114066958 A CN 114066958A
Authority
CN
China
Prior art keywords
depth information
target
image
depth
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111363919.3A
Other languages
English (en)
Inventor
罗壮
张雪
李成军
张海强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202111363919.3A priority Critical patent/CN114066958A/zh
Publication of CN114066958A publication Critical patent/CN114066958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标的深度信息预测方法和装置、电子设备和存储介质，该方法包括：获取目标的待预测图像；利用单目深度信息估计模型对待预测图像进行处理，得到待预测图像对应的深度图；利用单目目标检测模型对待预测图像进行处理，得到目标的中心点位置信息和对应的第一深度信息；根据目标的中心点位置信息和待预测图像对应的深度图，确定目标在深度图中对应的第二深度信息；利用深度信息融合模型对第一深度信息和第二深度信息进行融合处理，得到目标的最终深度信息。本申请在预测目标深度信息时考虑了目标的非中心点区域以及背景区域的深度信息对目标深度信息预测的影响，通过结合这些深度信息进行融合处理，能够得到更加准确的目标深度信息。

Description

目标的深度信息预测方法和装置、电子设备和存储介质
技术领域
本申请涉及目标检测技术领域，尤其涉及一种目标的深度信息预测方法和装置、电子设备和存储介质。
背景技术
单目3D目标检测的难点一直在于对目标深度的预测，实例从3D空间被映射到2D平面的图像上丢失了深度信息，因此对深度的处理一直是单目3D目标检测研究的重点方向。
现有技术方案对于目标深度值的预测主要是通过训练集训练预测模型，然后根据预测模型直接输出的预测值，使用从训练集的标签信息中统计的均值和方差来确定最终的深度值。
然而，现有技术方案在训练深度值的预测模型时只使用了所有目标的中心点的深度标签值，这些标签值并不涉及关于目标物的其它部位及背景区域的深度信息，因此深度信息预测的准确性有待提升。
发明内容
本申请实施例提供了一种目标的深度信息预测方法和装置、电子设备和存储介质，以提高单目3D目标深度信息预测的准确性。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种目标的深度信息预测方法，其中，所述方法包括：
获取目标的待预测图像；
利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图；
利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息；
根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息；
利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。
可选地，所述单目深度信息估计模型通过如下方式训练得到：
获取原始的训练图像和所述原始的训练图像对应的标签深度图；
按照预设缩小比例，对所述原始的训练图像和对应的标签深度图的尺寸进行调整，得到调整后的训练图像和对应的标签深度图；
利用所述调整后的训练图像和对应的标签深度图对所述单目深度信息估计模型进行训练，得到训练后的单目深度信息估计模型。
可选地，所述深度信息融合模型通过如下方式训练得到：
利用所述训练后的单目深度信息估计模型对所述调整后的训练图像进行处理，得到所述调整后的训练图像对应的深度图；
利用所述单目目标检测模型对所述原始的训练图像进行处理，得到所述原始的训练图像中的目标的中心点位置信息和对应的第三深度信息；
根据所述原始的训练图像中的目标的中心点位置信息和所述调整后的训练图像对应的深度图，确定所述原始的训练图像中的目标的中心点位置信息在所述调整后的训练图像对应的深度图中的第四深度信息；
根据所述第三深度信息和所述第四深度信息，以及所述目标的标签深度信息对所述深度信息融合模型进行训练，得到训练后的深度信息融合模型。
可选地，所述利用所述单目目标检测模型对所述原始的训练图像进行处理，得到所述原始的训练图像中的目标的中心点位置信息和对应的第三深度信息包括：
利用所述单目目标检测模型对所述原始的训练图像进行处理，得到目标的预测框；
确定所述目标的预测框与目标的标签框的交并比；
在所述交并比大于预设阈值的情况下，获取所述目标的预测框对应的目标的中心点位置信息和第三深度信息。
可选地，所述利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图包括：
按照预设缩小比例，对所述待预测图像的尺寸进行调整，得到调整后的待预测图像；
利用单目深度信息估计模型对所述调整后的待预测图像进行处理，得到所述调整后的待预测图像对应的深度图。
可选地，所述目标的中心点位置信息包括目标的中心点位置坐标，所述根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息包括：
根据所述预设缩小比例和所述目标的中心点位置坐标，确定调整后的中心点位置坐标；
在所述待预测图像对应的深度图中确定所述调整后的中心点位置坐标对应的第二深度信息。
可选地，所述深度信息融合模型由两层全连接层网络构成，所述利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息包括：
根据所述深度信息融合模型中各个全连接层的各个通道对应的各个参数，以及所述第一深度信息和所述第二深度信息，确定所述目标的最终深度信息。
第二方面，本申请实施例还提供一种目标的深度信息预测装置，其中，所述装置包括：
获取单元，用于获取目标的待预测图像；
深度信息估计单元，用于利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图；
目标检测单元，用于利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息；
确定单元，用于根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息；
深度信息融合单元，用于利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。
第三方面，本申请实施例还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的目标的深度信息预测方法，先获取目标的待预测图像；然后利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图；之后利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息；再根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息；最后利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。本申请实施例的目标的深度信息预测方法在预测目标深度信息时考虑了目标的非中心点区域以及背景区域的深度信息对目标深度信息预测的影响，通过结合这些深度信息进行融合处理，能够得到更加准确的目标深度信息。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中一种目标的深度信息预测方法的流程示意图；
图2为本申请实施例中一种目标的深度信息预测装置的结构示意图；
图3为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
在单目3D目标检测任务场景下，通过输入单张RGB图像，预测图像中存在的目标的类别及它们的3D位置信息。3D位置信息包括目标的h、w、l，即高、宽、长，目标中心点的位置(x,y,z)，以及偏航角θ，通常假设目标的俯仰角和横滚角为0。在诸多需要预测的变量中，正确预测中心点位置坐标中的深度值z是一大难点，也是准确预测目标3D位置信息的关键。
以现有技术中的SMOKE单目3D目标检测模型为例，为了预测目标的变量(h,w,l,x,y,z,θ)，首先需要预测目标中心点位置坐标的深度值z：
Figure DEST_PATH_IMAGE001
（1）
然后通过相机内参和图像坐标系下的中心点投影恢复x和y：
Figure 332165DEST_PATH_IMAGE002
（2）
利用平均高、宽、长回归预测目标的高、宽、长：
Figure DEST_PATH_IMAGE003
（3）
预测关于α角度的两个三角函数值：
Figure 718147DEST_PATH_IMAGE004
（4）
航向角θ便可通过如下公式求得：
Figure DEST_PATH_IMAGE005
（5）
从以上求解过程中可以看出，诸多变量的预测都依赖于深度值z，因此预测出准确的深度值z是整个位置信息预测的关键。
在现有技术方案中，预测深度值z时主要使用了从训练集的标签信息中统计的均 值
Figure 91359DEST_PATH_IMAGE006
和方差
Figure DEST_PATH_IMAGE007
，而
Figure 814465DEST_PATH_IMAGE008
是模型的预测值，因此通过上述公式（1）便可计算出z值。
然而从目前的实验情况看，模型对目标的xc、yc、δxc、δyc、δh、δw、δl、α等变量的预测都比较准确，但对于深度值z的预测准确度始终较差。
基于此，本申请实施例提供了一种目标的深度信息预测方法，如图1所示，提供了本申请实施例中一种目标的深度信息预测方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S150：
步骤S110，获取目标的待预测图像。
在进行目标的深度信息预测时，需要先获取目标的待预测图像，以自动驾驶场景为例，这里的目标可以是道路上的小汽车、货车、客车、行人、自行车等，当然也可以是其他应用场景下的其他目标，在此不作具体限定，
步骤S120，利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图。
在获取到待预测图像后，利用事先训练好的单目深度信息估计模型对待预测图像进行深度预测，从而得到待预测图像所对应的深度图，该深度图中包含了整张待预测图像中每个像素点所对应的深度信息，即不仅包含目标区域的像素点的深度信息，还包含了非目标区域以及背景区域的像素点的深度信息，通过位置对比、相互促进提高深度信息预测的准确性。
步骤S130，利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息。
上述单目深度信息估计模型主要用于预测整张图像中各个像素点的深度信息，并不涉及对于目标的检测和识别，而本申请实施例的核心在于预测图像中的目标的深度信息，因此这里还需要利用事先训练好的单目目标检测模型对待预测图像进行目标检测，从而得到图像中目标的中心点位置信息及其对应的第一深度信息。
单目目标检测模型可以基于现有技术训练得到，如可以采用现有技术中的SMOKE单目3D目标检测模型进行训练，具体训练过程不再赘述。
步骤S140，根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息。
由于前述单目深度信息估计模型输出的是对整张图像中各个像素点的深度信息的预测结果，每个像素点位置的深度值都是在与其他像素点的深度值的相互作用下预测得到的，因此得到的深度值更为准确和全面。
基于此，本申请实施例在通过上述步骤S120得到待预测图像对应的深度图以及步骤S130得到待预测图像中目标的中心点位置信息及其对应的第一深度信息后，可以根据目标的中心点位置信息在上述待预测图像对应的深度图中查询到该位置所对应的第二深度信息，以利用第二深度信息提高单目目标检测模型直接输出的第一深度信息的准确性。
步骤S150，利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。
具体地，在得到上述第一深度信息和第二深度信息后，这里可以利用事先训练好的深度信息融合模型对第一深度信息和第二深度信息进行融合处理，得到目标的最终深度信息，该最终深度信息由于同时考虑了目标的非中心点区域以及背景区域的深度信息对目标深度信息预测的影响，因此更加准确。
本申请实施例的目标的深度信息预测方法在预测目标深度信息时考虑了目标的非中心点区域以及背景区域的深度信息对目标深度信息预测的影响，通过结合这些深度信息进行融合处理，能够得到更加准确的目标深度信息。
在本申请的一个实施例中，所述单目深度信息估计模型通过如下方式训练得到：获取原始的训练图像和所述原始的训练图像对应的标签深度图；按照预设缩小比例，对所述原始的训练图像和对应的标签深度图的尺寸进行调整，得到调整后的训练图像和对应的标签深度图；利用所述调整后的训练图像和对应的标签深度图对所述单目深度信息估计模型进行训练，得到训练后的单目深度信息估计模型。
本申请实施例在训练单目深度信息估计模型时，可以先获取原始的训练图像和对应的标签深度图，由于后面步骤需要得到的其实是图像中目标的深度信息，目标中心点像素与周围邻近像素的实际深度值差别并不大，因此为了进一步提升单目深度信息估计模型的计算效率，这里可以按照一定缩小比例将输入模型的原始的训练图像和对应的标签深度图都缩小为原始尺寸的一定比例后再用于训练，从而提高训练效率。这里的缩小比例可根据实际的训练需求和训练效果灵活调整，例如可以设置为1/4、1/2等等。
上述单目深度信息估计模型具体可以采用FastDepth模型来实现，模型的整体结构比较简单，采用了Encoder-Decoder即编码器-解码器的架构，能够在保证准确率的情况下，大大提高模型的计算效率。当了除了采用FastDepth，本领域技术人员也可以根据实际需求灵活选择其他类型的深度信息估计模型，在此不作具体限定。
在本申请的一个实施例中，所述深度信息融合模型通过如下方式训练得到：利用所述训练后的单目深度信息估计模型对所述调整后的训练图像进行处理，得到所述调整后的训练图像对应的深度图；利用所述单目目标检测模型对所述原始的训练图像进行处理，得到所述原始的训练图像中的目标的中心点位置信息和对应的第三深度信息；根据所述原始的训练图像中的目标的中心点位置信息和所述调整后的训练图像对应的深度图，确定所述原始的训练图像中的目标的中心点位置信息在所述调整后的训练图像对应的深度图中的第四深度信息；根据所述第三深度信息和所述第四深度信息，以及所述目标的标签深度信息对所述深度信息融合模型进行训练，得到训练后的深度信息融合模型。
本申请实施例在训练深度信息融合模型时，可以先使用上述实施例训练得到的单目深度信息估计模型如FastDepth预测训练集中的每一张训练图像，这里的训练图像是指调整尺寸后的训练图像，从而获得每一张调整尺寸后的图像对应的深度图depth_map。然后使用前述实施例中获得的单目3D目标检测模型如SMOKE预测训练集中的每一张原始的训练图像，得到原始的训练图像中的目标在图像坐标系下的中心点坐标(xc,yc)以及对应的预测深度值zobj。
由于单目深度信息估计模型中输入的图像尺寸与单目3D目标检测模型中输入的图像尺寸不同，因此这里在得到原始的训练图像中的目标的中心点坐标(xc,yc)后，需要相应调整该目标的中心点坐标(xc,yc)，例如如果输入单目深度信息估计模型中的图像尺寸为原始图像尺寸的1/4，那么这里就相应将目标的中心点坐标调整为(xc/4,yc/4)，然后使用(xc/4,yc/4)可以在上述depth_map中查询到对应的深度值zd。
基于此，便可获得关于深度值的数据集{zobj,zd,z}N，其中N表示样本数量，z表示深度值的标签真值。利用该数据集训练深度信息融合模型，从而得到训练后的深度信息融合模型。
在本申请的一个实施例中，所述利用所述单目目标检测模型对所述原始的训练图像进行处理，得到所述原始的训练图像中的目标的中心点位置信息和对应的第三深度信息包括：利用所述单目目标检测模型对所述原始的训练图像进行处理，得到目标的预测框；确定所述目标的预测框与目标的标签框的交并比；在所述交并比大于预设阈值的情况下，获取所述目标的预测框对应的目标的中心点位置信息和第三深度信息。
本申请实施例在利用单目目标检测模型对原始的训练图像进行处理时，首先可以得到单目目标检测模型输出的目标的预测框，通过计算目标的预测框与事先标记好的标签框的交并比（Intersection of Union,IoU）可以确定出预测结果与真实结果的接近程度，也即IoU越大，目标的预测框与标签框的重叠区域越大，检测效果越好，反之则检测效果越差。
因此，基于交并比的大小，可以将一些预测框与标签框的重叠区域非常小的目标直接过滤掉，从而提高后续模型的训练效率。这里可以事先设置一个用于判断的阈值，当计算出的IoU大于该阈值时，可以保留该目标的预测结果用于后续训练。阈值的大小可以根据实际需求灵活设置，但不宜过大，如可设置为0.01，以避免由于阈值的限制导致可用于训练的样本数量不足，影响训练效果。
在本申请的一个实施例中，所述利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图包括：按照预设缩小比例，对所述待预测图像的尺寸进行调整，得到调整后的待预测图像；利用单目深度信息估计模型对所述调整后的待预测图像进行处理，得到所述调整后的待预测图像对应的深度图。
如前所述，本申请实施例在单目深度信息估计模型的训练阶段，对输入模型的图像进行了尺寸缩小的处理，因此在模型预测阶段，同样可以按照相同的缩小比例对待预测图像的尺寸进行调整，得到调整后的待预测图像，然后再利用训练好后的单目深度信息估计模型对调整后的待预测图像进行深度估计，得到对应的深度图。
在本申请的一个实施例中，所述目标的中心点位置信息包括目标的中心点位置坐标，所述根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息包括：根据所述预设缩小比例和所述目标的中心点位置坐标，确定调整后的中心点位置坐标；在所述待预测图像对应的深度图中确定所述调整后的中心点位置坐标对应的第二深度信息。
如前所述，单目深度信息估计模型中输入的图像尺寸与单目3D目标检测模型中输入的图像尺寸不同，因此在根据目标的中心点位置信息和待预测图像对应的深度图确定第二深度信息时，同样可以按照预设缩小比例,对目标的中心点位置坐标进行调整，然后根据调整后的中心点位置坐标，在待预测图像对应的深度图中查找到该点坐标对应的第二深度信息。
在本申请的一个实施例中，所述深度信息融合模型由两层全连接层网络构成，所述利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息包括：根据所述深度信息融合模型中各个全连接层的各个通道对应的各个参数，以及所述第一深度信息和所述第二深度信息，确定所述目标的最终深度信息。
本申请实施例的深度信息融合模型主要由两层全连接层网络构成，第一层通道数为2，第二层通道数为1，因此根据每个全连接层的每个通道对应的各个参数，以及第一深度信息和第二深度信息，可以通过加权融合的方式计算得到目标的最终深度信息，具体可以采用如下形式：
z = w2,1,1 * (w1,1,1 * zobj+w1,1,2 * zd) + w2,1,2 *(w1,2,1 * zobj+w1,2,2 * zd)（6）
其中，上式中的w1,1,1可以看作是第一层的第一个通道的第一个参数，w1,1,2则可以看作是第一层的第一个通道的第二个参数，其它参数以此类推。
上式中的所有w即构成深度信息融合模型的参数，在训练之前可以先将其初始化为[0,1]间的随机浮点（float）值。
当然，除了采用上述结构的深度信息融合模型，本领域技术人员也可以根据训练成本和训练效率等实际需求灵活调整全连接层的数量和通道数，在此不具体限定。
本申请实施例还提供了一种目标的深度信息预测装置200，如图2所示，提供了本申请实施例中一种目标的深度信息预测装置的结构示意图，所述装置200包括：获取单元210、深度信息估计单元220、目标检测单元230、确定单元240以及深度信息融合单元250，其中：
获取单元210，用于获取目标的待预测图像；
深度信息估计单元220，用于利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图；
目标检测单元230，用于利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息；
确定单元240，用于根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息；
深度信息融合单元250，用于利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。
在本申请的一个实施例中，所述单目深度信息估计模型通过如下方式训练得到：获取原始的训练图像和所述原始的训练图像对应的标签深度图；按照预设缩小比例，对所述原始的训练图像和对应的标签深度图的尺寸进行调整，得到调整后的训练图像和对应的标签深度图；利用所述调整后的训练图像和对应的标签深度图对所述单目深度信息估计模型进行训练，得到训练后的单目深度信息估计模型。
在本申请的一个实施例中，所述深度信息融合模型通过如下方式训练得到：利用所述训练后的单目深度信息估计模型对所述调整后的训练图像进行处理，得到所述调整后的训练图像对应的深度图；利用所述单目目标检测模型对所述原始的训练图像进行处理，得到所述原始的训练图像中的目标的中心点位置信息和对应的第三深度信息；根据所述原始的训练图像中的目标的中心点位置信息和所述调整后的训练图像对应的深度图，确定所述原始的训练图像中的目标的中心点位置信息在所述调整后的训练图像对应的深度图中的第四深度信息；根据所述第三深度信息和所述第四深度信息，以及所述目标的标签深度信息对所述深度信息融合模型进行训练，得到训练后的深度信息融合模型。
在本申请的一个实施例中，所述深度信息融合模型通过如下方式训练得到：利用所述单目目标检测模型对所述原始的训练图像进行处理，得到目标的预测框；确定所述目标的预测框与目标的标签框的交并比；在所述交并比大于预设阈值的情况下，获取所述目标的预测框对应的目标的中心点位置信息和第三深度信息。
在本申请的一个实施例中，所述深度信息估计单元220具体用于：按照预设缩小比例，对所述待预测图像的尺寸进行调整，得到调整后的待预测图像；利用单目深度信息估计模型对所述调整后的待预测图像进行处理，得到所述调整后的待预测图像对应的深度图。
在本申请的一个实施例中，所述目标的中心点位置信息包括目标的中心点位置坐标，所述确定单元240具体用于：根据所述预设缩小比例和所述目标的中心点位置坐标，确定调整后的中心点位置坐标；在所述待预测图像对应的深度图中确定所述调整后的中心点位置坐标对应的第二深度信息。
在本申请的一个实施例中，所述深度信息融合模型由两层全连接层网络构成，所述深度信息融合单元250具体用于：根据所述深度信息融合模型中各个全连接层的各个通道对应的各个参数，以及所述第一深度信息和所述第二深度信息，确定所述目标的最终深度信息。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成目标的深度信息预测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取目标的待预测图像；
利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图；
利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息；
根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息；
利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。
上述如本申请图1所示实施例揭示的目标的深度信息预测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central ProcessingUnit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中目标的深度信息预测装置执行的方法，并实现目标的深度信息预测装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中目标的深度信息预测装置执行的方法，并具体用于执行：
获取目标的待预测图像；
利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图；
利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息；
根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息；
利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种目标的深度信息预测方法，其中，所述方法包括：
获取目标的待预测图像；
利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图；
利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息；
根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息；
利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。
2.如权利要求1所述方法，其中，所述单目深度信息估计模型通过如下方式训练得到：
获取原始的训练图像和所述原始的训练图像对应的标签深度图；
按照预设缩小比例，对所述原始的训练图像和对应的标签深度图的尺寸进行调整，得到调整后的训练图像和对应的标签深度图；
利用所述调整后的训练图像和对应的标签深度图对所述单目深度信息估计模型进行训练，得到训练后的单目深度信息估计模型。
3.如权利要求2所述方法，其中，所述深度信息融合模型通过如下方式训练得到：
利用所述训练后的单目深度信息估计模型对所述调整后的训练图像进行处理，得到所述调整后的训练图像对应的深度图；
利用所述单目目标检测模型对所述原始的训练图像进行处理，得到所述原始的训练图像中的目标的中心点位置信息和对应的第三深度信息；
根据所述原始的训练图像中的目标的中心点位置信息和所述调整后的训练图像对应的深度图，确定所述原始的训练图像中的目标的中心点位置信息在所述调整后的训练图像对应的深度图中的第四深度信息；
根据所述第三深度信息和所述第四深度信息，以及所述目标的标签深度信息对所述深度信息融合模型进行训练，得到训练后的深度信息融合模型。
4.如权利要求3所述方法，其中，所述利用所述单目目标检测模型对所述原始的训练图像进行处理，得到所述原始的训练图像中的目标的中心点位置信息和对应的第三深度信息包括：
利用所述单目目标检测模型对所述原始的训练图像进行处理，得到目标的预测框；
确定所述目标的预测框与目标的标签框的交并比；
在所述交并比大于预设阈值的情况下，获取所述目标的预测框对应的目标的中心点位置信息和第三深度信息。
5.如权利要求1所述方法，其中，所述利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图包括：
按照预设缩小比例，对所述待预测图像的尺寸进行调整，得到调整后的待预测图像；
利用单目深度信息估计模型对所述调整后的待预测图像进行处理，得到所述调整后的待预测图像对应的深度图。
6.如权利要求5所述方法，其中，所述目标的中心点位置信息包括目标的中心点位置坐标，所述根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息包括：
根据所述预设缩小比例和所述目标的中心点位置坐标，确定调整后的中心点位置坐标；
在所述待预测图像对应的深度图中确定所述调整后的中心点位置坐标对应的第二深度信息。
7.如权利要求1所述方法，其中，所述深度信息融合模型由两层全连接层网络构成，所述利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息包括：
根据所述深度信息融合模型中各个全连接层的各个通道对应的各个参数，以及所述第一深度信息和所述第二深度信息，确定所述目标的最终深度信息。
8.一种目标的深度信息预测装置，其中，所述装置包括：
获取单元，用于获取目标的待预测图像；
深度信息估计单元，用于利用单目深度信息估计模型对所述待预测图像进行处理，得到所述待预测图像对应的深度图；
目标检测单元，用于利用单目目标检测模型对所述待预测图像进行处理，得到所述目标的中心点位置信息和对应的第一深度信息；
确定单元，用于根据所述目标的中心点位置信息和所述待预测图像对应的深度图，确定所述目标在所述深度图中对应的第二深度信息；
深度信息融合单元，用于利用深度信息融合模型对所述第一深度信息和所述第二深度信息进行融合处理，得到所述目标的最终深度信息。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1~7之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1~7之任一所述方法。
CN202111363919.3A 2021-11-17 2021-11-17 目标的深度信息预测方法和装置、电子设备和存储介质 Pending CN114066958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111363919.3A CN114066958A (zh) 2021-11-17 2021-11-17 目标的深度信息预测方法和装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111363919.3A CN114066958A (zh) 2021-11-17 2021-11-17 目标的深度信息预测方法和装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114066958A true CN114066958A (zh) 2022-02-18

Family

ID=80277823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111363919.3A Pending CN114066958A (zh) 2021-11-17 2021-11-17 目标的深度信息预测方法和装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114066958A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345919A (zh) * 2022-08-25 2022-11-15 北京精英路通科技有限公司 一种深度确定方法、装置、电子设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345919A (zh) * 2022-08-25 2022-11-15 北京精英路通科技有限公司 一种深度确定方法、装置、电子设备以及存储介质
CN115345919B (zh) * 2022-08-25 2024-04-12 北京精英路通科技有限公司 一种深度确定方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN112634209A (zh) 一种产品缺陷检测方法和装置
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN113298050A (zh) 车道线识别模型训练方法、装置及车道线识别方法、装置
CN114973198A (zh) 目标车辆的航向角预测方法、装置及电子设备、存储介质
CN115042788A (zh) 交通路口通行方法、装置及电子设备、存储介质
CN116189123A (zh) 目标检测模型的训练方法、装置及目标检测方法、装置
CN115526990A (zh) 用于数字孪生的目标可视化方法、装置及电子设备
CN114066958A (zh) 目标的深度信息预测方法和装置、电子设备和存储介质
CN112991349A (zh) 图像处理方法、装置、设备和存储介质
CN113763412A (zh) 图像处理方法、装置及电子设备、计算机可读存储介质
CN114897987B (zh) 一种确定车辆地面投影的方法、装置、设备及介质
CN116309628A (zh) 车道线识别方法和装置、电子设备和计算机可读存储介质
CN116164763A (zh) 目标航向角确定方法、装置及电子设备、存储介质
CN115620277A (zh) 单目3d环境感知方法、装置及电子设备、存储介质
CN113591543B (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN115661014A (zh) 一种点云数据处理方法、装置和电子设备、存储介质
CN113111872B (zh) 图像识别模型的训练方法、装置及电子设备、存储介质
CN112634141B (zh) 一种车牌矫正方法、装置、设备及介质
CN115031755A (zh) 自动驾驶车辆定位方法、装置及电子设备、存储介质
CN113469993A (zh) 一种检测运动状态异常的对象的方法、装置及电子设备
CN112597960A (zh) 图像的处理方法、处理装置与计算机可读存储介质
CN113538546B (zh) 用于自动驾驶的目标检测方法、装置及设备
CN113689422A (zh) 一种图像处理方法、装置及电子设备
CN116610766A (zh) 地图更新方法、装置及电子设备、计算机可读存储介质
CN116580095A (zh) 一种目标定位方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination