CN113344998B - 深度检测方法、装置、计算机设备及存储介质 - Google Patents

深度检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113344998B
CN113344998B CN202110713298.0A CN202110713298A CN113344998B CN 113344998 B CN113344998 B CN 113344998B CN 202110713298 A CN202110713298 A CN 202110713298A CN 113344998 B CN113344998 B CN 113344998B
Authority
CN
China
Prior art keywords
image
target object
coordinate system
processed
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110713298.0A
Other languages
English (en)
Other versions
CN113344998A (zh
Inventor
张胤民
马新柱
伊帅
侯军
欧阳万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110713298.0A priority Critical patent/CN113344998B/zh
Publication of CN113344998A publication Critical patent/CN113344998A/zh
Priority to PCT/CN2021/125278 priority patent/WO2022267275A1/zh
Application granted granted Critical
Publication of CN113344998B publication Critical patent/CN113344998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种深度检测方法、装置、计算机设备及存储介质，其中，该方法包括：获取待处理图像；基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。本公开实施例能够提升预测得到的目标对象在相机坐标系中深度信息的准确度。

Description

深度检测方法、装置、计算机设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种深度检测方法、装置、计算机设备及存储介质。
背景技术
三维目标检测是计算机视觉领域的一个重要而具有挑战性的问题，在自动驾驶、机器人技术、增强或虚拟现实等计算机视觉应用中发挥着重要作用。单目三维目标检测能够利用单目摄像机获取的单目图像，实现对弹幕图像中的目标对象进行三维检测的目的。
在对单目图像进行三维目标检测时，需要得到目标对象的中心点在单目图像对应的相机坐标系中的深度值；当前确定目标对象中心点在单目图像对应的相机坐标系中的深度值时，存在深度值精度置信度较差的问题。
发明内容
本公开实施例至少提供一种深度检测方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种深度检测方法，包括：获取待处理图像；基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；基于所述中间深度值和所述待处理图像，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
这样，通过在获取待处理图像后，基于待处理图像，确定目标对象的二维检测框在待处理图像对应的图像坐标系中的二维位置信息、以及目标对象在待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息，然后基于二维位置信息、投影位置信息、以及二维检测框和三维检测框之间的投影关系信息，得到目标对象在相机坐标系中国的中间深度值，并基于该中间深度值，得到目标对象在相机坐标系中的目标深度值，从而将二维检测框和三维检测框之间的投影关系信息作为约束，提升最终所得到的目标对象在相机坐标系中的目标深度值的置信度。
一种可能的实施方式中，所述基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息，包括：对所述待处理图像进行特征提取，获取待处理图像的特征图；基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率、与各个特征点对应的第一位置偏移量、和以各个特征点为中心点的下采样二维检测框的下采样尺寸信息；基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息；其中，下采样二维检测框，为对待处理图像进行下采样后，所述目标对象二维检测框产生限缩形成的检测框。
一种可能的实施方式中，所述二维位置信息包括：所述二维检测框的中心点在所述图像坐标系中的第一坐标信息、以及所述二维检测框的尺寸信息。
一种可能的实施方式中，所述基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息，包括：基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中确定目标特征点；基于所述目标特征点在所述特征图中的位置信息、所述目标特征点的第一位置偏移量、以及下采样率，确定所述二维检测框的中心点在所述图像坐标系中的第一坐标信息；以及，基于所述目标特征点对应的下采样尺寸信息、以及所述下采样率，确定所述二维检测框的尺寸信息。
一种可能的实施方式中，所述对所述待处理图像进行特征提取，获取待处理图像的特征图，包括：利用预先训练的骨干神经网络对所述待处理图像进行特征提取，得到所述待处理图像的特征图；所述基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率，包括：利用预先训练的中心点预测神经网络对特征图进行中心点预测处理，得到特征图中的各个特征点属于目标对象的中心点的概率。
一种可能的实施方式中，采用下述方式训练所述中心点预测神经网络：获取样本图像，以及样本对象的中心点在所述样本图像中的标注位置信息；其中，所述样本对象的中心点为样本对象在所述样本图像对应的相机坐标系中的三维检测框的中心点在所述样本图像中的投影点；利用所述样本图像、以及所述位置标注信息，对待训练的骨干神经网络、以及待训练的中心点预测神经网络进行训练，得到训练好的所述中心点预测神经网络。
一种可能的实施方式中，基于所述待处理图像，所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息，包括：基于所述待处理图像的特征图，得到与所述特征图中的每个特征点对应的第二位置偏移量；基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息。
一种可能的实施方式中，所述投影位置信息包括下述至少一种：所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
一种可能的实施方式中，所述基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息，包括：基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中，确定目标特征点；基于所述目标特征点在所述特征图中的位置信息、所述目标特征点对应的第二位置偏移量、以及所述下采样率，确定所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
一种可能的实施方式中，所述基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值，包括：基于所述二维位置信息、所述投影位置信息、所述目标对象的实际尺寸信息、所述目标对象的朝向信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值。
一种可能的实施方式中，还包括：基于所述待处理图像的特征图，对所述目标对象进行尺寸预测处理，得到所述目标对象的实际尺寸信息；和/或，基于所述待处理图像的特征图，对所述目标对象进行朝向预测处理，得到所述目标对象在所述相机坐标系中的朝向信息。
一种可能的实施方式中，所述二维检测框和三维检测框的投影关系信息，是基于所述三维检测框在图像坐标系中的投影的尺寸信息和位置信息、与所述二维检测框的尺寸信息和位置信息建立的。
一种可能的实施方式中，所述基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值，包括：对所述目标对象的中心点在所述相机坐标系中的中间深度值构成的深度图像进行非线性变换，得到深度特征图；基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
一种可能的实施方式中，所述基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值，包括：将所述深度特征图、以及所述待处理图像的特征图进行叠加，形成目标特征图；利用预先训练的深度值预测神经网络对所述目标特征图进行深度预测处理，得到所述特征图中各个特征点的目标深度值；基于所述特征图中各个特征点属于目标对象的中心点的概率、以及所述各个特征点分别对应的目标深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
一种可能的实施方式中，还包括：基于所述目标对象的中心点在所述相机坐标系中的目标深度值、以及所述目标对象的实际尺寸信息，得到所述目标对象在所述相机坐标系中的三维检测结果。
第二方面，本公开实施例还提供一种深度检测装置，包括：获取模块，用于获取待处理图像；第一处理模块，用于基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；第二处理模块，用于基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；预测模块，用于基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
一种可能的实施方式中，所述第一处理模块，在基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息时，用于：对所述待处理图像进行特征提取，获取待处理图像的特征图；基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率、与各个特征点对应的第一位置偏移量、和以各个特征点为中心点的下采样二维检测框的下采样尺寸信息；基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息；其中，下采样二维检测框，为对待处理图像进行下采样后，所述目标对象二维检测框产生限缩形成的检测框。
一种可能的实施方式中，所述二维位置信息包括：所述二维检测框的中心点在所述图像坐标系中的第一坐标信息、以及所述二维检测框的尺寸信息。
一种可能的实施方式中，所述第一处理模块，在基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息时，用于：基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中确定目标特征点；基于所述目标特征点在所述特征图中的位置信息、所述目标特征点的第一位置偏移量、以及下采样率，确定所述二维检测框的中心点在所述图像坐标系中的第一坐标信息；以及，基于所述目标特征点对应的下采样尺寸信息、以及所述下采样率，确定所述二维检测框的尺寸信息。
一种可能的实施方式中，所述第一处理模块，在对所述待处理图像进行特征提取，获取待处理图像的特征图时，用于：利用预先训练的骨干神经网络对所述待处理图像进行特征提取，得到所述待处理图像的特征图；所述第一处理模块，在基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率时，用于：利用预先训练的中心点预测神经网络对特征图进行中心点预测处理，得到特征图中的各个特征点属于目标对象的中心点的概率。
一种可能的实施方式中，还包括训练模块，用于采用下述方式训练所述中心点预测神经网络：获取样本图像，以及样本对象的中心点在所述样本图像中的标注位置信息；其中，所述样本对象的中心点为样本对象在所述样本图像对应的相机坐标系中的三维检测框的中心点在所述样本图像中的投影点；利用所述样本图像、以及所述位置标注信息，对待训练的骨干神经网络、以及待训练的中心点预测神经网络进行训练，得到训练好的所述中心点预测神经网络。
一种可能的实施方式中，所述第一处理模块，在基于所述待处理图像，所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息时，用于：基于所述待处理图像的特征图，得到与所述特征图中的每个特征点对应的第二位置偏移量；基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息。
一种可能的实施方式中，所述第一处理模块，在投影位置信息包括下述至少一种：所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
一种可能的实施方式中，所述第一处理模块，在基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息时，用于：基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中，确定目标特征点；基于所述目标特征点在所述特征图中的位置信息、所述目标特征点对应的第二位置偏移量、以及所述下采样率，确定所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
一种可能的实施方式中，所述第二处理模块，在基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值时，用于：基于所述二维位置信息、所述投影位置信息、所述目标对象的实际尺寸信息、所述目标对象的朝向信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值。
一种可能的实施方式中，所述第一处理模块，还用于：基于所述待处理图像的特征图，对所述目标对象进行尺寸预测处理，得到所述目标对象的实际尺寸信息；和/或，基于所述待处理图像的特征图，对所述目标对象进行朝向预测处理，得到所述目标对象在所述相机坐标系中的朝向信息。
一种可能的实施方式中，所述二维检测框和三维检测框的投影关系信息，是基于所述三维检测框在图像坐标系中的投影的尺寸信息和位置信息、与所述二维检测框的尺寸信息和位置信息建立的。
一种可能的实施方式中，所述预测模块，在所述基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值时，用于：对所述目标对象的中心点在所述相机坐标系中的中间深度值构成的深度图像进行非线性变换，得到深度特征图；基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
一种可能的实施方式中，所述预测模块，在基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值时，用于：将所述深度特征图、以及所述待处理图像的特征图进行叠加，形成目标特征图；利用预先训练的深度值预测神经网络对所述目标特征图进行深度预测处理，得到所述特征图中各个特征点的目标深度值；基于所述特征图中各个特征点属于目标对象的中心点的概率、以及所述各个特征点分别对应的目标深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
一种可能的实施方式中，还包括第三处理模块，用于基于所述目标对象的中心点在所述相机坐标系中的目标深度值、以及所述目标对象的实际尺寸信息，得到所述目标对象在所述相机坐标系中的三维检测结果。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述深度检测装置、计算机设备、及计算机可读存储介质的效果描述参见上述深度检测方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种深度检测方法的流程图；
图2示出了本公开实施例所提供的确定目标对象的二维检测框在待处理图像对应的图像坐标系中的二维位置信息的具体方法的流程图；
图3示出了本公开实施例所提供的确定三维检测框在图像坐标系中的投影位置信息的具体方法的流程图；
图4示出了本公开实施例所提供的一种用于进行深度检测的目标神经网络的结构示意图；
图5示出了本公开实施例所提供的深度检测装置的结构示意图；
图6示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在基于单目图像的三维深度检测方法中，通常利用样本单目图像、以及对单目图像中的目标对象进行三维标记生成的标注信息，对神经网络进行训练。得到的神经网络能够直接预测得到目标对象的三维检测框的中心点在单目图像对应的相机坐标系中的深度值、以及三维检测框的尺寸信息。这种对单目图像中的目标对象的深度进行预测的方法存在预测精度较低的问题。
基于上述研究，本公开提供了一种深度检测方法、装置、计算机设备及存储介质，通过建立目标对象在图像坐标系中的二维位置、和在对应的相机坐标系中的三维位置之间的投影关系信息，并将投影关系信息作为目标对象在目标空间中的深度的特征信息，能够提升预测得到的目标对象在相机坐标系中深度信息的置信度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种深度检测方法进行详细介绍，本公开实施例所提供的深度检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该深度检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的深度检测方法加以说明。
本公开实施例例如可以用于对单目二维图像进行目标检测，得到目标对象在二维图像中的二维位置信息、以及目标对象在二维图像对应的相机坐标系中的三维位置信息。
参见图1所示，为本公开实施例提供的深度检测方法的流程图，所述方法包括步骤S101～S104，其中
S101：获取待处理图像；
S102：基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；
S103：基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；
S104：基于所述中间深度值和所述待处理图像，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
本公开实施例在获取待处理图像后，基于待处理图像，确定目标对象的二维检测框在待处理图像对应的图像坐标系中的二维位置信息、以及目标对象在待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息，然后基于二维位置信息、投影位置信息、以及二维检测框和三维检测框之间的投影关系信息，得到目标对象在相机坐标系中的中间深度值，并基于该中间深度值和待处理图像，得到目标对象在相机坐标系中的目标深度值，从而将二维检测框和三维检测框之间的投影关系信息作为特征信息，利用该投影关系信息对目标对象的深度进行预测，提升最终所得到的目标对象在相机坐标系中的目标深度值的精度。
下面对上述S101～S104加以详细说明。
在上述S101中，待处理图像在不同的应用场景下，所包括的目标对象不同。例如在将本公开实施例提供的深度检测方法应用于自动驾驶场景下时，目标对象例如包括车辆、行人、道路中的障碍物等；在将该深度检测方法应用于物体识别领域时，目标对象例如包括要识别的物体；在将该深度检测方法应用于相机定位领域时，目标对象例如包括目标场景中的各种物体。
本公开实施例以将该深度检测方法应用于自动驾驶场景为例，对深度检测方法的详细过程加以举例说明。
在上述S102中：
A：待处理图像对应的图像坐标系，例如是以待处理图像中的左上角的像素点所在位置为原点建立的二维坐标系。待处理图像上的各个像素点在待处理图像中的位置均能够利用该图像坐标系中的坐标值来表征。
参见图2所示，本公开实施例提供一种确定目标对象的二维检测框在待处理图像对应的图像坐标系中的二维位置信息的具体方式，包括：
S201：对所述待处理图像进行特征提取，获取待处理图像的特征图。
此处，例如可以利用骨干神经网络对待处理图像进行特征提取，得到特征图；其中，对待处理图像进行特征提取的过程，即对待处理图像进行下采样的过程，也即按照一定的下采样率对待处理图像进行下采样，得到待处理图像的特征图；在下采样率为R的情况下，得到的待处理图像的尺寸、与特征图的尺寸的比值为R。
在对待处理图像进行特征提取的过程中，例如可以对待处理图像进行至少一级卷积处理，得到待处理图像的特征图。在每级卷积处理过程中，例如可以利用至少一个卷积核对上一级卷积处理输出的结果或者待处理图像进行卷积，得到与本级卷积处理对应的结果，并将最后一级卷积处理的结果作为待处理图像的特征图。
在待处理图像的特征图中，每一个特征点与待处理图像中的像素点具有位置映射关系。
S202：基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率、与各个特征点对应的第一位置偏移量、和以各个特征点为中心点的下采样二维检测框的下采样尺寸信息。
其中，下采样二维检测框，为对待处理图像进行下采样后，所述目标对象二维检测框产生限缩形成的检测框。
在具体实施中：
(1)：在基于特征图得到特征图中的每个特征点属于目标对象的中心点的概率时，例如可以利用预先训练的中心点预测神经网络对特征图进行中心点预测处理，得到特征图中的各个特征点属于目标对象的中心点的概率。
此处，中心点预测神经网络例如可以是骨干神经网络延伸的一个分支；也即中心点预测神经网络与骨干神经网络属于同一神经网络；骨干神经网络对待处理图像进行特征提取后，将待处理图像对应的特征图传输给中心点预测神经网络；中心点预测神经网络基于特征图，预测特征图中的各个特征点属于目标对象的中心点的概率。
此处，中心点预测神经网络例如可以利用下述方式训练得到：
获取样本图像，以及样本对象的中心点在所述样本图像中的标注位置信息；其中，所述样本对象的中心点为样本对象在所述样本图像对应的相机坐标系中的三维检测框的中心点在所述样本图像中的投影点；
利用所述样本图像、以及所述位置标注信息，对待训练的骨干神经网络、以及待训练的中心点预测神经网络进行训练，得到训练好的所述中心点预测神经网络。
此处，在中心点预测神经网络是骨干神经网络延伸的一个分支的情况下，可以将骨干神经网络和待训练的中心点预测神经网络一起进行训练。
(2)：假设神经网络输出的特征图中，任一特征点在特征图中坐标值为：(x1，y1)，其物理含义为：物体的在图像中的投影点在图像中的位置，经过下采样、以及进行下取整后得到的坐标。
则(x1，y1)和第一位置偏移量相加，得到的坐标值，为二维检测框的中心在经过下采样后得到的坐标。
在基于特征图，确定特征图中的各个特征点对应的第一位置偏移量时，例如可以利用预先训练的第一位置偏移量预测神经网络对各个特征点对应的第一位置偏移量进行预测。
此处，第一位置偏移量预测神经网络例如也可以是骨干神经网络延伸的一个分支，其与上述(1)中的中心点预测神经网络分别为骨干神经网络延伸的不同分支。
具体地，待处理图像的中某个像素点的位置p1、和特征图中某个特征点的位置p2满足下述公式(1)：
Figure BDA0003134463630000111
floor(·)表示下取整；R表示下采样率。可见，在
Figure BDA0003134463630000112
并非整数的情况下，特征图中的特征点可能无法与待处理图像中的像素点进行像素级别的位置匹配，而是与待处理图像中的像素点进行亚像素级别的位置匹配关系。
此时，与特征图中特征点对应的第一位置偏移量Doffset满足下述公式(2)：
Figure BDA0003134463630000113
其中，mod(·)表示取余数。
则在Doffset通过位置偏移量预测神经网络预测得到后，即可以基于上述公式(2)，得到各个特征点分别在待处理图像中对应的第一像素点(或者亚像素点)。
在训练第一位置偏移量预测神经网络的时候，例如在上述(1)中，对中心点预测神经网络进行训练的过程中，已经得到了样本图像，以及样本图像对应的标注图像。
可以基于上述(1)中样本对象的中心点在样本图像中的标注位置信息、以及上述公式(2)，得到对待处理图像进行了下采样后，二维检测框在待处理图像中的中心点、与对应的特征点之间的第一偏移量；将得到的该第一偏移量作为样本图像的第一偏移量标注信息，利用样本图像对待训练的第一偏移量预测神经网络进行训练，得到训练后的第一偏移量预测神经网络。
这里，在第一偏移量预测神经网络为骨干神经网络延伸的一个分支的情况下，例如可以利用上述样本图像、和对应的第一偏移量标注信息，对待训练的骨干神经网络和待训练的第一偏移量预测神经网络进行训练，得到训练后的第一偏移量预测神经网络。
(3)：在基于特征图，确定以特征图中的每个特征点为中心点的下采样二维检测框的下采样尺寸信息时，例如可以利用预先训练的二维检测框预测神经网络对待处理图像进行检测框预测处理，得到特征图中各个特征点分别对应的下采样二维检测框的下采样尺寸信息。
此处，二维检测框预测神经网络例如也可以作为骨干神经网络延伸的一个分支。
这里，由于下采样检测框，可以视作是利用下采样率对目标对象在待处理图像中的二维检测框进行限缩后所形成的检测框，因此，目标对象在待处理图像中的二维检测框的尺寸s1，与目标对象在特征图中的下采样二维检测框的尺寸s2满足下述公式(3)：
Figure BDA0003134463630000121
因此，在预测得到待处理图像中各个特征点分别对应的下采样二维检测框的下采样尺寸信息后，即可基于上述公式(3)得到待处理图像中二维检测框在待处理图像中的尺寸信息。
在一种可能的实施方式中，在对待训练的二维检测框预测神经网络进行训练时，例如可以采用下述方式：
获取样本图像、以及所述样本图像对应的二维检测框标注信息；其中，所述二维检测框标注信息基于样本对象在所述样本图像对应的相机坐标系中的三维检测框在所述样本图像中的投影生成。
利用所述样本图像、以及所述样本图像对应的二维检测框标注信息，对待训练的骨干神经网络、以及待训练的二维检测框预测神经网络进行训练，得到训练后的二维检测框预测神经网络。
在本公开实施例中，是利用了二维检测框和三维检测框之间的投影关系作为特征数据，使得最终确定的目标对象在待处理图像对应的相机坐标系中的目标深度值能够具有更高的置信度，但在图像中标注的真实二维检测框和基于三维检测框投影形成的二维检测框之间是具有一定差异的，这个差异会导致基于真实二维检测框和真实标注的三维检测框在生成两者投影关系时，投影关系会存在一定的误差。因此本公开实施例中利用样本对象在所述样本图像对应的相机坐标系中的三维检测框在所述样本图像中的投影生成二维检测框标注信息，以消除这种差异。
这里需要注意的是，由于上述(1)中的中心点预测神经网络、(2)中的第一位置偏移量预测神经网络、以及(3)中的二维检测框预测神经网络均可以是骨干神经网络的一个分支，因此，可以采用同一批样本图像，同步训练上述骨干神经网络、中心点预测神经网络、第一位置偏移量预测神经网络、二维检测框预测神经网络。另外，可以采用不同的样本，分别训练上述三个不同的分支。
S203：基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息。
在具体实施中，目标对象在图像坐标系中的二维位置信息包括：所述二维检测框的中心点在所述图像坐标系中的第一坐标信息2D Center、以及所述二维检测框的尺寸信息2D Size。
在具体实施中，在基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息时，例如可以采用下述方式：
基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中确定目标特征点；
基于所述目标特征点在所述特征图中的位置信息、所述目标特征点的第一位置偏移量、以及下采样率，确定所述二维检测框的中心点在所述图像坐标系中的第一坐标信息；
以及，
基于所述目标特征点对应的下采样尺寸信息、以及所述下采样率，确定所述二维检测框的尺寸信息。
在具体实施中，在从基于特征图中的每个特征点属于目标对象中心点的概率，从特征图中确定目标特征点时，例如可以将各个特征点对应的概率分别和预设的概率阈值进行比较；在某个特征点对应的概率大于预设的概率阈值的情况下，将该特征点作为目标特征点。
针对特征图中的任一特征点，其在特征图中的位置信息表示为(x,y)，与其对应的待处理图像中的像素点在待处理图像中的位置信息表示为(x′,y′)，(x,y)和(x′,y′)之间的位置关系满足下述公式(4)：
Figure BDA0003134463630000131
Dx offset表示该特征点与对应的第一像素点在图像坐标系X轴方向的第一位置偏移量。Dy offset表示该特征点与对应的第一像素点在图像坐标系Y轴方向的第一位置偏移量。
因此，该特征点为目标特征点的情况下，也即与该特征点(x,y)对应的像素点为目标对象的二维检测框的第一中心点。
此时，第一中心点(x′,y′)的坐标值满足下述公式(5)：
Figure BDA0003134463630000132
进而，在目标特征点确定了，且目标特征点的第一位置偏移量已经基于上述S202预测得知的情况下，可以利用上述公式(5)得到目标对象的二维检测框的中心点在所述图像坐标系中的第一坐标信息。
在基于所述目标特征点对应的下采样尺寸信息、以及所述下采样率，确定所述二维检测框的尺寸信息时，在目标特征点对应的下采样尺寸信息已经基于上述S202预测得到的情况下，可以基于上述公式(3)到目标对象的在待处理图像中二维检测框在待处理图像中的尺寸信息。
B：待处理图像对应的相机坐标系，例如是以拍摄待处理图像的相机的光轴为z轴，以相机的光心所在、且垂直于相机的光轴的平面为X轴和Y轴所在平面建立的三维坐标系。其中，Z轴方向称深度方向。
参见图3所示，本公开实施例还提供一种基于所述待处理图像，所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在图像坐标系中的投影位置信息的具体方法，包括：
S301：基于所述待处理图像的特征图，得到与所述特征图中的每个特征点对应的第二位置偏移量。
其中，假设神经网络输出的特征图中，任一特征点在特征图中坐标值为：(x1，y1)，其物理含义为：物体的在图像中的投影点在图像中的位置，经过下采样、以及进行下取整后得到的坐标。
则(x1，y1)和第二位置偏移量相加，得到的坐标值，为物体的三维中心投影在在图像上形成投影点，并对投影点进行下采样后得到的坐标。
其中，各个特征点对应的第二位置偏移量，用于表征各个特征点和与各个特征点对应的第二像素点在经过下采样后形成的位置偏移；所述第二像素点为所述三维检测框的中心点在所述待处理图像中的投影点在所述待处理图像中对应的像素点。
待处理图像的特征图的获取方式与上述S201中特征图的获取方式相同，在此不再赘述。
在基于待处理图像的特诊图，得到与特征图中的每个特征点对应的第二位置偏移量时，例如可以利用预先训练的第二位置偏移量预测神经网络，对特征图进行第二位置偏移量预测处理，得到特征图中的各个特征点分别对应的第二位置偏移量。
这里，第二位置偏移量预测神经网络例如也可以是骨干神经网络的延伸的分支网络。将待处理图像输入至骨干神经网络；骨干神经网络对待处理图像进行下采样，得到待处理图像的特征图；特征图进入到第二位置偏移量预测神经网络后，得到特征图中各个特征点分别对应的第二位置偏移量。
这里，在训练第二位置偏移量预测神经网络的时候，例如在上述(1)中，对中心点预测神经网络进行训练的过程中，已经得到了样本图像，以及样本图像对应的标注图像。
例如可以对样本图像分别标注二维标注框、并标注三维标注框，然后基于标注的三维标注框，得到标注的三维标注框的中心点在待处理图像中的投影点在待处理图像中的坐标值s1；标注的二维标注框的中心点在待处理图像中的坐标值为s1’。
然后将标注的二维标注框的中心点在待处理图像中的坐标值s1’，利用上述公式(1)得到与s1对应的特征点，在特征图中的位置s2。
然后将标注的三维标注框的中心点在待处理图像中的投影点在待处理图像中的坐标值s1、以及利用公式(1)得到的s2，代入到上述公式(2)，即得样本对象的中心在样本对象对应的特征图中的特征点、与对应样本对象中心在样本图像中的中心点经过下采样后形成的位置偏移。
可以基于上述(1)中样本对象的中心点在样本图像中的标注位置信息，得到对待处理图像进行了下采样后，样本对象的三维检测框在待处理图像中的投影的中心点，的中心点、与对应的特征点之间的第一偏移量；将得到的该第一偏移量作为样本图像的第一偏移量标注信息，利用样本图像对待训练的第一偏移量预测神经网络进行训练，得到训练后的第一偏移量预测神经网络。
S302：基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息。
此处，所述投影位置信息包括下述至少一种：所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
示例性的，可以采用下述方式得到所述三维检测框在所述在所述图像坐标系中的投影位置信息：
基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中，确定目标特征点；
基于所述目标特征点在所述特征图中的位置信息、所述目标特征点对应的第二位置偏移量、以及所述下采样率，确定所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
这里，确定目标特征点的方式，与上述S203中确定目标特征点的方式相似，在此不再赘述。
在确定了目标特征点后，例如可以将目标特征点在特征图中的位置信息、目标特征点对应的第二位置偏移量、以及所述下采样率，代入到上述公式(5)中，得到三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
针对上述S103：在基于上述S102中的二维位置信息、投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值时，例如可以采用下述方式：
基于所述二维位置信息、所述投影位置信息、所述目标对象的实际尺寸信息、所述目标对象的朝向信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值。
在该种实施方式中，本公开实施例提供的深度检测方法还包括：
基于所述待处理图像的特征图，对所述目标对象进行尺寸预测处理，得到所述目标对象的实际尺寸信息；
和/或，基于所述待处理图像的特征图，对所述目标对象进行朝向预测处理，得到所述目标对象在所述相机坐标系中的朝向信息。
本公开实施例中，例如可以利用预先训练的尺寸预测神经网络，对待处理图像的特征图进行尺寸预测处理，得到目标对象的实际尺寸信息。此处，目标对象的实际尺寸信息，例如为目标对象在待处理图像对应的相机坐标系中的三维包围框的尺寸信息。
另外，也可以利用预先训练的朝向预测神经网络对待处理图像的特征图进行朝向预测处理，得到目标对象在相机坐标系中的朝向信息。
此处，尺寸预测神经网络、以及朝向预测神经网络可以为骨干申请网络延伸的不同分支。其可以与上述实施例中所述的中心点预测神经网络、第一位置偏移量预测神经网络、二维检测框预测神经网络、第二位置偏移量预测神经网络、以及骨干神经网络进行同步训练。
在本公开实施例中，还包括：建立二维检测框和所述三维检测框之间的投影关系信息。
示例性的，二维检测框和三维检测框的投影关系信息，是基于所述三维检测框在图像坐标系中的投影的尺寸信息和位置信息、与所述二维检测框的尺寸信息和位置信息建立的。例如可以采用下述方式建立二维检测框和三维检测框之间的投影关系信息：
在相机坐标系中，任一目标对象的三维包围框被表示为一个七元组：(W、H、L、x、y、z、ry)；其中，W、H、L分别表示三维包围框的长度、宽度、以及高度；(x,y,z)表示三维包围框的中心点坐标；ry表示目标对象在相机坐标系中绕Y周旋转的角度，范围为[-π,π]。任一目标对象在对应图像坐标系中的二维包围框被表示为一个四元组：(w,h,u,v)；其中，w,h表示二维包围框的宽度和高度，(u,v)表示二维包围框的中心点在图像坐标系中的坐标值。
三维包围框的第c个角(c＝1，…，8)的在相机坐标系中的坐标记为
Figure BDA0003134463630000171
其中，
Figure BDA0003134463630000172
满足下述公式(6)：
Figure BDA0003134463630000173
其中：
Figure BDA0003134463630000174
满足下述公式(7)：
Figure BDA0003134463630000175
Figure BDA0003134463630000176
分别表示三维包围框的角点与三维包围框的中心点在相机坐标系的X、Y、Z方向上的坐标差，i∈{1,2}，表示不同的Δ值的正负。则三维包围框的第c个角在相机坐标系中的坐标表示为下述公式(8)：
Figure BDA0003134463630000177
其中，Pobj表示三维包围框的中心点做包在相机坐标系中的坐标值；
Figure BDA0003134463630000178
表示三维包围框的角点在相机坐标系中的坐标值。
基于相机的内参矩阵，我们可以将角点从相机坐标系中投影到图像坐标系中，角点在图像坐标系中的投影点的坐标
Figure BDA0003134463630000179
满足下述公式(9)：
Figure BDA00031344636300001710
其中，zc表示第c个角点在相机坐标系中的深度值，uc,vc分表表示第c个角点在图像坐标系中的投影点在图像坐标系中的x轴的坐标值、以及y轴的坐标值。
在给定了目标对象的三维包围框在相机坐标系中的8个角点后，可以基于图像坐标系中的最上角maxc{vc}、与最下角minc{vc}之间的垂直距离，估算得到二维包围框的投影高度h，满足下述公式(10)：
Figure BDA0003134463630000181
vc来源于上述公式(9)，
Figure BDA0003134463630000182
表示三维包围框中各个角点与中心点点的最大深度差值；z表示中心点点的深度值；Δymax表示三维包围框中各个角点与中心点在相机坐标系的Y轴上的坐标差的最大值；Δymin表示三维包围框中各个角点与中心点点之间在Y周上的坐标差的最小值；fv表示相机的焦距。
三维包围框的中心点与水平面的夹角β满足下述公式(11)：
Figure BDA0003134463630000183
其中，(uo,vo)表示三维包围框的中心点在图像坐标系中投影点在图像坐标系中的坐标值。cv表示相机的主点偏移。
结合上述公式(10)和公式(11)，三维包围框的中心点在相机坐标系中的深度z满足下述公式(12)：
Figure BDA0003134463630000184
其中，参量b满足(13)：
Figure BDA0003134463630000185
tanβ满足下述公式(14)：
Figure BDA0003134463630000186
进而，在确定上述公式(12)、(13)、以及(14)的参量的情况下，可以确定三维包围框的中心点的深度值。
上述公式(12)即为本公开实施例中所述二维包围框和三维包围框之间的投影关系信息。
在将上述公式(12)、(13)以及(14)作为投影关系信息用于本公开实施例提供的深度检测方法中时，fv表示相机的焦距，可以基于待处理图像的属性信息读取得到；h表示目标对象在图像坐标系中的二维检测框的高度，可以根据上述二维位置信息得到，也即基于上述2D size得到。
Δzmax表示目标对象的三维检测框的8个角点与三维检测框中心点深度之间深度差的最大值。其中，三维检测框的8个角点中的第c个角点与三维检测框的中心点的深度差Δzc满足下述公式(15)：
Figure BDA0003134463630000191
其中，L和W分别来源于目标对象的实际尺寸信息，分别表示目标对象的高度和宽度。ry为目标对象的朝向信息。
基于目标对象的实际尺寸信息中的宽度值W和长度值L、以及目标对象的朝向信息、以及上述公式(15)，计算目标对象的三维检测框的8个角点分别与三维检测框的中心点的深度差，然后将然后取8个角点分别与三维检测框的中心点之间的深度差的最大值，即Δzmax。
然后利用上述公式(14)，确定tan(β)。
然后，利用目标对象的实际尺寸信息中的高度值H，tan(β)、Δzmax、相机的焦距、以及待处理图像对应的二维检测框的高度h，代入到公式(12)、和(13)，得到目标对象的中心点的中间深度值。
针对S104：在得到目标对象的中心点在相机坐标系中的深度值后，例如可以采用下述方式得到所述目标对象的中心点在所述相机坐标系中的目标深度值：
对所述目标对象的中心点在所述相机坐标系中的中间深度值构成的深度图像进行非线性变换，得到深度特征图；
基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
在具体实施中，对所述目标对象的中心点在所述相机坐标系中的中间深度值构成的深度图像进行非线性变换，得到深度特征图，其目的是为了去除深度特征图的噪声，进而能够将深度特征图作为待处理图像的特征的一部分，将深度特征图和待处理图像的特征图叠加起来，构成待处理图像对应的目标特征图，然后利用预先训练的深度值预测神经网络对所述目标特征图进行深度预测处理，得到所述特征图中各个特征点的目标深度值；
基于所述特征图中各个特征点属于目标对象的中心点的概率、以及所述各个特征点分别对应的目标深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
此处，对目标对象的中心点在所述相机坐标系中的中间深度值构成的深度图像进行非线性变换时，例如可以利用非线性变换模块，对目标对象的中心点在所述相机坐标系中的中间深度值进行非线性变换，以得到深度特征图。
这样，利用二维检测框和三维检测框之间的投影关系信息，生成能够对深度预测进行限制的深度特征图，然后利用深度特征图作为深度预测的特征数据，将之与待处理图像的特征图叠加后，得到待处理图像的目标特征图，然后利用深度预测神经网络对目标特征图进行深度预测处理，得到的目标对象的中心点的深度值，具有更高的置信度和准确度。
本公开另一实施例中，还包括：基于所述目标对象的中心点在所述相机坐标系中的目标深度值、以及所述目标对象的实际尺寸信息，得到所述目标对象在所述相机坐标系中的三维检测结果。
这样，可以基于三维检测结果进行后续的处理，例如在将本公开实施例应用于自动驾驶领域时，可以基于三维检测结果，控制自动驾驶车辆的自动驾驶过程。
参见图4所示，本公开实施例提供一种利用目标神经网络对待处理图像进行处理，得到目标对象在待处理图像对应的相机坐标系中的深度值的具体示例。包括：
该目标神经网络包括：骨干神经网络401、与骨干神经网络分别连接的中心点预测神经网络402、第一位置偏移量预测神经网络403、二维检测框预测神经网络404、第二位置偏移量预测神经网络405、尺寸预测神经网络406、朝向预测神经网络407。
将待处理图像输入至骨干神经网络401，得到特征图Feature map。
将Feature map输入到中心点预测神经网络402，得到热图Heatmap，其中，Heatmap中各个像素点的像素值，表征与该像素点对应的特征图中的特征点属于目标对象的中心点的概率。
将特征图输入到第一位置偏移量预测神经网络403，得到每个特征点对应的第一位置偏移量2D offset。
将特征图输入到二维检测框预测神经网络404，得到以各个特征点为中心点的下采样二维检测框的下采样尺寸信息2D size。
将特征图输入到第二位置偏移量预测神经网络405，得到特征图中的每个特征点对应的第二位置偏移量3D offset。
将特征图输入到尺寸预测神经网络406，得到目标对象在图像坐标系中的实际尺寸信息3D dimension。
将特征图输入到朝向预测神经网络407，得到目标对象的朝向信息Orientation。
在目标神经网络中，还包括：与中心点预测神经网络402、第一位置偏移量预测神经网络403、二维检测框预测神经网络404连接的第一处理模块408。
Heatmap、2D offset、以及2D size进入到第一处理模块408，第一处理模块408利用Heatmap、2D offset、以及2D size，生成目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息2D center。
在目标神经网络中，还包括：与中心点预测神经网络402、第二位置偏移量预测神经网络405连接的第二处理模块409。
Heatmap、3D offset进入到第二处理模块409，第二处理模块利用Heatmap、3Doffset，生成目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息3D center。
在目标神经网络中，还包括：与第一处理模块408、第二处理模块409、尺寸预测神经网络406、朝向预测神经网络407连接的第三处理模块410。
2D center、3D center、3D dimension、Orientation被输入至第三处理模块410，第三处理模块410基于二维检测框和三维检测框之间的投影关系信息(也即上述公式(12)、(13)、和(14))，利用2D center、3D center、3Ddimension、Orientation，得到目标对象的中心点在所述相机坐标系中的中间深度值所构成的深度图Depth map。
在目标神经网络中，还包括：与第三处理模块410连接的非线性变换模块411。
Depth map进入到非线性变换模块411，非线性变换模块411对Depth map进行非线性变换，得到深度特征图Geometric map。
在目标神经网络中，还包括：与骨干网络401和非线性变换模块411连接的第四处理模块412。
Geometric map和Feature map输入至第四处理模块412，第四处理模块412对Geometric map和Feature map进行叠加处理，得到待处理图像的目标特征图。
在目标神经网络中，还包括：与第四处理模块412连接的深度预测神经网络413。
将目标特征图输入至深度预测神经网络413，深度预测神经网络413对目标特征图进行深度预测处理，得到目标对象的中心点在相机坐标系中的目标深度值。
通过上述目标神经网络，能够得到待处理图像的中心点在相机坐标系中的目标深度值。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与深度检测方法对应的深度检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述深度检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5所示，为本公开实施例提供的一种深度检测装置的示意图，所述装置包括：
获取模块51，用于获取待处理图像；
第一处理模块52，用于基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；
第二处理模块53，用于基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；
预测模块54，用于基于所述中间深度值和所述待处理图像，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
一种可能的实施方式中，所述第一处理模块52，在基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息时，用于：
对所述待处理图像进行特征提取，获取待处理图像的特征图；
基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率、与各个特征点对应的第一位置偏移量、和以各个特征点为中心点的下采样二维检测框的下采样尺寸信息；
基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息；
其中，下采样二维检测框，为对待处理图像进行下采样后，所述目标对象二维检测框产生限缩形成的检测框。
一种可能的实施方式中，所述二维位置信息包括：所述二维检测框的中心点在所述图像坐标系中的第一坐标信息、以及所述二维检测框的尺寸信息。
一种可能的实施方式中，所述第一处理模块52，在基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息时，用于：
基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中确定目标特征点；
基于所述目标特征点在所述特征图中的位置信息、所述目标特征点的第一位置偏移量、以及下采样率，确定所述二维检测框的中心点在所述图像坐标系中的第一坐标信息；
以及，
基于所述目标特征点对应的下采样尺寸信息、以及所述下采样率，确定所述二维检测框的尺寸信息。
一种可能的实施方式中，所述第一处理模块52，在对所述待处理图像进行特征提取，获取待处理图像的特征图时，用于：
利用预先训练的骨干神经网络对所述待处理图像进行特征提取，得到所述待处理图像的特征图；
一种可能的实施方式中，所述第一处理模块52，在基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率时，用于：
利用预先训练的中心点预测神经网络对特征图进行中心点预测处理，得到特征图中的各个特征点属于目标对象的中心点的概率。
一种可能的实施方式中，还包括训练模块55，用于采用下述方式训练所述中心点预测神经网络：
获取样本图像，以及样本对象的中心点在所述样本图像中的标注位置信息；其中，所述样本对象的中心点为样本对象在所述样本图像对应的相机坐标系中的三维检测框的中心点在所述样本图像中的投影点；
利用所述样本图像、以及所述位置标注信息，对待训练的骨干神经网络、以及待训练的中心点预测神经网络进行训练，得到训练好的所述中心点预测神经网络。
一种可能的实施方式中，所述第一处理模块52，在基于所述待处理图像，所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息时，用于：
基于所述待处理图像的特征图，得到与所述特征图中的每个特征点对应的第二位置偏移量；
基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息。
一种可能的实施方式中，所述第一处理模块52，在投影位置信息包括下述至少一种：所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
一种可能的实施方式中，所述第一处理模块52，在基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息时，用于：
基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中，确定目标特征点；
基于所述目标特征点在所述特征图中的位置信息、所述目标特征点对应的第二位置偏移量、以及所述下采样率，确定所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
一种可能的实施方式中，所述第二处理模块53，在基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值时，用于：
基于所述二维位置信息、所述投影位置信息、所述目标对象的实际尺寸信息、所述目标对象的朝向信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值。
一种可能的实施方式中，所述第一处理模块52，还用于：
基于所述待处理图像的特征图，对所述目标对象进行尺寸预测处理，得到所述目标对象的实际尺寸信息；
和/或，基于所述待处理图像的特征图，对所述目标对象进行朝向预测处理，得到所述目标对象在所述相机坐标系中的朝向信息。
一种可能的实施方式中，所述二维检测框和三维检测框的投影关系信息，是基于所述三维检测框在图像坐标系中的投影的尺寸信息和位置信息、与所述二维检测框的尺寸信息和位置信息建立的。
一种可能的实施方式中，所述预测模块54，在所述基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值时，用于：
对所述目标对象的中心点在所述相机坐标系中的中间深度值构成的深度图像进行非线性变换，得到深度特征图；
基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
一种可能的实施方式中，所述预测模块54，在基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值时，用于：
将所述深度特征图、以及所述待处理图像的特征图进行叠加，形成目标特征图；
利用预先训练的深度值预测神经网络对所述目标特征图进行深度预测处理，得到所述特征图中各个特征点的目标深度值；
基于所述特征图中各个特征点属于目标对象的中心点的概率、以及所述各个特征点分别对应的目标深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
一种可能的实施方式中，还包括第三处理模块56，用于基于所述目标对象的中心点在所述相机坐标系中的目标深度值、以及所述目标对象的实际尺寸信息，得到所述目标对象在所述相机坐标系中的三维检测结果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图6所示，为本公开实施例提供的计算机设备结构示意图，包括：
处理器61和存储器62；所述存储器62存储有处理器61可执行的机器可读指令，处理器61用于执行存储器62中存储的机器可读指令，所述机器可读指令被处理器61执行时，处理器61执行下述步骤：
获取待处理图像；
基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；
基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；
基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
上述存储器62包括内存621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的深度检测方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的深度检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的深度检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种深度检测方法，其特征在于，包括：
获取待处理图像；
基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；
基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；
基于所述中间深度值和所述待处理图像，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
2.根据权利要求1所述的深度检测方法，其特征在于，所述基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息，包括：
对所述待处理图像进行特征提取，获取待处理图像的特征图；
基于所述特征图，得到所述特征图中的各个特征点属于目标对象的中心点的概率、与各个特征点对应的第一位置偏移量、和以各特征点为中心点的下采样二维检测框的下采样尺寸信息；
基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息；
其中，下采样二维检测框，为对待处理图像进行下采样后，所述目标对象二维检测框产生限缩形成的检测框。
3.根据权利要求2所述的深度检测方法，其特征在于，所述二维位置信息包括：所述二维检测框的中心点在所述图像坐标系中的第一坐标信息、以及所述二维检测框的尺寸信息。
4.根据权利要求3所述的深度检测方法，其特征在于，所述基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息，包括：
基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中确定目标特征点；
基于所述目标特征点在所述特征图中的位置信息、所述目标特征点的第一位置偏移量、以及下采样率，确定所述二维检测框的中心点在所述图像坐标系中的第一坐标信息；
以及，
基于所述目标特征点对应的下采样尺寸信息、以及所述下采样率，确定所述二维检测框的尺寸信息。
5.根据权利要求2-4任一项所述的深度检测方法，其特征在于，所述对所述待处理图像进行特征提取，获取待处理图像的特征图，包括：
利用预先训练的骨干神经网络对所述待处理图像进行特征提取，得到所述待处理图像的特征图；
所述基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率，包括：
利用预先训练的中心点预测神经网络对特征图进行中心点预测处理，得到特征图中的各个特征点属于目标对象的中心点的概率。
6.根据权利要求5所述的深度检测方法，其特征在于，采用下述方式训练所述中心点预测神经网络：
获取样本图像，以及样本对象的中心点在所述样本图像中的标注位置信息；其中，所述样本对象的中心点为样本对象在所述样本图像对应的相机坐标系中的三维检测框的中心点在所述样本图像中的投影点；
利用所述样本图像、以及所述位置标注信息，对待训练的骨干神经网络、以及待训练的中心点预测神经网络进行训练，得到训练好的所述中心点预测神经网络。
7.根据权利要求1-6任一项所述的深度检测方法，其特征在于，基于所述待处理图像，所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述图像坐标系中的投影位置信息，包括：
基于所述待处理图像的特征图，得到与所述特征图中的每个特征点对应的第二位置偏移量；
基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述图像坐标系中的投影位置信息。
8.根据权利要求7所述的深度检测方法，其特征在于，所述投影位置信息包括下述至少一种：所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
9.根据权利要求8所述的深度检测方法，其特征在于，所述基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述图像坐标系中的投影位置信息，包括：
基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中，确定目标特征点；
基于所述目标特征点在所述特征图中的位置信息、所述目标特征点对应的第二位置偏移量、以及所述下采样率，确定所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
10.根据权利要求1-9任一项所述的深度检测方法，其特征在于，所述基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值，包括：
基于所述二维位置信息、所述投影位置信息、所述目标对象的实际尺寸信息、所述目标对象的朝向信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值。
11.根据权利要求10所述的深度检测方法，其特征在于，还包括：
基于所述待处理图像的特征图，对所述目标对象进行尺寸预测处理，得到所述目标对象的实际尺寸信息；
和/或，基于所述待处理图像的特征图，对所述目标对象进行朝向预测处理，得到所述目标对象在所述相机坐标系中的朝向信息。
12.根据权利要求1-11任一项所述的深度检测方法，其特征在于，所述二维检测框和三维检测框的投影关系信息，是基于所述三维检测框在图像坐标系中的投影的尺寸信息和位置信息、与所述二维检测框的尺寸信息和位置信息建立的。
13.根据权利要求1-12任一项所述的深度检测方法，其特征在于，所述基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值，包括：
对所述目标对象的中心点在所述相机坐标系中的中间深度值构成的深度图像进行非线性变换，得到深度特征图；
基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
14.根据权利要求13所述的深度检测方法，其特征在于，所述基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值，包括：
将所述深度特征图、以及所述待处理图像的特征图进行叠加，形成目标特征图；
利用预先训练的深度值预测神经网络对所述目标特征图进行深度预测处理，得到所述特征图中各个特征点的目标深度值；
基于所述特征图中各个特征点属于目标对象的中心点的概率、以及所述各个特征点分别对应的目标深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
15.根据权利要求1-14任一项所述的深度检测方法，其特征在于，还包括：基于所述目标对象的中心点在所述相机坐标系中的目标深度值、以及所述目标对象的实际尺寸信息，得到所述目标对象在所述相机坐标系中的三维检测结果。
16.一种深度检测装置，其特征在于，包括：
获取模块，用于获取待处理图像；
第一处理模块，用于基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述图像坐标系中的投影位置信息；
第二处理模块，用于基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；
预测模块，用于基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
17.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至15任一项所述的深度检测方法的步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至15任意一项所述的深度检测方法的步骤。
CN202110713298.0A 2021-06-25 2021-06-25 深度检测方法、装置、计算机设备及存储介质 Active CN113344998B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110713298.0A CN113344998B (zh) 2021-06-25 2021-06-25 深度检测方法、装置、计算机设备及存储介质
PCT/CN2021/125278 WO2022267275A1 (zh) 2021-06-25 2021-10-21 深度检测方法、装置、设备、存储介质、计算机程序及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110713298.0A CN113344998B (zh) 2021-06-25 2021-06-25 深度检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113344998A CN113344998A (zh) 2021-09-03
CN113344998B true CN113344998B (zh) 2022-04-29

Family

ID=77478780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110713298.0A Active CN113344998B (zh) 2021-06-25 2021-06-25 深度检测方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN113344998B (zh)
WO (1) WO2022267275A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344998B (zh) * 2021-06-25 2022-04-29 北京市商汤科技开发有限公司 深度检测方法、装置、计算机设备及存储介质
CN114842287B (zh) * 2022-03-25 2022-12-06 中国科学院自动化研究所 深度引导变形器的单目三维目标检测模型训练方法及装置
CN115546216B (zh) * 2022-12-02 2023-03-31 深圳海星智驾科技有限公司 一种托盘检测方法、装置、设备及存储介质
CN116189150B (zh) * 2023-03-02 2024-05-17 吉咖智能机器人有限公司 基于融合输出的单目3d目标检测方法、装置、设备和介质
CN115880470B (zh) * 2023-03-08 2023-06-02 深圳佑驾创新科技有限公司 3d图像数据的生成方法、装置、设备及存储介质
CN116362318B (zh) * 2023-03-30 2024-02-06 复旦大学 基于自适应深度修正的纯视觉三维目标检测方法和系统
CN116386016B (zh) * 2023-05-22 2023-10-10 杭州睿影科技有限公司 一种异物处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
WO2020019761A1 (zh) * 2018-07-27 2020-01-30 深圳市商汤科技有限公司 单目图像深度估计方法及装置、设备、程序及存储介质
CN111340864A (zh) * 2020-02-26 2020-06-26 浙江大华技术股份有限公司 基于单目估计的三维场景融合方法及装置
CN111582207A (zh) * 2020-05-13 2020-08-25 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN111857111A (zh) * 2019-04-09 2020-10-30 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
CN112419385A (zh) * 2021-01-25 2021-02-26 国汽智控(北京)科技有限公司 一种3d深度信息估计方法、装置及计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100592338C (zh) * 2008-02-03 2010-02-24 四川虹微技术有限公司 多视角视频图像深度搜索方法及深度估计方法
CN113344998B (zh) * 2021-06-25 2022-04-29 北京市商汤科技开发有限公司 深度检测方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020019761A1 (zh) * 2018-07-27 2020-01-30 深圳市商汤科技有限公司 单目图像深度估计方法及装置、设备、程序及存储介质
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN111857111A (zh) * 2019-04-09 2020-10-30 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
CN111340864A (zh) * 2020-02-26 2020-06-26 浙江大华技术股份有限公司 基于单目估计的三维场景融合方法及装置
CN111582207A (zh) * 2020-05-13 2020-08-25 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN112419385A (zh) * 2021-01-25 2021-02-26 国汽智控(北京)科技有限公司 一种3d深度信息估计方法、装置及计算机设备

Also Published As

Publication number Publication date
CN113344998A (zh) 2021-09-03
WO2022267275A1 (zh) 2022-12-29

Similar Documents

Publication Publication Date Title
CN113344998B (zh) 深度检测方法、装置、计算机设备及存储介质
EP3182371B1 (en) Threshold determination in for example a type ransac algorithm
KR101921672B1 (ko) 이미지 처리 방법 및 장치
US10726612B2 (en) Method and apparatus for reconstructing three-dimensional model of object
CN110648397A (zh) 场景地图生成方法、装置、存储介质及电子设备
CN110889464A (zh) 神经网络训练、目标对象的检测方法及装置
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及系统
CN113011364B (zh) 神经网络训练、目标对象检测、行驶控制方法及装置
KR102464271B1 (ko) 포즈 획득 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US20230237683A1 (en) Model generation method and apparatus based on multi-view panoramic image
CN112819875B (zh) 单目深度估计的方法、装置及电子设备
CN112734837B (zh) 图像匹配的方法及装置、电子设备及车辆
CN114119991A (zh) 一种目标检测的方法、装置、电子设备及存储介质
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN116168143A (zh) 一种多视图三维重建的方法
CN113256718A (zh) 定位方法和装置、设备及存储介质
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
CN112907746A (zh) 电子地图的生成方法、装置、电子设备及存储介质
JP2014035597A (ja) 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法
CN114463408A (zh) 自由视点图生成方法、装置、设备及存储介质
CN113592015A (zh) 定位以及训练特征匹配网络的方法和装置
CN112950675A (zh) 一种目标跟踪的方法、装置、电子设备及存储介质
CN115272575B (zh) 图像生成方法及装置、存储介质和电子设备
CN112950653B (zh) 一种注意力图像分割方法、装置及介质
CN110555874A (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40050698

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant