CN111274943B - 一种检测方法、装置、电子设备及存储介质 - Google Patents

一种检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111274943B
CN111274943B CN202010060288.7A CN202010060288A CN111274943B CN 111274943 B CN111274943 B CN 111274943B CN 202010060288 A CN202010060288 A CN 202010060288A CN 111274943 B CN111274943 B CN 111274943B
Authority
CN
China
Prior art keywords
detected
information
dimensional image
dimensional
structured polygon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010060288.7A
Other languages
English (en)
Other versions
CN111274943A (zh
Inventor
蔡颖婕
曾星宇
刘诗男
闫俊杰
王晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202010060288.7A priority Critical patent/CN111274943B/zh
Publication of CN111274943A publication Critical patent/CN111274943A/zh
Priority to KR1020217042317A priority patent/KR20220013565A/ko
Priority to PCT/CN2021/072750 priority patent/WO2021143935A1/zh
Priority to SG11202108275VA priority patent/SG11202108275VA/en
Priority to JP2022500618A priority patent/JP2022531625A/ja
Priority to US17/388,912 priority patent/US20210358153A1/en
Application granted granted Critical
Publication of CN111274943B publication Critical patent/CN111274943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种检测方法、装置、电子设备及存储介质，该方法包括：获取二维图像；基于获取的二维图像，构建二维图像中的至少一个待检测对象分别对应的结构化多边形；一个待检测对象的结构化多边形表征该待检测对象的三维边界框在所述二维图像上的投影；针对每个待检测对象，基于该待检测对象的高度、以及该待检测对象对应的结构化多边形中竖边的高度信息，计算结构化多边形中顶点的深度信息；基于计算得到的结构化多边形中顶点的深度信息，以及结构化多边形的顶点在二维图像中的二维坐标信息，确定待检测对象对应的三维空间信息，待检测对象的三维空间信息与待检测对象的三维边界框相关。

Description

一种检测方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种检测方法、装置、电子设备及存储介质。
背景技术
在计算机视觉领域中，三维(3Division，3D)目标检测是最基本的任务之一。具体的，3D目标检测可应用于自动驾驶场景、机器人执行任务场景中等。例如，在无人车辆自动驾驶场景中，为了实现无人车辆的安全行驶，避免车辆与周围对象发生碰撞，需要对车辆行驶过程中周围的对象进行检测，确定对象的位置、前进方向等空间信息，即3D目标检测。故如何进行3D目标检测是一个值得研究的课题。
发明内容
有鉴于此，本公开至少提供一种检测方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种检测方法，包括：
获取二维图像；
基于获取的二维图像，构建所述二维图像中的至少一个待检测对象分别对应的结构化多边形；一个待检测对象的结构化多边形表征该待检测对象的三维边界框在所述二维图像上的投影；
针对每个所述待检测对象，基于该待检测对象的高度、以及该待检测对象对应的所述结构化多边形中的竖边的高度信息，计算所述结构化多边形中顶点的深度信息；
基于计算得到的所述结构化多边形中顶点的深度信息，以及所述结构化多边形的顶点在所述二维图像中的二维坐标信息，确定所述待检测对象对应的三维空间信息，所述待检测对象的三维空间信息与所述待检测对象的三维边界框相关。
这里，由于构建的结构化多边形是待检测对象的三维边界框在二维图像中的投影，因此，构建的结构化多边形能够较好的表征待检测对象的三维特征，基于该结构化多边形预测的深度信息与基于二维图像特征直接预测的深度信息相比，具有较高的准确度，进而得到的待检测对象的三维空间信息的准确度较高，提高了3D检测技术的准确性。
一种可能的实施方式中，确定所述待检测对象对应的三维空间信息之后，所述检测方法还包括：
基于所述二维图像以及所述二维图像对应的深度图，生成所述二维图像对应的鸟瞰图；
基于所述鸟瞰图调整每个所述待检测对象的三维空间信息，得到所述待检测对象对应的调整后的三维空间信息。
上述方法中，基于二维图像以及二维图像对应的深度图，生成二维图像对应的鸟瞰图，鸟瞰图中包括深度值，基于鸟瞰图对三维空间信息进行调整时，可以使得调整后的三维空间信息与对应的待检测对象更加相符。
一种可能的实施方式中，所述基于所述二维图像以及所述二维图像对应的深度图，生成所述二维图像对应的鸟瞰图，包括：
基于所述二维图像以及所述二维图像对应的深度图，得到所述二维图像对应的点云数据，其中，所述点云数据中包括所述二维图像所对应的真实空间中多个空间点的三维坐标值；
基于所述点云数据中每个空间点的三维坐标值，生成所述二维图像对应的鸟瞰图。
一种可能的实施方式中，所述基于所述点云数据中每个空间点的三维坐标值，生成所述二维图像对应的鸟瞰图，包括：
针对每个所述空间点，将该空间点的横轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的横轴坐标值，将该空间点的纵轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的像素通道值，将该空间点的竖轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的纵轴坐标值。
一种可能的实施方式中，所述基于所述鸟瞰图调整每个所述待检测对象的三维空间信息，得到所述待检测对象对应的调整后的三维空间信息，包括：
提取所述鸟瞰图对应的第一特征数据；
基于所述每个所述待检测对象对应的所述三维空间信息，以及第一预设尺寸信息，在所述鸟瞰图对应的第一特征数据中，选取每个所述待检测对象对应的第二特征数据；
基于每个所述待检测对象对应的所述第二特征数据，确定所述待检测对象对应的所述调整后的三维空间信息。
这里，通过从鸟瞰图对应的第一特征数据中，选取每个待检测对象对应的第二特征数据，基于每个待检测对象对应的第二特征数据，确定该待检测对象对应的调整后的三维空间信息，这样，使得用于确定每个待检测对象对应的调整后的三维空间信息的模型的数据处理量较小，可以提高处理效率。
一种可能的实施方式中，所述基于获取的二维图像，构建所述二维图像中的至少一个待检测对象分别对应的结构化多边形，包括：
基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息；其中，所述属性信息包括以下至少一种：顶点信息、表面信息、以及轮廓线信息；
基于每个所述待检测对象对应的结构化多边形的属性信息，构建所述结构化多边形。
这里，顶点信息(结构化多边形一般包括多个顶点)、表面信息(结构化多边形一般包括多个表面)、轮廓线信息(结构化多边形一般包括多条轮廓线)为构成结构化多边形的基本信息，基于这些信息能够唯一构建一个结构化多边形，且较准确的表征待检测对象的形状。
一种可能的实施方式中，所述基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息，包括：
对所述二维图像进行对象检测，得到所述二维图像中的至少一个对象区域，其中每个对象区域包含一个所述待检测对象；
基于每个待检测对象对应的对象区域以及第二预设尺寸信息，从所述二维图像中，截取每个待检测对象对应的目标图像；所述第二预设尺寸大于或等于每个待检测对象的对象区域的尺寸；
对每个所述待检测对象对应的目标图像进行特征提取，得到每个所述待检测对象对应的结构化多边形的属性信息。
这里，将每个待检测对象的目标图像处理成统一的尺寸大小，可以简化用于对目标图像进行特征提取的模型的处理过程，提高处理效率。
一种可能的实施方式中，在所述属性信息包括顶点信息的情况下，根据以下步骤对每个待检测对象对应的所述目标图像进行特征提取，得到每个所述待检测对象对应的结构化多边形的属性信息：
基于卷积神经网络提取所述目标图像的特征数据；
基于堆叠的至少一个沙漏网络对所述特征数据进行处理，得到所述目标图像对应的待检测对象的一组热力图，其中，一组热力图中包括多个热力图，每个热力图中包含所述结构化多边形的多个顶点中的一个顶点；
基于所述待检测对象对应的一组热力图，确定所述待检测对象对应的结构化多边形的属性信息。
一种可能的实施方式中，所述基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息，包括：
对所述二维图像进行特征提取，得到所述二维图像中多个目标元素的信息；所述目标元素包括顶点、表面、和轮廓线中的至少一种元素；
基于所述目标元素的信息，对各个目标元素进行聚类，得到至少一个聚类后的目标元素集合；
将每个目标元素集合中的目标元素组成结构化多边形，并将该目标元素集合中的目标元素的信息作为该结构化多边形的属性信息。
在上述实施方式下，通过对二维图像中的各个目标元素进行聚类，得到每个类别下的目标元素集合，这样得到的一个目标元素集合中的元素即为一个待检测对象中的元素，再基于每个目标元素集合，可以得到该目标元素集合对应的待检测对象的结构化多边形。
一种可能的实施方式中，针对每个所述待检测对象，基于该待检测对象的高度、以及该待检测对象对应的所述结构化多边形中的竖边的高度信息，计算所述结构化多边形中顶点的深度信息，包括：
针对每个所述待检测对象，确定该待检测对象的高度与所述结构化多边形中的每条竖边的高度之间的比值；将每条竖边对应的所述比值与拍摄所述二维图像的摄像设备的焦距之间的乘积，确定为该条竖边对应的顶点的深度信息。
一种可能的实施方式中，确定所述待检测对象的高度，包括：
基于所述二维图像和预先训练的用于进行高度检测的神经网络，确定所述二维图像中每个所述待检测对象的高度；或者，
预先采集多个不同姿态的待检测对象的真实高度值，将采集的多个真实高度值的平均值作为所述待检测对象的高度；或者，
基于所述二维图像和预先训练的用于进行对象检测的神经网络，得到所述待检测对象的回归变量；基于所述回归变量以及预先得到的多个不同姿态的待检测对象的平均高度，确定所述待检测对象的高度；其中，所述回归变量用于表征所述待检测对象的高度与所述平均高度之间的偏差程度。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种检测装置，所述检测装置包括：
图像获取模块，用于获取二维图像；
结构化多边形构建模块，用于基于获取的二维图像，构建所述二维图像中的至少一个待检测对象分别对应的结构化多边形；一个待检测对象的结构化多边形表征该待检测对象的三维边界框在所述二维图像上的投影；
深度信息确定模块，用于针对每个所述待检测对象，基于该待检测对象的高度、以及该待检测对象对应的所述结构化多边形中的竖边的高度信息，计算所述结构化多边形中顶点的深度信息；
三维空间信息确定模块，用于基于计算得到的所述结构化多边形中顶点的深度信息，以及所述结构化多边形的顶点在所述二维图像中的二维坐标信息，确定所述待检测对象对应的三维空间信息，所述待检测对象的三维空间信息与所述待检测对象的三维边界框相关。
一种可能的实施方式中，所述检测装置还包括：
鸟瞰图确定模块，用于基于所述二维图像以及所述二维图像对应的深度图，生成所述二维图像对应的鸟瞰图；
调整模块，用于基于所述鸟瞰图调整每个所述待检测对象的三维空间信息，得到所述待检测对象对应的调整后的三维空间信息。
一种可能的实施方式中，所述鸟瞰图确定模块用于：
基于所述二维图像以及所述二维图像对应的深度图，得到所述二维图像对应的点云数据，其中，所述点云数据中包括所述二维图像所对应的真实空间中多个空间点的三维坐标值；
基于所述点云数据中每个空间点的三维坐标值，生成所述二维图像对应的鸟瞰图。
一种可能的实施方式中，所述鸟瞰图确定模块用于：
针对每个所述空间点，将该空间点的横轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的横轴坐标值，将该空间点的纵轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的像素通道值，将该空间点的竖轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的纵轴坐标值。
一种可能的实施方式中，所述调整模块用于：
提取所述鸟瞰图对应的第一特征数据；
基于所述每个所述待检测对象对应的所述三维空间信息，以及第一预设尺寸信息，在所述鸟瞰图对应的第一特征数据中，选取每个所述待检测对象对应的第二特征数据；
基于每个所述待检测对象对应的所述第二特征数据，确定所述待检测对象对应的所述调整后的三维空间信息。
一种可能的实施方式中，所述结构化多边形构建模块用于：
基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息；其中，所述属性信息包括以下至少一种：顶点信息、表面信息、以及轮廓线信息；
基于每个所述待检测对象对应的结构化多边形的属性信息，构建所述结构化多边形。
一种可能的实施方式中，所述结构化多边形构建模块用于：
对所述二维图像进行对象检测，得到所述二维图像中的至少一个对象区域，其中每个对象区域包含一个所述待检测对象；
基于每个待检测对象对应的对象区域以及第二预设尺寸信息，从所述二维图像中，截取每个待检测对象对应的目标图像；
对每个所述待检测对象对应的目标图像进行特征提取，得到每个所述待检测对象对应的结构化多边形的属性信息。
一种可能的实施方式中，所述结构化多边形构建模块用于：
基于卷积神经网络提取所述目标图像的特征数据；
基于堆叠的至少一个沙漏网络对所述特征数据进行处理，得到所述目标图像对应的待检测对象的一组热力图，其中，一组热力图中包括多个热力图，每个热力图中包含所述结构化多边形的多个顶点中的一个顶点；
基于所述待检测对象对应的一组热力图，确定所述待检测对象对应的结构化多边形的属性信息。
一种可能的实施方式中，所述结构化多边形构建模块用于：
对所述二维图像进行特征提取，得到所述二维图像中多个目标元素的信息；所述目标元素包括顶点、表面、和轮廓线中的至少一种元素；
基于所述目标元素的信息，对各个目标元素进行聚类，得到至少一个聚类后的目标元素集合；
将每个目标元素集合中的目标元素组成结构化多边形，并将该目标元素集合中的目标元素的信息作为该结构化多边形的属性信息。
一种可能的实施方式中，所述深度信息确定模块用于：
针对每个所述待检测对象，确定该待检测对象的高度与所述结构化多边形中的每条竖边的高度之间的比值；将每条竖边对应的所述比值与拍摄所述二维图像的摄像设备的焦距之间的乘积，确定为该条竖边对应的顶点的深度信息。
一种可能的实施方式中，所述深度信息确定模块用于：
基于所述二维图像和预先训练的用于进行高度检测的神经网络，确定所述二维图像中每个所述待检测对象的高度；或者，
预先采集多个不同姿态的待检测对象的真实高度值，将采集的多个真实高度值的平均值作为所述待检测对象的高度；或者，
基于所述二维图像和预先训练的用于进行对象检测的神经网络，得到所述待检测对象的回归变量；基于所述回归变量以及预先得到的多个不同姿态的待检测对象的平均高度，确定所述待检测对象的高度；其中，所述回归变量用于表征所述待检测对象的高度与所述平均高度之间的偏差程度。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的检测方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的检测方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种检测方法的流程示意图；
图2示出了本公开实施例所提供的一种检测方法中，三维边界框以及对应的结构化多边形的结构示意图；
图3示出了本公开实施例所提供的一种检测方法中，构建二维图像中的至少一个待检测对象分别对应的结构化多边形的方法的流程示意图；
图4示出了本公开实施例所提供的一种检测方法中，确定每个待检测对象对应的结构化多边形的属性信息的方法的流程示意图；
图5示出了本公开实施例所提供的一种检测方法中，对每个待检测对象对应的目标图像进行特征提取的方法的流程示意图；
图6示出了本公开实施例所提供的一种检测方法中，特征提取模型的结构示意图；
图7示出了本公开实施例所提供的一种检测方法中，二维图像与三维边界框之间对应关系的结构示意图；
图8示出了本公开实施例所提供的一种检测方法中，待检测图像的俯视图；
图9示出了本公开实施例所提供的一种检测方法中，得到该待检测对象对应的调整后的三维空间信息的方法的流程示意图；
图10示出了本公开实施例所提供的一种检测方法中，图像检测模型的结构示意图；
图11示出了本公开实施例所提供的一种检测装置的架构示意图；
图12示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
在自动驾驶、机器人运输等场景中，一般会使用摄像头拍摄得到二维图像，基于二维图像进行前方目标识别，如识别前方障碍物，以进行避让。由于从二维图像中仅能识别出目标在平面维度上的尺寸，无法准确掌握目标在真实世界中的三维空间信息，从而会导致基于该识别结果执行自动驾驶、机器人运输等任务时，有时会出现一些危险状况，如撞车、撞到障碍物等。为了掌握目标在真实世界中的三维空间信息，本公开实施例提供了一种检测方法，基于二维图像得到待检测对象的结构化多边形以及深度信息，实现3D目标检测。
本公开实施例提供的检测方法，通过为获取的二维图像中的每个待检测对象构建结构化多边形，由于构建的结构化多边形是待检测对象的三维边界框在二维图像中的投影，因此，构建的结构化多边形能够较好的表征待检测对象的三维特征；另外，本公开实施例基于待检测对象的高度、以及该待检测对象对应的结构化多边形中竖边的高度信息，计算结构化多边形中顶点的深度信息，这种基于该结构化多边形预测的深度信息与基于二维图像特征直接预测的深度信息相比，具有较高的准确度；进而，在基于结构化多边形中顶点的深度信息以及结构化多边形的顶点在二维图像中的二维坐标信息，确定待检测对象对应的三维空间信息时，得到的三维空间信息的准确度较高，进而提高了3D目标检测技术的准确性。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种检测方法进行详细介绍。
本公开实施例提供的检测方法可应用于服务器，或者应用于带有中央处理器的智能终端设备。服务器可以是本地服务器也可以是云端服务器等，智能终端设备可以是智能手机、平板电脑、个人数字处理(Personal Digital Assistant，PDA)等，本公开对此并不限定。
本公开提供的检测方法可以应用于任一需要感知待检测对象的场景中，例如，该检测方法可以应用于自动驾驶场景中，也可以应用于机器人执行任务的场景中。例如，该方法应用于自动驾驶场景中时，车辆上设置的摄像设备获取车辆行驶过程中的二维图像，并将获取的二维图像发送给服务器进行3D目标检测，或者，将获取的二维图像发送给智能终端设备；服务器或智能终端设备基于本公开实施例提供的检测方法对二维图像进行处理，确定二维图像中的每个待检测对象对应的三维空间信息。
参见图1所示，为本公开实施例所提供的一种检测方法的流程示意图，其中，以该检测方法应用于服务器中为例进行说明，该检测方法包括以下几个步骤：
S101，获取二维图像；
S102，基于获取的二维图像，构建二维图像中的至少一个待检测对象分别对应的结构化多边形；一个待检测对象的结构化多边形表征该待检测对象的三维边界框在所述二维图像上的投影；
S103，针对每个待检测对象，基于该待检测对象的高度、以及该待检测对象对应的结构化多边形中竖边的高度信息，计算结构化多边形中顶点的深度信息；
S104，基于计算得到的结构化多边形中顶点的深度信息，以及结构化多边形的顶点在二维图像中的二维坐标信息，确定待检测对象对应的三维空间信息，待检测对象的三维空间信息与待检测对象的三维边界框相关。
以下对S101～S104分别进行说明。
针对S101：
本公开实施例中，服务器或智能终端设备可以实时获取摄像设备拍摄的二维图像，也可以从存储有二维图像的存储模块中获取在预设拍摄周期内的二维图像。其中，二维图像可以为摄像设备获取的红绿蓝(red-green-blue，RGB)图像。
在具体实施时，针对自动驾驶或机器人运行等场景，可以在车辆行驶或机器人运行过程中，实时的获取车辆或机器人当前位置处对应的二维图像，对获取的二维图像进行处理。
针对S102：
本公开实施例中，参见图2所示的一种检测方法中，三维边界框以及对应的结构化多边形的结构示意图，待检测对象的结构化多边形24为长方体结构的三维边界框25在二维图像上的投影。在具体实施时，若二维图像中包括多个待检测对象时，则为每个待检测对象构建对应的结构化多边形。在具体实施时，待检测对象可以为车辆行驶过程中，需要检测的任一对象。例如，待检测对象可以为车辆、动物、行人等。
一种可能的实施方式中，参见图3所示，基于获取的二维图像，构建二维图像中的至少一个待检测对象分别对应的结构化多边形，包括：
S301，基于二维图像，确定每个待检测对象对应的结构化多边形的属性信息；其中，属性信息包括以下至少一种：顶点信息、表面信息、以及轮廓线信息；
S302，基于每个待检测对象对应的结构化多边形的属性信息，构建结构化多边形。
示例性的，在属性信息包括顶点信息的情况下，基于二维图像，确定每个待检测对象对应的结构化多边形的多个顶点信息，通过得到的多个顶点信息，构建每个待检测对象对应的结构化多边形。以图2为例进行说明，多个顶点信息可以为结构化多边形24的八个顶点的坐标信息，即p1、p2、p3、p4、p5、p6、p7、p8中每个顶点的坐标信息；或者，多个顶点信息还可以为结构化多边形中部分顶点的坐标信息，其中基于这部分顶点的坐标信息可以唯一确定一个结构化多边形，例如，部分顶点的坐标信息可以为p3、p4、p5、p6、p7、p8中每个顶点的坐标信息，或者，部分顶点的坐标信息还可以为p3、p6、p7、p8中每个顶点的坐标信息。具体使用哪些部分顶点来唯一确定一个结构化多边形可以根据实际情况进行确定，本公开实施例对此不进行具体限定。
示例性的，在属性信息包括表面信息的情况下，基于二维图像，确定每个待检测对象对应的结构化多边形的多个表面信息，通过得到的多个平面信息，构建每个待检测对象对应的结构化多边形。以图2为例进行说明，多个表面信息可以为结构化多边形24的六个平面的形状及位置；或者，多个平面信息还可以为结构化多边形24中部分平面的形状及位置，其中基于这部分平面的形状及位置可以唯一确定一个结构化多边形，例如，部分平面可以为第一平面21、第二平面22、以及第三平面23，或者，部分平面还可以为第一平面21、以及第二平面22。具体使用哪些部分平面来唯一确定一个结构化多边形，可以根据实际情况进行确定，本公开实施例对此不进行具体限定。
示例性的，在属性信息为轮廓线信息的情况下，可以基于二维图像，确定每个待检测对象对应的结构化多边形的多条轮廓线信息，通过得到的多条轮廓线信息，构建每个待检测对象对应的结构化多边形。以图2为例进行说明，多条轮廓线信息可以为结构化多边形的12条轮廓线的位置以及长度；或者，多条轮廓线信息还可以为结构化多边形中部分的多条轮廓线的位置以及长度，其中基于这部分轮廓线的位置及长度可以唯一确定一个结构化多边形，例如，部分的多条轮廓线可以为p7与p8构成的轮廓线(第一轮廓线)、p7与p3构成的轮廓线(第二轮廓线)、以及p7与p6构成的轮廓线(第三轮廓线)，或者，部分的多条轮廓线可以为p7与p8构成的轮廓线(第一轮廓线)、p7与p3构成的轮廓线(第二轮廓线)、p7与p6构成的轮廓线(第三轮廓线)、以及p4与p8构成的轮廓线(第四轮廓线)。具体使用哪些部分轮廓线来唯一确定一个结构化多边形，可以根据实际情况进行确定，本公开实施例对此不进行具体限定。
通过上述步骤，顶点信息(结构化多边形一般包括多个顶点)、表面信息(结构化多边形一般包括多个表面)、轮廓线信息(结构化多边形一般包括多条轮廓线)为构成结构化多边形的基本信息，基于这些信息能够唯一构建一个结构化多边形，且较准确的表征待检测对象的形状。
一种可能的实施方式中，参见图4所示，基于二维图像，确定每个待检测对象对应的结构化多边形的属性信息，包括：
S401，对二维图像进行对象检测，得到二维图像中的至少一个对象区域，其中，每个对象区域包含一个待检测对象。
S402，基于每个待检测对象对应的对象区域以及第二预设尺寸信息，从二维图像中，截取每个待检测对象对应的目标图像；第二预设尺寸大于或等于每个待检测对象的对象区域的尺寸。
S403，对每个待检测对象对应的目标图像进行特征提取，得到每个待检测对象对应的结构化多边形的属性信息。
本公开实施例中，可以通过训练好的第一神经网络模型，对二维图像进行对象检测，得到二维图像中每个待检测对象对应的第一检测框(第一检测框中的区域即为对象区域)，每个对象区域包含一个待检测对象。
在具体实施时，对每个待检测对象对应的目标图像进行特征提取时，可以使得每个待检测对象对应的目标图像的尺寸一致，故可以设置第二预设尺寸，从二维图像中截取每个待检测对象对应的目标图像，使得每个待检测对象对应的目标图像的尺寸与第二预设尺寸相同。
示例性的，第二预设尺寸信息可以根据历史经验进行确定，例如，可以基于历史经验中每个对象区域的尺寸，从多个对象区域对应的尺寸中选择最大的尺寸，作为第二预设尺寸信息，使得设置的第二预设尺寸大于或等于每个对象区域的尺寸，进而使得对目标图像进行特征提取的模型的输入一致，且保证每个对象区域中包含的待检测对象的特征完整，避免第二预设尺寸小于任一对象区域的尺寸时，造成该对象区域中待检测对象的特征遗漏。例如，若第二预设尺寸小于待检测对象A的对象区域的尺寸时，则基于第二预设尺寸，得到了待检测对象A对应的目标图像A，使得目标图像A中包含的待检测对象A的特征不完整，进而使得得到的待检测对象A对应的结构化多边形的属性信息不准确。示例性的，可以以每个对象区域的中心点作为目标图像的中心点、以第二预设尺寸信息为大小，从二维图像中，截取每个待检测对象对应的目标图像。
在具体实施时，可以通过训练好的结构检测模型，对每个待检测对象对应的目标图像进行特征提取，得到每个待检测对象对应的结构化多边形的属性信息。其中，结构检测模型可以基于基础的深度学习模型训练得到。
例如，在结构检测模型包括顶点确定模型的情况下，通过训练基础的深度学习模型，得到顶点确定模型，将每个待检测对象对应的目标图像输入至顶点确定模型，得到待检测对象对应的全部顶点坐标或者部分顶点坐标。或者，在结构检测模型包括平面确定模型的情况下，通过训练基础的深度学习模型，得到平面确定模型，将每个待检测对象对应的目标图像输入至平面确定模型，得到待检测对象对应的全部平面的信息或者部分平面的信息，平面的信息包括平面位置、平面形状、平面尺寸中的至少一种。或者，在结构检测模型包括轮廓线确定模型的情况下，通过训练基础的深度学习模型，得到轮廓线确定模型，将每个待检测对象对应的目标图像输入至轮廓线确定模型，得到待检测对象对应的全部轮廓线的信息或者部分轮廓线的信息，轮廓线的信息包括轮廓线位置、长度。
本公开实施例中，先从二维图像中，截取每个待检测对象对应的目标图像，在对每个待检测对象对应的目标图像进行特征提取，得到每个待检测对象对应的结构化多边形的属性信息，将每个待检测对象的目标图像处理成统一的尺寸大小，可以简化用于对目标图像进行特征提取的模型的处理过程，提高处理效率。
示例性的，参见图5所示，在属性信息包括顶点信息的情况下，可以根据以下步骤对每个待检测对象对应的目标图像进行特征提取，得到每个所述待检测对象对应的结构化多边形的属性信息：
S501，基于卷积神经网络提取目标图像的特征数据。
S502，基于堆叠的至少一个沙漏网络对特征数据进行处理，得到目标图像对应的待检测对象的一组热力图，其中，一组热力图中包括多个热力图，每个热力图中包含结构化多边形的多个顶点中的一个顶点。
S503，基于待检测对象对应的一组热力图，确定待检测对象对应的结构化多边形的属性信息。
本公开实施例中，可以通过训练好的特征提取模型对每个待检测对象对应的目标图像进行处理，确定待检测对象对应的结构化多边形的属性信息。其中，特征提取模型包括卷积神经网络、堆叠的至少一个沙漏网络，堆叠的沙漏网络的数量可以根据实际需要进行确定。具体的，参见图6所示的一种检测方法中，特征提取模型的结构示意图，图中包括目标图像601、卷积神经网络602、堆叠的两个沙漏网络603，针对每个待检测对象对应的目标图像，将该目标图像输入至卷积神经网络中进行特征提取，确定目标图像对应的特征数据；将目标图像对应的特征数据输入堆叠的两个沙漏网络中对特征数据进行处理，得到目标对象对应的待检测对象的一组热力图，基于待检测对象对应的一组热力图，确定待检测对象对应的结构化多边形的属性信息。
其中，一组热力图中包括多个热力图，每个热力图中的每个特征点对应一概率值，该概率值为表征该特征点为顶点的概率，从热力图中选择概率最大的特征点作为该热力图中包含的结构化多边形的多个顶点中的一个顶点，每个热力图对应的顶点位置不同，一组热力图中包括的多个热力图的数量可以根据实际需要进行设置。
示例性的，若属性信息包含结构化多边形的八个顶点的坐标信息，则可以设置一组热力图中包括八个热力图，第一热力图可以包含图2中结构化多边形的顶点p1、第二热力图可以包含图2中结构化多边形的顶点p2、…、第八热力图可以包含图2中结构化多边形的顶点p8。若属性信息包含结构化多边形的部分顶点的坐标信息，例如，部分顶点包括p3、p4、p5、p6、p7、p8，则可以设置一组热力图中包括六个热力图，第一热力图可以包含图2中结构化多边形的顶点p3、第二热力图可以包含图2中结构化多边形的顶点p4、…、第六热力图可以包含图2中结构化多边形的顶点p8。
一种可能的实施方式中，基于二维图像，确定每个待检测对象对应的结构化多边形的属性信息，包括：
对二维图像进行特征提取，得到二维图像中多个目标元素的信息；目标元素包括顶点、表面、和轮廓线中的至少一种元素；
基于目标元素的信息，对各个目标元素进行聚类，得到至少一个聚类后的目标元素集合；
将每个目标元素集合中的目标元素组成结构化多边形，并将该目标元素集合中的目标元素的信息作为该结构化多边形的属性信息。
本公开实施例中，还可以对二维图像进行特征提取，基于二维图像，确定二维图像中每个待检测对象对应的结构化多边形的属性信息。例如，若目标元素为顶点时，若二维图像中包括两个待检测对象，即第一待检测对象和第二待检测对象，则对二维图像进行特征提取，得到二维图像中包括的多个顶点的信息；基于顶点的信息，对各个顶点进行聚类(即基于顶点的信息，确定顶点对应的待检测对象，将属于同一待检测对象的顶点聚类在一起)，得到聚类后的目标元素集合，其中，第一待检测对象对应第一目标元素集合，第二待检测对象对应第二目标元素结合；将第一目标元素集合中的目标元素组成结构化多边形(第一待检测对象对应的结构化多边形)，第一目标元素结合中的目标元素的信息为第一待检测对象对应的结构化多边形的属性信息，将第二目标元素集合中的目标元素组成结构化多边形(第二待检测对象对应的结构化多边形)，第二目标元素结合中的目标元素的信息为第二待检测对象对应的结构化多边形的属性信息。
本公开实施例中，通过对二维图像中的各个目标元素进行聚类，得到每个类别下的目标元素集合，这样得到的一个目标元素集合中的元素即为一个待检测对象中的元素，再基于每个目标元素集合，可以得到该目标元素集合对应的待检测对象的结构化多边形。
针对S103：
考虑到二维图像中没有深度信息，为了确定二维图像的深度信息，本公开实施例中，可以通过待检测对象的高度、以及待检测对象对应的结构化多边形中至少一条边的高度信息，计算结构化多边形中顶点的深度信息。
一种可能的实施方式中，针对每个待检测对象，基于该待检测对象的高度、以及该待检测对象对应的结构化多边形中的竖边的高度信息，计算结构化多边形中顶点的深度信息，包括：
针对每个待检测对象，确定该待检测对象的高度与结构化多边形中的每条竖边的高度之间的比值；将每条竖边对应的比值与拍摄二维图像的摄像设备的焦距之间的乘积，确定为该条竖边对应的顶点的深度信息。
参见图7所示，图中示出了待检测对象对应的结构化多边形701、待检测对象在三维空间中的三维边界框702、以及摄像设备703，由图7可知，待检测对象的高度H、该待检测对象对应的结构化多边形中至少一条竖边的高度信息hj、以及至少一条竖边对应的顶点的深度信息Zj存在如下关系：
Figure BDA0002374239960000141
其中，f为相机焦距，相机即为摄像设备；j为结构化多边形的四条竖边中的任一条竖边的序号(即h1对应第1竖边的高度信息，h2对应第2竖边的高度信息等)。
在具体实施时，f的值可以根据摄像设备进行确定，若j为4时，则通过确定h4的值以及对应的待检测对象的高度H，可得到h4对应的竖边上任一点的深度信息，即得到了第4竖边两端的顶点的深度信息，进一步，可以得到结构化多边形上每一个顶点的深度信息。
示例性的，hj的值可以在结构化多边形上确定；或者，在属性信息为轮廓线信息时，则在得到轮廓线信息时，基于得到的轮廓线信息确定hj的值；或者，也可以设置高度信息检测模型，基于高度信息检测模型，确定结构化多边形中hj的值。其中，高度信息检测模型可以为基于神经网络模型训练得到的。
一种可能的实施方式中，确定待检测对象的高度，包括：
基于二维图像和预先训练的用于进行高度检测的神经网络，确定二维图像中每个待检测对象的高度；或者，
预先采集多个不同姿态的待检测对象的真实高度值，将采集的多个真实高度值的平均值作为待检测对象的高度；或者，
基于二维图像和预先训练的用于进行对象检测的神经网络，得到待检测对象的回归变量；基于回归变量以及预先得到的多个不同姿态的待检测对象的平均高度，确定待检测对象的高度；其中，回归变量用于表征待检测对象的高度与平均高度之间的偏差程度。
示例性的，在待检测对象为车辆时，可以预先采集多种不同型号的车辆的真实高度值，将采集的多个真实高度值求平均值，将得到的平均值作为待检测对象的高度。
示例性的，还可以将二维图像输入至训练好的进行高度检测的神经网络中，得到二维图像中每个待检测对象的高度。或者，还可以将裁剪后得到的每个待检测对象对应的目标图像输入至训练好的进行高度检测的神经网络中，得到目标图像对应的待检测对象的高度，进而得到每个待检测对象的高度。
示例性的，还可以将二维图像输入训练好的进行对象检测的神经网络中，得到每个待检测对象的回归变量，基于回归变量以及预先得到的多个不同姿态的待检测对象的平均高度，确定待检测对象的高度。或者，还可以将裁剪后得到的每个待检测对象对应的目标图像输入训练好的进行对象检测的神经网络中，得到每个待检测对象的回归变量，基于回归变量以及预先得到的多个不同姿态的待检测对象的平均高度，确定待检测对象的高度。其中，回归变量tH、平均高度AH、以及高度H之间存在如下关系：
Figure BDA0002374239960000151
通过上述公式(2)可得到每个待检测对象对应的高度H。
针对S104：
本公开实施例中，可以基于计算得到的结构化多边形中顶点的深度信息，以及结构化多边形的顶点在二维图像中的二维坐标信息，确定待检测对象对应的三维边界框的三维坐标信息；基于待检测对象对应的三维边界框的三维坐标信息，确定待检测对象对应的三维空间信息。
具体的，待检测对象上的每一点均可以在二维图像上得到唯一的投影点。故待检测对象上的每一点与二维图像上的对应的特征点之间存在如下关系：
K·[Xi,Yi,Zi]T＝[ui,vi,1]T·Zi； (3)
其中，K为相机内参，i可以表征待检测对象上的任一点，[Xi,Yi,Zi]为待检测对象上任一点对应的三维坐标信息，(ui,vi)为对应的在二维图像上的投影点的二维坐标信息。Zi为求解得到的对应的深度信息。其中，三维坐标信息为在建立的世界坐标系下的坐标信息，二维坐标信息为在建立的成像平面坐标系下的坐标信息，其中，世界坐标系与成像平面坐标系的原点位置相同。
示例性的，i还可以表征待检测对象的三维边界框上的顶点，则i＝1、2、…、8，[Xi,Yi,Zi]为三维边界框上的顶点的三维坐标信息，(ui,vi)为对应的投影在二维图像中的结构化多边形的顶点的二维坐标信息，Zi为求解得到的对应的深度信息。
其中，待检测对象的三维空间信息与待检测对象的三维边界框相关。例如，根据一个待检测对象的三维边界框可以确定出该待检测对象的三维空间信息。在具体实施时，三维空间信息可以包括：空间位置信息、朝向信息、以及尺寸信息中的至少一种。
本公开实施例中，空间位置信息可以为待检测对象的三维边界框的中心点的坐标信息，例如，图2中的线段P1P7(顶点P1与顶点P7的连线)与线段P2P8(顶点P2与顶点P8的连线)的交点的坐标信息；也可以为待检测对象的三维边界框中任一表面的中心点的坐标信息，例如，图2中顶点P2、顶点P3、顶点P6、顶点P7构成的平面的中心点的坐标信息，即线段P2P7与线段P3P6的交点的坐标信息。
本公开实施例中，朝向信息可以为三维边界框上设置的目标平面与预设的基准平面之间的夹角值。如图8所示的是一种待检测图像的俯视图，图8中包括待检测对象对应的三维边界框上设置的目标平面81以及预设的基准平面82(基准平面可以为摄像设备所在的平面)，可知待检测对象83的朝向信息可以为夹角θ1，待检测对象84的朝向信息可以为夹角θ2，待检测对象85的朝向信息可以为夹角θ3。
本公开实施例中，尺寸信息可以为待检测对象的三维边界框的长度、宽度、以及高度。例如，三维边界框的长度可以为线段P3P7的值，三维边界框的宽度可以为线段P3P2的值，三维边界框的高度可以为线段P3P4的值。示例性的，在确定待检测对象对应的三维边界框的三维坐标信息之后，还可以计算四条长边的均值，将得到的长度均值确定为三维边界框的长度，例如，计算线段P3P7、P4P8、P1P5、P2P6的长度平均值，将得到的长度平均值确定为三维边界框的长度，同理，可得到待检测对象的宽度与高度。或者，由于三维边界框中的部分边存在被遮挡的情况，因此为了提高计算得到的尺寸信息的准确度，可以通过选择的部分长边确定三维边界框的长度、选择的部分宽边确定三维边界框的宽度、选择的部分竖边确定三维边界框的高度，确定三维边界框的尺寸信息。示例性的，选择的部分长边可以为不被遮挡的长边、选择的部分宽边可以为不被遮挡的宽边、选择的部分竖边可以为不被遮挡的竖边。比如计算线段P3P7、P4P8、P1P5的长度平均值，将得到的长度平均值确定为三维边界框的长度，同理，可得到待检测对象的宽度与高度。
一种可能的实施方式中，确定待检测对象对应的三维空间信息之后，方法还包括：
基于二维图像以及二维图像对应的深度图，生成二维图像对应的鸟瞰图；
基于鸟瞰图调整每个待检测对象的三维空间信息，得到待检测对象对应的调整后的三维空间信息。
本公开实施例中，可以基于二维图像确定对应的深度图，例如，可以将二维图像输入至训练好的深度有序回归网络(deep ordinal regression network，DORN)中，得到二维图像对应的深度图。示例性的，还可以基于双目测距的方法确定二维图像对应的深度图。或者，还可以基于深度相机确定二维图像对应的深度图。具体的，确定二维图像对应的深度图的方法可以根据实际情况进行确定。其中，得到的深度图与二维图像的尺寸一致。
本公开实施例中，基于二维图像以及二维图像对应的深度图，生成二维图像对应的鸟瞰图，鸟瞰图中包括深度值，基于鸟瞰图对三维空间信息进行调整时，可以使得调整后的三维空间信息与对应的待检测对象更加相符。
一种可能的实施方式中，基于二维图像以及二维图像对应的深度图，生成二维图像对应的鸟瞰图，包括：
基于二维图像以及二维图像对应的深度图，得到二维图像对应的点云数据，其中，点云数据中包括二维图像所对应的真实空间中多个空间点的三维坐标值；
基于点云数据中每个空间点的三维坐标值，生成二维图像对应的鸟瞰图。
本公开实施例中，针对二维图像上的特征点i，基于该特征点的二维坐标信息(ui,vi)以及对应的在深度图上的深度值Zi，通过上述提供的公式(3)得到该特征点i对应的真实空间中的空间点的三维坐标值(Xi，Yi，Zi)，进而可得到二维图像所对应的真实空间中每个空间点的三维坐标值。进一步，基于点云数据中每个空间点的三维坐标值，生成二维图像对应的鸟瞰图。
一种可能的实施方式中，基于点云数据中每个空间点的三维坐标值，生成二维图像对应的鸟瞰图，包括：
针对每个空间点，将该空间点的横轴坐标值确定为鸟瞰图中与该空间点对应的特征点的横轴坐标值，将该空间点的纵轴坐标值确定为鸟瞰图中与该空间点对应的特征点的像素通道值，将该空间点的竖轴坐标值确定为鸟瞰图中与该空间点对应的特征点的纵轴坐标值。
本公开实施例中，针对空间点A(XA，YA，ZA)，将该空间点的横轴坐标值XA确定为鸟瞰图中与该空间点A对应的特征点的横轴坐标值，将该空间点的纵轴坐标值YA确定为鸟瞰图中与该空间点A对应的特征点的像素通道值，将该空间点的竖轴坐标值ZA确定为鸟瞰图中与该空间点A对应的特征点的纵轴坐标值。
其中，鸟瞰图上的特征点可能对应多个空间点，其中，多个空间点为处于同一水平位置，不同高度值的空间点，即空间点的XA，YA均相同，但ZA不相同，则从多个空间点对应的竖轴坐标值中选择最大的值作为该特征点对应的像素通道值。
一种可能的实施方式中，参见图9所示，针对每个待检测对象，基于鸟瞰图调整该待检测对象的三维空间信息，得到该待检测对象对应的调整后的三维空间信息，包括：
S901，提取鸟瞰图对应的第一特征数据；
S902，基于每个待检测对象对应的三维空间信息，以及第一预设尺寸信息，在鸟瞰图对应的第一特征数据中，选取每个待检测对象对应的第二特征数据；
S903，基于每个待检测对象对应的第二特征数据，确定该待检测对象对应的调整后的三维空间信息。
本公开实施例中，可以基于卷积神经网路提取鸟瞰图对应的第一特征数据。示例性的，可以基于每个待检测图像对应的三维空间信息，确定每个待检测对象对应的三维边界框；以三维边界框的中心点为中心，第一预设尺寸信息为大小，确定每个待检测对象对应的选取框；基于确定的选取框，从鸟瞰图对应的第一特征数据中，选取每个待检测对象对应的第二特征数据。例如，若第一预设尺寸信息为长6厘米，宽4厘米，则以三维边界框的中心点为中心，确定长为6厘米，宽为4厘米的选取框，基于确定的目标选取框，从鸟瞰图对应的第一特征数据中，选取每个待检测对象对应的第二特征数据。
本公开实施例中，还可以将每个待检测对象对应的第二特征数据输入到至少一个卷积层进行卷积处理，得到第二特征数据对应的中间特征数据；将得到的中间特征数据输入至第一全连接层进行处理，得到待检测对象对应的三维空间信息的残差值，基于三维空间信息的残差值，确定该待检测对象对应的调整后的三维空间信息。或者，还可以将得到的中间特征数据输入至第二全连接层进行处理，直接得到该待检测对象对应的调整后的三维空间信息。
本公开实施例中，通过从鸟瞰图对应的第一特征数据中，选取每个待检测对象对应的第二特征数据，基于每个待检测对象对应的第二特征数据，确定该待检测对象对应的调整后的三维空间信息，这样，使得用于确定待检测对象对应的调整后的三维空间信息的模型的数据处理量较小，可以提高处理效率。
示例性的，可以设置图像检测模型，将获取的二维图像输入至训练好的图像检测模型中进行处理，得到二维图像中包括的每个待检测对象对应的调整后的三维空间信息。参见图10所示的一种检测方法中，图像检测模型的结构示意图，该图像检测模型包括第一卷积层1001、第二卷积层1002、第三卷积层1003、第四卷积层1004、第一检测模型1005、第二检测模型1006以及优化模型1007，第一检测模型1005包括堆叠的两个沙漏网络10051，第二检测模型1006包括至少一个第一全连接层10061，优化模型1007包括深度有序回归网络10071、第五卷积层10072、第六卷积层10073、第七卷积层10074、第二全连接层10075。
具体的，将获取的二维图像1008输入至截取模型中进行处理，得到二维图像中包括的至少一个待检测对象对应的目标图像1009，其中，截取模型用于对二维图像进行检测，得到二维图像中包括的至少一个待检测对象对应的矩形检测框，基于每个待检测对象对应的矩形检测框以及对应的第二预设尺寸信息，从二维图像中，选取每个待检测对象对应的目标图像。
在得到目标图像之后，将每个目标图像输入至第一卷积层进行卷积处理，得到每个目标图像对应的第一卷积特征数据，将每个目标图像对应的第一卷积特征数据输入至第一检测模型中，第一检测模型中堆叠的两个沙漏网络对每个目标图像对应的第一卷积特征数据进行处理，得到每个目标图像对应的结构化多边形，将得到的每个目标图像的结构化多边形输入至第二检测模型中。
同时，将每个目标图像对应的第一卷积特征数据依次输入至第二卷积层、第三卷积层、第四卷积层中进行卷积处理，得到每个目标图像对应的第二卷积特征数据，将第二卷积特征数据输入至第二检测模型中，第二检测模型中的至少一个第一全连接层对第二卷积特征数据进行处理，得到每个待检测对象对应的高度；基于每个待检测对象对应的高度，以及接受到的结构化多边形，确定每个待检测对象中顶点的深度信息，进而得到了每个待检测对象对应的三维空间信息，将得到的三维空间信息输入至优化模型中。
同时，将二维图像输入至优化模型1007中，优化模型1007中的深度有序回归网络对二维图像进行处理，得到二维图像对应的深度图，基于二维图像以及二维图像对应的深度图，得到二维图像对应的鸟瞰图输入至第五卷积层中进行卷积处理，得到鸟瞰图对应的第一特征数据，基于得到的三维空间信息以及预设的第一尺寸信息，从鸟瞰图对应的第一特征数据中，选取每个待检测对象对应的第二特征数据，将第二特征数据输入依次输入至第六卷积层以及第七卷积层中进行卷积处理，得到第三卷积特征数据，将第三卷积特征数据输入至第二全连接层中进行处理，得到每个待检测对象对应的调整后的三维空间信息。
本公开实施提供的一种检测方法，由于构建的结构化多边形是待检测对象的三维边界框在二维图像中的投影，因此，构建的结构化多边形能够较好的表征待检测对象的三维特征，基于该结构化多边形预测的深度信息与基于二维图像特征直接预测的深度信息相比，具有较高的准确度，进而得到的待检测对象的三维空间信息的准确度较高，提高了3D检测技术的准确性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种检测装置，参见图11所示，为本公开实施例提供的检测装置的架构示意图，包括图像获取模块1101、结构化多边形构建模块1102、深度信息确定模块1103、三维空间信息确定模块1104，具体的：
图像获取模块1101，用于获取二维图像；
结构化多边形构建模块1102，用于基于获取的二维图像，构建所述二维图像中的至少一个待检测对象分别对应的结构化多边形；一个待检测对象的结构化多边形表征该待检测对象的三维边界框在所述二维图像上的投影；
深度信息确定模块1103，用于针对每个所述待检测对象，基于该待检测对象的高度、以及该待检测对象对应的所述结构化多边形中的竖边的高度信息，计算所述结构化多边形中顶点的深度信息；
三维空间信息确定模块1104，用于基于计算得到的所述结构化多边形中顶点的深度信息，以及所述结构化多边形的顶点在所述二维图像中的二维坐标信息，确定所述待检测对象对应的三维空间信息，所述待检测对象的三维空间信息与所述待检测对象的三维边界框相关。
一种可能的实施方式中，所述检测装置还包括：
鸟瞰图确定模块1105，用于基于所述二维图像以及所述二维图像对应的深度图，生成所述二维图像对应的鸟瞰图；
调整模块1106，用于针对每个所述待检测对象，基于所述鸟瞰图调整每个所述检测对象的三维空间信息，得到所述待检测对象对应的调整后的三维空间信息。
一种可能的实施方式中，所述鸟瞰图确定模块用于：
基于所述二维图像以及所述二维图像对应的深度图，得到所述二维图像对应的点云数据，其中，所述点云数据中包括所述二维图像所对应的真实空间中多个空间点的三维坐标值；
基于所述点云数据中每个空间点的三维坐标值，生成所述二维图像对应的鸟瞰图。
一种可能的实施方式中，所述鸟瞰图确定模块用于：
针对每个所述空间点，将该空间点的横轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的横轴坐标值，将该空间点的纵轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的像素通道值，将该空间点的竖轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的纵轴坐标值。
一种可能的实施方式中，所述调整模块用于：
提取所述鸟瞰图对应的第一特征数据；
基于所述每个所述待检测对象对应的所述三维空间信息，以及第一预设尺寸信息，在所述鸟瞰图对应的第一特征数据中，选取每个所述待检测对象对应的第二特征数据；
基于每个所述待检测对象对应的所述第二特征数据，确定该待检测对象对应的所述调整后的三维空间信息。
一种可能的实施方式中，所述结构化多边形构建模块用于：
基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息；其中，所述属性信息包括以下至少一种：顶点信息、表面信息、以及轮廓线信息；
基于每个所述待检测对象对应的结构化多边形的属性信息，构建所述结构化多边形。
一种可能的实施方式中，所述结构化多边形构建模块在基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息的情况下，包括：
对所述二维图像进行对象检测，得到所述二维图像中的至少一个对象区域，其中每个对象区域包含一个所述待检测对象；
基于每个待检测对象对应的对象区域以及第二预设尺寸信息，从所述二维图像中，截取每个待检测对象对应的目标图像；
对每个所述待检测对象对应的目标图像进行特征提取，得到每个所述待检测对象对应的结构化多边形的属性信息。
一种可能的实施方式中，所述结构化多边形构建模块在对每个待检测对象对应的所述目标图像进行特征提取的情况下，包括：
基于卷积神经网络提取所述目标图像的特征数据；
基于堆叠的至少一个沙漏网络对所述特征数据进行处理，得到所述目标图像对应的待检测对象的一组热力图，其中，一组热力图中包括多个热力图，每个热力图中包含所述结构化多边形的多个顶点中的一个顶点；
基于所述待检测对象对应的一组热力图，确定所述待检测对象对应的结构化多边形的属性信息。
一种可能的实施方式中，所述结构化多边形构建模块在基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息的情况下，包括：
对所述二维图像进行特征提取，得到所述二维图像中多个目标元素的信息；所述目标元素包括顶点、表面、和轮廓线中的至少一种元素；
基于所述目标元素的信息，对各个目标元素进行聚类，得到至少一个聚类后的目标元素集合；
将每个目标元素集合中的目标元素组成结构化多边形，并将该目标元素集合中的目标元素的信息作为该结构化多边形的属性信息。
一种可能的实施方式中，所述深度信息确定模块在计算所述结构化多边形中顶点的深度信息的情况下，包括：
针对每个所述待检测对象，确定该待检测对象的高度与所述结构化多边形中的每条竖边的高度之间的比值；将每条竖边对应的所述比值与拍摄所述二维图像的摄像设备的焦距之间的乘积，确定为该条竖边对应的顶点的深度信息。
一种可能的实施方式中，所述深度信息确定模块在确定所述待检测对象的高度的情况下，包括：
基于所述二维图像和预先训练的用于进行高度检测的神经网络，确定所述二维图像中每个所述待检测对象的高度；或者，
预先采集多个不同姿态的待检测对象的真实高度值，将采集的多个真实高度值的平均值作为所述待检测对象的高度；或者，
基于所述二维图像和预先训练的用于进行对象检测的神经网络，得到所述待检测对象的回归变量；基于所述回归变量以及预先得到的多个不同姿态的待检测对象的平均高度，确定所述待检测对象的高度；其中，所述回归变量用于表征所述待检测对象的高度与所述平均高度之间的偏差程度。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图12所示，为本公开实施例提供的电子设备的结构示意图，包括处理器1201、存储器1202、和总线1203。其中，存储器1202用于存储执行指令，包括内存12021和外部存储器12022；这里的内存12021也称内存储器，用于暂时存放处理器1201中的运算数据，以及与硬盘等外部存储器12022交换的数据，处理器1201通过内存12021与外部存储器12022进行数据交换，当电子设备1200运行时，处理器1201与存储器1202之间通过总线1203通信，使得处理器1201在执行以下指令：
获取二维图像；
基于获取的二维图像，构建所述二维图像中的至少一个待检测对象分别对应的结构化多边形；一个待检测对象的结构化多边形表征该待检测对象的三维边界框在所述二维图像上的投影；
针对每个所述待检测对象，基于该待检测对象的高度、以及该待检测对象对应的所述结构化多边形中的竖边的高度信息，计算所述结构化多边形中顶点的深度信息；
基于计算得到的所述结构化多边形中顶点的深度信息，以及所述结构化多边形的顶点在所述二维图像中的二维坐标信息，确定所述待检测对象对应的三维空间信息，所述待检测对象的三维空间信息与所述待检测对象的三维边界框相关。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的检测方法的步骤。
本公开实施例所提供的检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种检测方法，其特征在于，所述检测方法包括：
获取二维图像；
基于获取的二维图像，构建所述二维图像中的至少一个待检测对象分别对应的结构化多边形；一个待检测对象的结构化多边形表征该待检测对象的三维边界框在所述二维图像上的投影；
针对每个所述待检测对象，基于该待检测对象的高度、以及该待检测对象对应的所述结构化多边形中的竖边的高度信息，计算所述结构化多边形中顶点的深度信息；
基于计算得到的所述结构化多边形中顶点的深度信息，以及所述结构化多边形的顶点在所述二维图像中的二维坐标信息，确定所述待检测对象对应的三维空间信息，所述待检测对象的三维空间信息与所述待检测对象的三维边界框相关。
2.根据权利要求1所述的检测方法，其特征在于，确定所述待检测对象对应的三维空间信息之后，所述检测方法还包括：
基于所述二维图像以及所述二维图像对应的深度图，生成所述二维图像对应的鸟瞰图；
基于所述鸟瞰图调整每个所述待检测对象的三维空间信息，得到所述待检测对象对应的调整后的三维空间信息。
3.根据权利要求2所述的检测方法，其特征在于，所述基于所述二维图像以及所述二维图像对应的深度图，生成所述二维图像对应的鸟瞰图，包括：
基于所述二维图像以及所述二维图像对应的深度图，得到所述二维图像对应的点云数据，其中，所述点云数据中包括所述二维图像所对应的真实空间中多个空间点的三维坐标值；
基于所述点云数据中每个空间点的三维坐标值，生成所述二维图像对应的鸟瞰图。
4.根据权利要求3所述的检测方法，其特征在于，所述基于所述点云数据中每个空间点的三维坐标值，生成所述二维图像对应的鸟瞰图，包括：
针对每个所述空间点，将该空间点的横轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的横轴坐标值，将该空间点的纵轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的像素通道值，将该空间点的竖轴坐标值确定为所述鸟瞰图中与该空间点对应的特征点的纵轴坐标值。
5.根据权利要求2所述的检测方法，其特征在于，所述基于所述鸟瞰图调整每个所述待检测对象的三维空间信息，得到所述待检测对象对应的调整后的三维空间信息，包括：
提取所述鸟瞰图对应的第一特征数据；
基于所述每个所述待检测对象对应的所述三维空间信息，以及第一预设尺寸信息，在所述鸟瞰图对应的第一特征数据中，选取每个所述待检测对象对应的第二特征数据；
基于每个所述待检测对象对应的所述第二特征数据，确定所述待检测对象对应的所述调整后的三维空间信息。
6.根据权利要求1所述的检测方法，其特征在于，所述基于获取的二维图像，构建所述二维图像中的至少一个待检测对象分别对应的结构化多边形，包括：
基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息；其中，所述属性信息包括以下至少一种：顶点信息、表面信息、以及轮廓线信息；
基于每个所述待检测对象对应的结构化多边形的属性信息，构建所述结构化多边形。
7.根据权利要求6所述的检测方法，其特征在于，所述基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息，包括：
对所述二维图像进行对象检测，得到所述二维图像中的至少一个对象区域，其中每个对象区域包含一个所述待检测对象；
基于每个待检测对象对应的对象区域以及第二预设尺寸信息，从所述二维图像中，截取每个待检测对象对应的目标图像；所述第二预设尺寸大于或等于每个待检测对象的对象区域的尺寸；
对每个所述待检测对象对应的目标图像进行特征提取，得到每个所述待检测对象对应的结构化多边形的属性信息。
8.根据权利要求7所述的检测方法，其特征在于，在所述属性信息包括顶点信息的情况下，根据以下步骤对每个待检测对象对应的所述目标图像进行特征提取，得到每个所述待检测对象对应的结构化多边形的属性信息：
基于卷积神经网络提取所述目标图像的特征数据；
基于堆叠的至少一个沙漏网络对所述特征数据进行处理，得到所述目标图像对应的待检测对象的一组热力图，其中，一组热力图中包括多个热力图，每个热力图中包含所述结构化多边形的多个顶点中的一个顶点；
基于所述待检测对象对应的一组热力图，确定所述待检测对象对应的结构化多边形的属性信息。
9.根据权利要求6所述的检测方法，其特征在于，所述基于所述二维图像，确定每个所述待检测对象对应的结构化多边形的属性信息，包括：
对所述二维图像进行特征提取，得到所述二维图像中多个目标元素的信息；所述目标元素包括顶点、表面、和轮廓线中的至少一种元素；
基于所述目标元素的信息，对各个目标元素进行聚类，得到至少一个聚类后的目标元素集合；
将每个目标元素集合中的目标元素组成结构化多边形，并将该目标元素集合中的目标元素的信息作为该结构化多边形的属性信息。
10.根据权利要求1所述的检测方法，其特征在于，针对每个所述待检测对象，基于该待检测对象的高度、以及该待检测对象对应的所述结构化多边形中的竖边的高度信息，计算所述结构化多边形中顶点的深度信息，包括：
针对每个所述待检测对象，确定该待检测对象的高度与所述结构化多边形中的每条竖边的高度之间的比值；将每条竖边对应的所述比值与拍摄所述二维图像的摄像设备的焦距之间的乘积，确定为该条竖边对应的顶点的深度信息。
11.根据权利要求1所述的检测方法，其特征在于，确定所述待检测对象的高度，包括：
基于所述二维图像和预先训练的用于进行高度检测的神经网络，确定所述二维图像中每个所述待检测对象的高度；或者，
预先采集多个不同姿态的待检测对象的真实高度值，将采集的多个真实高度值的平均值作为所述待检测对象的高度；或者，
基于所述二维图像和预先训练的用于进行对象检测的神经网络，得到所述待检测对象的回归变量；基于所述回归变量以及预先得到的多个不同姿态的待检测对象的平均高度，确定所述待检测对象的高度；其中，所述回归变量用于表征所述待检测对象的高度与所述平均高度之间的偏差程度。
12.一种检测装置，其特征在于，所述检测装置包括：
图像获取模块，用于获取二维图像；
结构化多边形构建模块，用于基于获取的二维图像，构建所述二维图像中的至少一个待检测对象分别对应的结构化多边形；一个待检测对象的结构化多边形表征该待检测对象的三维边界框在所述二维图像上的投影；
深度信息确定模块，用于针对每个所述待检测对象，基于该待检测对象的高度、以及该待检测对象对应的所述结构化多边形中的竖边的高度信息，计算所述结构化多边形中顶点的深度信息；
三维空间信息确定模块，用于基于计算得到的所述结构化多边形中顶点的深度信息，以及所述结构化多边形的顶点在所述二维图像中的二维坐标信息，确定所述待检测对象对应的三维空间信息，所述待检测对象的三维空间信息与所述待检测对象的三维边界框相关。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的检测方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的检测方法的步骤。
CN202010060288.7A 2020-01-19 2020-01-19 一种检测方法、装置、电子设备及存储介质 Active CN111274943B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010060288.7A CN111274943B (zh) 2020-01-19 2020-01-19 一种检测方法、装置、电子设备及存储介质
KR1020217042317A KR20220013565A (ko) 2020-01-19 2021-01-19 검출 방법, 디바이스, 전자 장치 및 저장 매체
PCT/CN2021/072750 WO2021143935A1 (zh) 2020-01-19 2021-01-19 一种检测方法、装置、电子设备及存储介质
SG11202108275VA SG11202108275VA (en) 2020-01-19 2021-01-19 Detection methods, detection apparatuses, electronic devices and storage media
JP2022500618A JP2022531625A (ja) 2020-01-19 2021-01-19 検出方法、装置、電子機器及び記憶媒体
US17/388,912 US20210358153A1 (en) 2020-01-19 2021-07-29 Detection methods, detection apparatuses, electronic devices and storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060288.7A CN111274943B (zh) 2020-01-19 2020-01-19 一种检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111274943A CN111274943A (zh) 2020-06-12
CN111274943B true CN111274943B (zh) 2023-06-23

Family

ID=71002197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060288.7A Active CN111274943B (zh) 2020-01-19 2020-01-19 一种检测方法、装置、电子设备及存储介质

Country Status (6)

Country Link
US (1) US20210358153A1 (zh)
JP (1) JP2022531625A (zh)
KR (1) KR20220013565A (zh)
CN (1) CN111274943B (zh)
SG (1) SG11202108275VA (zh)
WO (1) WO2021143935A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274943B (zh) * 2020-01-19 2023-06-23 深圳市商汤科技有限公司 一种检测方法、装置、电子设备及存储介质
CN111882531B (zh) * 2020-07-15 2021-08-17 中国科学技术大学 髋关节超声图像自动分析方法
CN111931643A (zh) * 2020-08-08 2020-11-13 商汤集团有限公司 一种目标检测方法、装置、电子设备及存储介质
JP7481468B2 (ja) * 2020-09-02 2024-05-10 ファナック株式会社 ロボットシステム及び制御方法
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN112926395A (zh) * 2021-01-27 2021-06-08 上海商汤临港智能科技有限公司 目标检测方法、装置、计算机设备及存储介质
CN113240734B (zh) * 2021-06-01 2024-05-17 深圳市捷顺科技实业股份有限公司 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
KR102426583B1 (ko) * 2021-08-30 2022-07-29 (주)뷰런테크놀로지 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치
CN114842287B (zh) * 2022-03-25 2022-12-06 中国科学院自动化研究所 深度引导变形器的单目三维目标检测模型训练方法及装置
CN114387346A (zh) * 2022-03-25 2022-04-22 阿里巴巴达摩院(杭州)科技有限公司 一种图像识别、预测模型处理方法、三维建模方法和装置
CN117611752B (zh) * 2024-01-22 2024-04-02 卓世未来(成都)科技有限公司 一种数字人的3d模型生成方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952303A (zh) * 2017-03-09 2017-07-14 北京旷视科技有限公司 车距检测方法、装置和系统
CN107992827A (zh) * 2017-12-03 2018-05-04 湖南工程学院 一种基于三维模型的多运动目标跟踪的方法及装置
CN109146769A (zh) * 2018-07-24 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN110070606A (zh) * 2019-04-01 2019-07-30 浙江大华技术股份有限公司 空间绘制方法、目标检测方法、检测装置及存储介质
CN110472534A (zh) * 2019-07-31 2019-11-19 厦门理工学院 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质
CN110689008A (zh) * 2019-09-17 2020-01-14 大连理工大学 一种面向单目图像的基于三维重建的三维物体检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ｔｔｃ計測装置およびｔｔｃ計測プログラム
US10438370B2 (en) * 2016-06-14 2019-10-08 Disney Enterprises, Inc. Apparatus, systems and methods for shadow assisted object recognition and tracking
JP6965803B2 (ja) * 2018-03-20 2021-11-10 株式会社Ｊｖｃケンウッド 認識装置、認識方法及び認識プログラム
CN111274943B (zh) * 2020-01-19 2023-06-23 深圳市商汤科技有限公司 一种检测方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952303A (zh) * 2017-03-09 2017-07-14 北京旷视科技有限公司 车距检测方法、装置和系统
CN107992827A (zh) * 2017-12-03 2018-05-04 湖南工程学院 一种基于三维模型的多运动目标跟踪的方法及装置
CN109146769A (zh) * 2018-07-24 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN110070606A (zh) * 2019-04-01 2019-07-30 浙江大华技术股份有限公司 空间绘制方法、目标检测方法、检测装置及存储介质
CN110472534A (zh) * 2019-07-31 2019-11-19 厦门理工学院 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质
CN110689008A (zh) * 2019-09-17 2020-01-14 大连理工大学 一种面向单目图像的基于三维重建的三维物体检测方法

Also Published As

Publication number Publication date
JP2022531625A (ja) 2022-07-07
US20210358153A1 (en) 2021-11-18
SG11202108275VA (en) 2021-08-30
KR20220013565A (ko) 2022-02-04
CN111274943A (zh) 2020-06-12
WO2021143935A1 (zh) 2021-07-22

Similar Documents

Publication Publication Date Title
CN111274943B (zh) 一种检测方法、装置、电子设备及存储介质
EP2430588B1 (en) Object recognition method, object recognition apparatus, and autonomous mobile robot
CN112444242B (zh) 一种位姿优化方法及装置
KR102206108B1 (ko) 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN110567441B (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN113192179B (zh) 一种基于双目立体视觉的三维重建方法
CN106940704A (zh) 一种基于栅格地图的定位方法及装置
CN112287824B (zh) 基于双目视觉的三维目标检测方法、装置及系统
CN111627001B (zh) 图像检测方法及装置
CN111028350A (zh) 一种利用双目立体相机构建栅格地图的方法
WO2021174539A1 (zh) 物体检测方法、可移动平台、设备和存储介质
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
KR20110089299A (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
CN115909268A (zh) 一种动态障碍物检测方法及装置
CN117635875B (zh) 一种三维重建方法、装置及终端
JP7247573B2 (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム
CN112446926B (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN116929290A (zh) 一种双目视角差立体深度测量方法、系统及存储介质
CN113436264B (zh) 基于单目多目混合定位的位姿计算方法及系统
CN110300991A (zh) 表面图形确定方法和装置
CN113592976A (zh) 地图数据的处理方法、装置、家用电器和可读存储介质
CN113569653A (zh) 一种基于面部特征信息的三维头部姿态估计算法
CN113888401B (zh) 图像转换方法及装置
US20240054668A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant