CN111964606A - 一种三维信息的处理方法和装置 - Google Patents

一种三维信息的处理方法和装置 Download PDF

Info

Publication number
CN111964606A
CN111964606A CN202010833398.2A CN202010833398A CN111964606A CN 111964606 A CN111964606 A CN 111964606A CN 202010833398 A CN202010833398 A CN 202010833398A CN 111964606 A CN111964606 A CN 111964606A
Authority
CN
China
Prior art keywords
dimensional
target
information
sample
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010833398.2A
Other languages
English (en)
Other versions
CN111964606B (zh
Inventor
毛云翔
刘兰个川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN202010833398.2A priority Critical patent/CN111964606B/zh
Publication of CN111964606A publication Critical patent/CN111964606A/zh
Priority to PCT/CN2021/101352 priority patent/WO2022037240A1/zh
Priority to EP21819711.9A priority patent/EP3985575B1/en
Application granted granted Critical
Publication of CN111964606B publication Critical patent/CN111964606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供了一种三维信息的处理方法和装置，所述方法包括：获取针对目标三维物体的目标图像数据；在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息；根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息。通过本发明实施例，实现了针对三维信息标注的优化，通过基于三维物体的二维信息得到三维信息，避免了对激光雷达的依赖，提高了三维信息的标注效率和质量。

Description

一种三维信息的处理方法和装置
技术领域
本发明涉及数据处理领域，特别是涉及一种三维信息的处理方法和装置。
背景技术
目前，针对获取道路上物体的三维信息，通常是采用激光雷达对物体进行三维信息标注，或在真实图片中通过调整三维物体的投影直接进行三维信息标注的方法。
由于装载激光雷达的成本较高，并不是所有车辆均配置有激光雷达，采用激光雷达的方式依赖于硬件支持且需要大量的人力参与；而通过调整三维物体的投影进行标注的方法，需要人工手动调整投影至完全重合，人工效率低且无法保证标注质量。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种三维信息的处理方法和装置，包括：
一种三维信息的处理方法，所述方法包括：
获取针对目标三维物体的目标图像数据；
在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息；
根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息。
可选地，还包括：
获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息；
采用所述第一样本二维投影信息和所述第一样本三维信息进行模型训练，得到第一数据模型。
可选地，所述获取第一样本三维物体的第一样本二维投影信息，包括：
对第一样本三维物体进行特征点标注；
生成针对所述第一样本三维物体的第一样本图像数据；
在所述第一样本图像数据中，确定所述第一样本三维物体的第一样本二维投影信息。
可选地，所述根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息，包括：
采用所述第一数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
可选地，还包括：
获取针对第二样本三维物体的第二样本图像数据；
在所述第二样本图像数据中，确定所述第二样本三维物体的第二样本二维投影信息；
采用所述第二样本图像数据和所述第二样本二维投影信息进行模型训练，得到第二数据模型。
可选地，所述在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息，包括：
采用所述第二数据模型，对所述目标图像数据进行模型处理，得到所述目标三维物体的目标二维投影信息。
可选地，还包括：
获取针对第三样本三维物体的第三样本图像数据；
在所述第三样本图像数据中，确定所述第三样本三维物体的第三样本二维投影信息；
采用所述第一数据模型，对所述第三样本二维投影信息进行模型处理，得到所述第三样本三维物体的第三样本三维信息；
采用所述第三样本图像数据和所述第三样本三维信息进行模型训练，得到第三数据模型。
可选地，所述在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息，包括：
采用所述第三数据模型，对所述目标图像数据进行模型处理，得到所述目标三维物体的目标二维投影信息。
所述根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息，包括：
采用所述第三数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
可选地，所述目标二维投影信息包括以下任一项或多项：
物体轮廓信息、特征点信息。
一种三维信息的处理装置，所述装置包括：
目标图像数据获取模块，用于获取针对目标三维物体的目标图像数据；
目标二维投影信息确定模块，用于在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息；
目标三维信息确定模块，用于根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息。
一种服务器，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的三维信息的处理方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的三维信息的处理方法。
本发明实施例具有以下优点：
在本发明实施例中，通过获取针对目标三维物体的目标图像数据，然后在目标图像数据中，确定目标三维物体的目标二维投影信息，进而根据目标二维投影信息，得到目标三维物体的目标三维信息，实现了针对三维信息标注的优化，通过基于三维物体的二维信息得到三维信息，避免了对激光雷达的依赖，提高了三维信息的标注效率和质量。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种三维信息的处理方法的步骤流程图；
图2是本发明一实施例提供的另一种三维信息的处理方法的步骤流程图；
图3是本发明一实施例提供的一种模型训练示例的示意图；
图4是本发明一实施例提供的另一种三维信息的处理方法的步骤流程图；
图5是本发明一实施例提供的另一种模型训练示例的示意图；
图6是本发明一实施例提供的另一种三维信息的处理方法的步骤流程图；
图7是本发明一实施例提供的另一种模型训练示例的示意图；
图8是本发明一实施例提供的一种三维信息的处理装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明一实施例提供的一种三维信息的处理方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取针对目标三维物体的目标图像数据；
作为一示例，目标三维物体可以为待获取三维信息的物体，例如，可以针对道路上的三维物体获取三维信息，进行标注；目标图像数据可以为针对目标三维物体的图片，例如，可以获取道路上三维物体的真实图片。
在针对三维物体获取三维信息的过程中，可以针对待获取三维信息的目标三维物体，获取该目标三维物体的目标图像数据，以进一步通过目标图像数据得到三维信息。
例如，可以通过获取道路上三维物体的真实图片，以基于该图片得到三维物体的三维信息，进行三维信息标注。
步骤102，在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息；
作为一示例，目标二维投影信息可以包括以下任一项或多项：物体轮廓信息、特征点信息，例如，在二维图片中针对三维物体投影的二维框(物体轮廓框)、物体特征点。
在获取目标图像数据后，该目标图像数据中可以具有针对目标三维物体的投影信息，进而可以在目标图像数据中，获取针对目标三维物体投影的物体轮廓信息、特征点信息，作为目标二维投影信息。
例如，可以基于道路上三维物体的真实图片，通过模型获取针对三维物体的二维框、物体特征点等二维投影信息，或采用人工标注针对三维物体的二维框、物体特征点。
步骤103，根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息。
作为一示例，目标三维信息可以包括目标三维物体的物体尺寸估计信息、物体姿态估计信息、物体位置估计信息，例如，物体的长宽高、物体在三维空间的位置，物体的姿态角度。
在确定目标二维投影信息后，可以通过训练的用于获取物体三维信息的模型，将目标二维投影信息输入该模型，进而可以根据目标二维投影信息得到目标三维物体的目标三维信息。
例如，得到的三维物体的三维信息可以包括三维物体的长宽高(即物体尺寸估计信息)，三维物体在三维空间中位置(即物体位置估计信息，如用XYZ表征的空间位置)，三维物体的姿态(即物体姿态估计信息，如俯仰角、偏航角、翻滚角)。
在一示例中，得到目标三维物体的目标三维信息，该目标三维信息可以具有不同表现形式，或可以为目标三维物体部分的三维信息。
在本发明实施例中，通过获取针对目标三维物体的目标图像数据，然后在目标图像数据中，确定目标三维物体的目标二维投影信息，进而根据目标二维投影信息，得到目标三维物体的目标三维信息，实现了针对三维信息标注的优化，通过基于三维物体的二维信息得到三维信息，避免了对激光雷达的依赖，提高了三维信息的标注效率和质量。
参照图2，示出了本发明一实施例提供的一种三维信息的处理方法的步骤流程图，具体可以包括如下步骤：
步骤201，获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息；
作为一示例，第一样本三维物体可以为用于训练三维信息推算模型的三维模型，例如，可以获取不同物体的三维模型(如轿车三维模型，SUV三维模型)。
在训练三维信息模型的过程中，可以针对用于训练三维信息推算模型的第一样本三维物体，获取该样本三维物体的二维投影信息和三维信息，作为第一样本二维投影信息和第一样本三维信息，以采用第一样本二维投影信息和第一样本三维信息进行模型训练。
在本发明一实施例中，所述获取第一样本三维物体的第一样本二维投影信息，可以包括如下子步骤：
子步骤11，对第一样本三维物体进行特征点标注；
作为一示例，特征点可以为针对三维模型的物体特征点，可以针对用于训练三维信息推算模型的三维模型进行特征点标注，例如，可以对车辆三维模型中车轮、车灯进行特征点标注。
在训练三维信息推算模型的过程中，可以获取用于训练三维信息推算模型的三维模型作为样本三维物体，进而可以针对该样本三维物体进行特征点标注。
子步骤12，生成针对所述第一样本三维物体的第一样本图像数据；
作为一示例，第一样本图像数据可以为针对第一样本三维物体的图片，例如，样本三维物体的二维图片。
在对第一样本三维物体进行特征点标注后，可以基于第一样本三维物体，结合相机内参原理将其投影，进而可以得到针对第一样本三维物体的二维图片，以作为第一样本图像数据。
具体的，可以将物体的三维模型放在三维空间中的不同位置，并可以采用三维模型的不同姿态，然后结合相机内参原理将物体的三维模型投影在二维图片中。针对相机模型内参原理，其可以为通过相机，将三维空间中的坐标点投影到二维图像上，进而可以采用相机模型研究投影过程针物体的三维模型的数值变化。
子步骤13，在所述第一样本图像数据中，确定所述第一样本三维物体的第一样本二维投影信息。
在得到第一样本图像数据后，该第一样本图像数据中可以具有针对第一样本三维物体的投影信息，进而可以在第一样本图像数据中，获取针对第一样本三维物体投影的物体轮廓信息、特征点信息，作为第一样本二维投影信息。
例如，将物体的三维模型投影在二维图片中可以产生针对三维模型的物体轮廓框、特征点，可以通过将物体的三维模型任意投影到图片的不同位置，进而可以得到三维模型及其关键点的二维投影。
在一示例中，物体轮廓框可以为能框住物体的三维模型投影的最小矩形，其可以通过四条边的位置在图片中表示物体轮廓框；当采用车辆三维模型时，特征点可以包括图片中展示可见的车侧面两个轮胎接地点的坐标，及图片中展示可见的多条车体边缘线的坐标。
步骤202，采用所述第一样本二维投影信息和所述第一样本三维信息进行模型训练，得到第一数据模型；
作为一示例，第一数据模型可以用于根据物体的二维投影信息获取三维信息，例如，可以训练得到基于二维信息的三维信息推算模型，该三维信息推算模型可以采用物体二维框及特征点位置为输入，进而可以输出物体的三维信息。
在获取第一样本二维投影信息和第一样本三维信息后，可以将第一样本二维投影信息作为待训练三维信息推算模型的输入数据，并将第一样本三维信息作为待训练三维信息推算模型的输出数据，以进行模型训练，进而可以得到第一数据模型，该第一数据模型可以用于根据物体的二维投影信息获取三维信息。
例如，可以采用物体的二维框及其特征点位置作为输入数据，通过将物体二维框及其特征点坐标合成为一向量作为三维信息推算模型的输入数据，并将物体的三维信息作为输出数据，进而可以训练基于二维信息的三维信息推算模型。
在一示例中，三维信息推算模型可以为神经网络模型，该神经网络模型可以采用L1范数损失函数，且模型中神经网络参数可以通过后向传播进行更新，以直至收敛。
在又一示例中，在训练三维信息推算模型或应用三维信息推算模型时，可以采用不同的变量作为输入数据，例如，可以采用车辆三维模型的特征面(如车门、车窗等)，二维框及其特征点也可以具有不同表现形式。
步骤203，获取针对目标三维物体的目标图像数据；
在针对三维物体获取三维信息的过程中，可以针对待获取三维信息的目标三维物体，获取该目标三维物体的目标图像数据，以进一步通过目标图像数据得到三维信息。
步骤204，在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息；
在获取目标图像数据后，该目标图像数据中可以具有针对目标三维物体的投影信息，进而可以在目标图像数据中，获取针对目标三维物体投影的物体轮廓信息、特征点信息，作为目标二维投影信息。
步骤205，采用所述第一数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
在确定目标二维投影信息后，可以将目标二维投影信息作为第一数据模型的输入数据，进而可以采用第一数据模型对目标二维投影信息进行模型处理，得到目标三维物体的目标三维信息。
在一示例中，通过将虚拟的三维物体模型在二维图片中投影，得到二维框和特征点以用于训练三维信息推算模型，进而可以获取物体的三维信息。在训练三维信息推算模型的过程中，仅需人工标注一次物体三维模型的特征点，进而可以将二维图片中投影得到的二维框和特征点，用于训练基于二维信息的三维信息推算模型，且训练完成的三维信息推算模型可以用于获取物体三维信息。
为了使本领域技术人员能够更好地理解上述步骤，通过结合图3对本发明实施例加以示例性说明，但应当理解的是，本发明实施例并不限于此。
针对三维信息推算模型，可以通过如下流程进行模型训练：
a1、可以收集物体的三维模型(即第一样本三维物体)；
a2、可以针对物体的三维模型标注三维特征点；
a3、可以将三维模型在二维图片(即第一样本图像数据)中投影；
a4、可以生成针对物体的三维模型的物体二维边框及其特征点(即第一样本二维投影信息)和三维信息(即第一样本三维信息)；
a5、可以采用物体二维边框及其特征点为输入数据，三维信息为输出数据，训练三维信息推算模型；
a6、模型训练完成后，可以得到基于二维信息的三维信息推算模型(即第一数据模型)。
在本发明实施例中，通过获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息，然后采用第一样本二维投影信息和第一样本三维信息进行模型训练，得到第一数据模型，进而获取针对目标三维物体的目标图像数据，在目标图像数据中，确定目标三维物体的目标二维投影信息，根据目标二维投影信息，得到目标三维物体的目标三维信息，实现了通过三维信息推算模型，能够基于三维物体的二维信息得到三维信息，避免了对激光雷达的依赖，提高了三维信息的标注效率和质量。
参照图4，示出了本发明一实施例提供的另一种三维信息的处理方法的步骤流程图，具体可以包括如下步骤：
步骤401，获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息；
在训练三维信息推算模型的过程中，可以针对用于训练三维信息推算模型的第一样本三维物体，获取该样本三维物体的二维投影信息和三维信息，作为第一样本二维投影信息和第一样本三维信息，以采用第一样本二维投影信息和第一样本三维信息进行模型训练。
步骤402，采用所述第一样本二维投影信息和所述第一样本三维信息进行模型训练，得到第一数据模型；
在获取第一样本二维投影信息和第一样本三维信息后，可以将第一样本二维投影信息作为待训练三维信息推算模型的输入数据，并将第一样本三维信息作为待训练三维信息推算模型的输出数据，以进行模型训练，进而可以得到第一数据模型，该第一数据模型可以用于根据物体的二维投影信息获取三维信息。
步骤403，获取针对第二样本三维物体的第二样本图像数据；
作为一示例，第二样本三维物体为用于训练二维信息推算模型的三维模型；第二样本图像数据可以为针对第二样本三维物体的图片，例如，样本三维物体的真实二维图片。
在训练二维信息推算模型的过程中，可以针对用于训练二维信息推算模型的第二样本三维物体，获取该样本三维物体的真实二维图片，以作为第二样本图像数据。例如，可以通过收集真实二维图片针对二维信息推算模型进行训练。
步骤404，在所述第二样本图像数据中，确定所述第二样本三维物体的第二样本二维投影信息；
在得到第二样本图像数据后，该第二样本图像数据中可以具有针第二样本三维物体的投影信息，进而可以在第二样本图像数据中，获取针对第二样本三维物体投影的物体轮廓信息、特征点信息，作为第二样本二维投影信息。
例如，可以在真实二维图片中通过人工标注物体的二维框及其特征点，以采用二维框及其特征点对二维模型进行训练。
步骤405，采用所述第二样本图像数据和所述第二样本二维投影信息进行模型训练，得到第二数据模型；
作为一示例，第二数据模型可以用于根据物体的二维图片获取二维投影信息，例如，可以训练得到二维信息推算模型，该二维信息推算模型可以采用物体的二维图片为输入，进而可以输出物体的二维投影信息。
在获取第二样本图像数据和第二样本二维投影信息后，可以将第二样本图像数据作为待训练二维信息推算模型的输入数据，并将第二样本二维投影信息作为待训练二维信息推算模型的输出数据，以进行模型训练，进而可以得到第二数据模型，该第二数据模型可以用于根据物体的二维图片获取二维投影信息。
步骤406，获取针对目标三维物体的目标图像数据；
在针对三维物体获取三维信息的过程中，可以针对待获取三维信息的目标三维物体，获取该目标三维物体的目标图像数据，以进一步通过目标图像数据得到三维信息。
步骤407，采用所述第二数据模型，对所述目标图像数据进行模型处理，得到所述目标三维物体的目标二维投影信息；
在获取目标图像数据后，可以将目标图像数据作为第二数据模型的输入数据，进而可以采用第二数据模型对目标图像数据进行模型处理，得到目标三维物体的目标二维投影信息。
步骤408，采用所述第一数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
在确定目标二维投影信息后，可以将目标二维投影信息作为第一数据模型的输入数据，进而可以采用第一数据模型对目标二维投影信息进行模型处理，得到目标三维物体的目标三维信息。
在一示例中，基于二维信息的三维信息推理模型可以用于物体三维信息的线下标注，以及作为二维信息推算模型的实时后处理模块，以进行三维信息推算。
为了使本领域技术人员能够更好地理解上述步骤，通过结合图5对本发明实施例加以示例性说明，但应当理解的是，本发明实施例并不限于此。
针对二维信息推算模型，可以通过如下流程进行模型训练：
b1、可以收集真实二维图片(即第二样本图像数据)；
b2、可以人为标注图中物体(即第二样本三维物体)的二维框及其特征点(即第二样本二维投影信息)；
b3、可以采用真实图片为输入数据，二维框及特征点为输出数据，训练二维信息推算模型；
b4、模型训练完成后，可以得到二维信息推算模型(即第二数据模型)；
b5、在产品中使用二维信息推算模型时，可以获取新的二维图片(即目标图像数据)；
b6、将新的二维图片输入到二维信息推算模型，可以得到物体二维框及其特征点(即目标二维投影信息)；
b7-b8、可以将得到的物体二维框及其特征点，输入基于二维信息的三维推算模型(即第一数据模型)进行三维信息推算，进而可以得到物体(即目标三维物体)的三维信息(目标三维信息)。
在本发明实施例中，通过获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息，采用第一样本二维投影信息和第一样本三维信息进行模型训练，得到第一数据模型，然后获取针对第二样本三维物体的第二样本图像数据，在第二样本图像数据中，确定第二样本三维物体的第二样本二维投影信息，采用第二样本图像数据和第二样本二维投影信息进行模型训练，得到第二数据模型，进而获取针对目标三维物体的目标图像数据，采用第二数据模型，对目标图像数据进行模型处理，得到目标三维物体的目标二维投影信息，采用第一数据模型，对目标二维投影信息进行模型处理，得到目标三维物体的目标三维信息，实现了通过二维信息推算模型和三维信息推算模型，能够针对三维信息进行实时推算，提高了三维信息的标注效率和质量。
参照图6，示出了本发明一实施例提供的另一种三维信息的处理方法的步骤流程图，具体可以包括如下步骤：
步骤601，获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息；
在训练三维信息推算模型的过程中，可以针对用于训练三维信息推算模型的第一样本三维物体，获取该样本三维物体的二维投影信息和三维信息，作为第一样本二维投影信息和第一样本三维信息，以采用第一样本二维投影信息和第一样本三维信息进行模型训练。
步骤602，采用所述第一样本二维投影信息和所述第一样本三维信息进行模型训练，得到第一数据模型；
在获取第一样本二维投影信息和第一样本三维信息后，可以将第一样本二维投影信息作为待训练三维信息推算模型的输入数据，并将第一样本三维信息作为待训练三维信息推算模型的输出数据，以进行模型训练，进而可以得到第一数据模型，该第一数据模型可以用于根据物体的二维投影信息获取三维信息。
步骤603，获取针对第三样本三维物体的第三样本图像数据；
作为一示例，第三样本三维物体为用于训练三维信息推算模型的三维模型；第三样本图像数据可以为针对第三样本三维物体的图片，例如，样本三维物体的真实图片。
在训练三维信息推算模型的过程中，可以针对用于训练三维信息推算模型的第三样本三维物体，获取该样本三维物体的真实图片，以作为第三样本图像数据。例如，可以通过收集真实图片针对基于真实图片的三维信息推算模型进行训练。
步骤604，在所述第三样本图像数据中，确定所述第三样本三维物体的第三样本二维投影信息；
在得到第三样本图像数据后，该第三样本图像数据中可以具有第三样本三维物体的投影信息，进而可以在第三样本图像数据中，获取针对第三样本三维物体投影的物体轮廓信息、特征点信息，作为第三样本二维投影信息。
例如，可以在真实图片中通过人工标注物体的二维框及其特征点，以采用二维框及其特征点进一步得到物体的三维信息。
步骤605，采用所述第一数据模型，对所述第三样本二维投影信息进行模型处理，得到所述第三样本三维物体的第三样本三维信息；
在确定第三样本二维投影信息后，可以将第三样本二维投影信息作为第一数据模型的输入数据，进而可以采用第一数据模型对第三样本二维投影信息进行模型处理，得到第三样本三维物体的第三样本三维信息。
步骤606，采用所述第三样本图像数据和所述第三样本三维信息进行模型训练，得到第三数据模型；
作为一示例，第三数据模型可以用于根据物体的真实图片获取三维信息，例如，可以训练得到基于真实图片的三维信息推算模型，该三维信息推算模型可以采用物体的真实图片为输入，进而可以输出物体的三维信息。
在获取第三样本图像数据和第三样本三维信息后，可以将第三样本图像数据作为待训练三维信息推算模型的输入数据，并将第三样本三维信息作为待训练三维信息推算模型的输出数据，以进行模型训练，进而可以得到第三数据模型，该第三数据模型可以用于根据物体的真实图片获取三维信息。
步骤607，采用所述第三数据模型，对所述目标图像数据进行模型处理，得到所述目标三维物体的目标二维投影信息；
在获取目标图像数据后，可以将目标图像数据作为第三数据模型的输入数据，进而可以采用第三数据模型对目标图像数据进行模型处理，得到目标三维物体的目标二维投影信息。
步骤608，采用所述第三数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
在确定目标二维投影信息后，可以采用第三数据模型对目标二维投影信息进行模型处理，得到目标三维物体的目标三维信息。
在一示例中，针对物体三维信息的标注，仅需人工标注二维图片中的物体二维框及其特征点，然后可以将标注的二维框及其特征点输入三维信息推算模型，进而可以得到物体的三维信息，从而避免了对激光雷达的依赖，且提高了采用二维图片数据直接标注三维信息的人工效率。
在又一示例中，训练完成的三维信息推算模型还可以用于物体的实时三维信息推算。由于该三维信息推算模型可以采用二维框和特征点作为输入数据进行训练，而不是虚拟图片，从而避免了虚拟图片和真实图片的差异性，解决了用虚拟图片作为输入数据以训练三维信息推算模型后，进而用于真实图片中模型性能下降的问题。
为了使本领域技术人员能够更好地理解上述步骤，通过结合图7对本发明实施例加以示例性说明，但应当理解的是，本发明实施例并不限于此。
针对采用三维信息推算模型进行三维信息线下标注，可以通过如下流程进行标注：
c1-c2、可以收集真实图片(即第三样本图像数据)并人为标注物体的二维框及其特征点(即第三样本二维投影信息)；
c3-c4、可以将标注的物体二维框及其特征点，输入基于二维信息的三维推算模型(即第一数据模型)，进而可以得到物体(即第三样本三维物体)的三维信息(即第三样本三维信息)。
针对基于真实图片的三维信息推算模型，可以通过如下流程进行模型训练：
c5-c7、可以采用c1中收集的真实图片(即第三样本图像数据)为输入数据，c4中得到的三维信息(即第三样本三维信息)为输出数据，训练并得到基于真实图片的三维信息推算模型(即第三数据模型)。
针对基于真实图片的三维信息推算模型，可以通过如下流程进行应用：
c8、可以获取新的二维真实图片(即目标图像数据)；
c9、通过采用c7中得到的基于真实图片的三维信息推算模型，可以将新的二维真实图片输入基于真实图片的三维信息推算模型(即第三数据模型)进行推算；
c10、可以得到物体(即目标三维物体)的三维信息(目标三维信息)。
在本发明实施例中，通过获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息，采用第一样本二维投影信息和第一样本三维信息进行模型训练，得到第一数据模型，然后获取针对第三样本三维物体的第三样本图像数据，在第三样本图像数据中，确定第三样本三维物体的第三样本二维投影信息，采用第一数据模型，对第三样本二维投影信息进行模型处理，得到第三样本三维物体的第三样本三维信息，采用第三样本图像数据和第三样本三维信息进行模型训练，得到第三数据模型，进而采用第三数据模型，对目标图像数据进行模型处理，得到目标三维物体的目标二维投影信息，采用第三数据模型，对目标二维投影信息进行模型处理，得到目标三维物体的目标三维信息，实现了通过基于真实图片的三维信息推算模型，能够针对物体进行三维信息标注，通过基于三维物体的真实图片得到三维信息，避免了对激光雷达的依赖，提高了三维信息的标注效率和质量。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图8，示出了本发明一实施例提供的一种三维信息的处理装置的结构示意图，具体可以包括如下模块：
目标图像数据获取模块801，用于获取针对目标三维物体的目标图像数据；
目标二维投影信息确定模块802，用于在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息；
目标三维信息确定模块803，用于根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息。
在本发明一实施例中，所述装置还包括：
第一样本二维投影信息和第一样本三维信息获取模块，用于获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息；
第一数据模型得到模块，用于采用所述第一样本二维投影信息和所述第一样本三维信息进行模型训练，得到第一数据模型。
在本发明一实施例中，所述第一样本二维投影信息和第一样本三维信息获取模块包括：
特征点标注子模块，用于对第一样本三维物体进行特征点标注；
第一样本图像数据生成子模块，用于生成针对所述第一样本三维物体的第一样本图像数据；
第一样本二维投影信息确定子模块，用于在所述第一样本图像数据中，确定所述第一样本三维物体的第一样本二维投影信息。
在本发明一实施例中，所述目标三维信息确定模块803包括：
第一目标三维信息确定子模块，用于采用所述第一数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
在本发明一实施例中，所述装置还包括：
第二样本图像数据获取模块，用于获取针对第二样本三维物体的第二样本图像数据；
第二样本二维投影信息确定模块，用于在所述第二样本图像数据中，确定所述第二样本三维物体的第二样本二维投影信息；
第一数据模型得到模块，用于采用所述第二样本图像数据和所述第二样本二维投影信息进行模型训练，得到第二数据模型。
在本发明一实施例中，所述目标二维投影信息确定模块802包括：
第一目标二维投影信息确定子模块，用于采用所述第二数据模型，对所述目标图像数据进行模型处理，得到所述目标三维物体的目标二维投影信息。
在本发明一实施例中，所述装置还包括：
第三样本图像数据获取模块，用于获取针对第三样本三维物体的第三样本图像数据；
第三样本二维投影信息确定模块，用于在所述第三样本图像数据中，确定所述第三样本三维物体的第三样本二维投影信息；
第三样本三维信息得到模块，用于采用所述第一数据模型，对所述第三样本二维投影信息进行模型处理，得到所述第三样本三维物体的第三样本三维信息；
第三数据模型得到模块，用于采用所述第三样本图像数据和所述第三样本三维信息进行模型训练，得到第三数据模型。
在本发明一实施例中，所述目标二维投影信息确定模块802包括：
第二目标二维投影信息确定子模块，用于采用所述第三数据模型，对所述目标图像数据进行模型处理，得到所述目标三维物体的目标二维投影信息。
所述目标三维信息确定模块803包括：
第二目标三维信息确定子模块，用于采用所述第三数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
在本发明一实施例中，所述目标二维投影信息包括以下任一项或多项：
物体轮廓信息、特征点信息。
在本发明实施例中，通过获取针对目标三维物体的目标图像数据，然后在目标图像数据中，确定目标三维物体的目标二维投影信息，进而根据目标二维投影信息，得到目标三维物体的目标三维信息，实现了针对三维信息标注的优化，通过基于三维物体的二维信息得到三维信息，避免了对激光雷达的依赖，提高了三维信息的标注效率和质量。
本发明一实施例还提供了一种服务器，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上三维信息的处理方法。
本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上三维信息的处理方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种三维信息的处理方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种三维信息的处理方法，其特征在于，所述方法包括：
获取针对目标三维物体的目标图像数据；
在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息；
根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取第一样本三维物体的第一样本二维投影信息和第一样本三维信息；
采用所述第一样本二维投影信息和所述第一样本三维信息进行模型训练，得到第一数据模型。
3.根据权利要求2所述的方法，其特征在于，所述获取第一样本三维物体的第一样本二维投影信息，包括：
对第一样本三维物体进行特征点标注；
生成针对所述第一样本三维物体的第一样本图像数据；
在所述第一样本图像数据中，确定所述第一样本三维物体的第一样本二维投影信息。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息，包括：
采用所述第一数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
5.根据权利要求4所述的方法，其特征在于，还包括：
获取针对第二样本三维物体的第二样本图像数据；
在所述第二样本图像数据中，确定所述第二样本三维物体的第二样本二维投影信息；
采用所述第二样本图像数据和所述第二样本二维投影信息进行模型训练，得到第二数据模型。
6.根据权利要求5所述的方法，其特征在于，所述在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息，包括：
采用所述第二数据模型，对所述目标图像数据进行模型处理，得到所述目标三维物体的目标二维投影信息。
7.根据权利要求2或3所述的方法，其特征在于，还包括：
获取针对第三样本三维物体的第三样本图像数据；
在所述第三样本图像数据中，确定所述第三样本三维物体的第三样本二维投影信息；
采用所述第一数据模型，对所述第三样本二维投影信息进行模型处理，得到所述第三样本三维物体的第三样本三维信息；
采用所述第三样本图像数据和所述第三样本三维信息进行模型训练，得到第三数据模型。
8.根据权利要求7所述的方法，其特征在于，所述在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息，包括：
采用所述第三数据模型，对所述目标图像数据进行模型处理，得到所述目标三维物体的目标二维投影信息。
所述根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息，包括：
采用所述第三数据模型，对所述目标二维投影信息进行模型处理，得到所述目标三维物体的目标三维信息。
9.根据权利要求1所述的方法，其特征在于，所述目标二维投影信息包括以下任一项或多项：
物体轮廓信息、特征点信息。
10.一种三维信息的处理装置，其特征在于，所述装置包括：
目标图像数据获取模块，用于获取针对目标三维物体的目标图像数据；
目标二维投影信息确定模块，用于在所述目标图像数据中，确定所述目标三维物体的目标二维投影信息；
目标三维信息确定模块，用于根据所述目标二维投影信息，得到所述目标三维物体的目标三维信息。
11.一种服务器，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的三维信息的处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的三维信息的处理方法。
CN202010833398.2A 2020-08-18 2020-08-18 一种三维信息的处理方法和装置 Active CN111964606B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010833398.2A CN111964606B (zh) 2020-08-18 2020-08-18 一种三维信息的处理方法和装置
PCT/CN2021/101352 WO2022037240A1 (zh) 2020-08-18 2021-06-21 一种三维信息的处理方法和装置
EP21819711.9A EP3985575B1 (en) 2020-08-18 2021-06-21 Three-dimensional information processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010833398.2A CN111964606B (zh) 2020-08-18 2020-08-18 一种三维信息的处理方法和装置

Publications (2)

Publication Number Publication Date
CN111964606A true CN111964606A (zh) 2020-11-20
CN111964606B CN111964606B (zh) 2021-12-07

Family

ID=73389530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010833398.2A Active CN111964606B (zh) 2020-08-18 2020-08-18 一种三维信息的处理方法和装置

Country Status (3)

Country Link
EP (1) EP3985575B1 (zh)
CN (1) CN111964606B (zh)
WO (1) WO2022037240A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488178A (zh) * 2020-11-26 2021-03-12 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像处理方法及装置、设备
WO2022037240A1 (zh) * 2020-08-18 2022-02-24 广州小鹏汽车科技有限公司 一种三维信息的处理方法和装置
CN114495038A (zh) * 2022-01-12 2022-05-13 九识(苏州)智能科技有限公司 一种自动驾驶检测标注数据的后处理方法
US11869257B2 (en) 2021-03-19 2024-01-09 International Business Machines Corporation AR-based labeling tool for 3D object detection model training

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200910263A (en) * 2007-05-29 2009-03-01 Cognex Tech & Investment Corp 3D assembly verification from 2D images
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
DE102009029234A1 (de) * 2009-09-07 2011-03-10 Robert Bosch Gmbh Laserprojektor zur Fahrwerksvermessung
EP2345003A1 (en) * 2008-09-30 2011-07-20 Analogic Corporation 3d segmentation of ct images of baggage scanned for automated threat detection with potentially touching objects are separeted by erosion and erroneously split objects are merged again based on a connectivity or compactness measure
JP5950486B1 (ja) * 2015-04-01 2016-07-13 みずほ情報総研株式会社 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム
CN108709513A (zh) * 2018-04-10 2018-10-26 深圳市唯特视科技有限公司 一种基于模型拟合算法的车辆三维检测方法
CN110291358A (zh) * 2017-02-20 2019-09-27 欧姆龙株式会社 形状估计装置
CN110514140A (zh) * 2019-09-10 2019-11-29 中国科学院苏州纳米技术与纳米仿生研究所 一种三维成像方法、装置、设备以及存储介质
CN110826499A (zh) * 2019-11-08 2020-02-21 上海眼控科技股份有限公司 物体空间参数检测方法、装置、电子设备及存储介质
TW202013009A (zh) * 2018-09-27 2020-04-01 奇景光電股份有限公司 一種用於三維感測系統的投影裝置
CN111127540A (zh) * 2019-12-25 2020-05-08 珠海市四维时代网络科技有限公司 一种三维虚拟空间自动测距方法及系统
CN111179300A (zh) * 2019-12-16 2020-05-19 新奇点企业管理集团有限公司 障碍物检测的方法、装置、系统、设备以及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020633B (zh) * 2019-04-12 2022-11-04 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN111964606B (zh) * 2020-08-18 2021-12-07 广州小鹏汽车科技有限公司 一种三维信息的处理方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200910263A (en) * 2007-05-29 2009-03-01 Cognex Tech & Investment Corp 3D assembly verification from 2D images
EP2345003A1 (en) * 2008-09-30 2011-07-20 Analogic Corporation 3d segmentation of ct images of baggage scanned for automated threat detection with potentially touching objects are separeted by erosion and erroneously split objects are merged again based on a connectivity or compactness measure
DE102009029234A1 (de) * 2009-09-07 2011-03-10 Robert Bosch Gmbh Laserprojektor zur Fahrwerksvermessung
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
JP5950486B1 (ja) * 2015-04-01 2016-07-13 みずほ情報総研株式会社 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム
CN110291358A (zh) * 2017-02-20 2019-09-27 欧姆龙株式会社 形状估计装置
CN108709513A (zh) * 2018-04-10 2018-10-26 深圳市唯特视科技有限公司 一种基于模型拟合算法的车辆三维检测方法
TW202013009A (zh) * 2018-09-27 2020-04-01 奇景光電股份有限公司 一種用於三維感測系統的投影裝置
CN110514140A (zh) * 2019-09-10 2019-11-29 中国科学院苏州纳米技术与纳米仿生研究所 一种三维成像方法、装置、设备以及存储介质
CN110826499A (zh) * 2019-11-08 2020-02-21 上海眼控科技股份有限公司 物体空间参数检测方法、装置、电子设备及存储介质
CN111179300A (zh) * 2019-12-16 2020-05-19 新奇点企业管理集团有限公司 障碍物检测的方法、装置、系统、设备以及存储介质
CN111127540A (zh) * 2019-12-25 2020-05-08 珠海市四维时代网络科技有限公司 一种三维虚拟空间自动测距方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张银，等: "《三维激光雷达在无人车环境感知中的应用研究》", 《激光与光电子学进展》 *
郑太雄，等: "《基于视觉的三维重建关键技术研究综述》", 《自动化学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022037240A1 (zh) * 2020-08-18 2022-02-24 广州小鹏汽车科技有限公司 一种三维信息的处理方法和装置
CN112488178A (zh) * 2020-11-26 2021-03-12 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像处理方法及装置、设备
CN112488178B (zh) * 2020-11-26 2022-07-26 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像处理方法及装置、设备
US11869257B2 (en) 2021-03-19 2024-01-09 International Business Machines Corporation AR-based labeling tool for 3D object detection model training
CN114495038A (zh) * 2022-01-12 2022-05-13 九识(苏州)智能科技有限公司 一种自动驾驶检测标注数据的后处理方法
CN114495038B (zh) * 2022-01-12 2023-04-07 九识(苏州)智能科技有限公司 一种自动驾驶检测标注数据的后处理方法

Also Published As

Publication number Publication date
EP3985575B1 (en) 2024-09-11
WO2022037240A1 (zh) 2022-02-24
CN111964606B (zh) 2021-12-07
EP3985575A4 (en) 2022-10-19
EP3985575A1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
CN111964606B (zh) 一种三维信息的处理方法和装置
CN109523597B (zh) 相机外参的标定方法和装置
CN110009718B (zh) 一种三维高精度地图生成方法及装置
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
DE112018000332T5 (de) Dichtes visuelles slam mit probabilistic-surfel-map
CN111161349A (zh) 物体姿态估计方法、装置与设备
DE112018001056T5 (de) Automatisches fahrzeug-parksystem und -verfahren
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
EP3847619B1 (en) Unsupervised depth prediction neural networks
CN110119679B (zh) 物体三维信息估计方法及装置、计算机设备、存储介质
DE102014108858A1 (de) Verfahren und Vorrichtung zum Abschätzen und Verfolgen von Form und Pose eines dreidimensionalen Objekts
CN111968165A (zh) 动态人体三维模型补全方法、装置、设备和介质
CN112669429A (zh) 图像扭曲渲染方法及装置
CN116935159A (zh) 一种模型训练方法、重定位方法、设备和介质
EP4145392B1 (en) Method and apparatus for determining three-dimensional information of target object
CN117372536A (zh) 激光雷达与相机标定方法、系统、设备和存储介质
CN109978986B (zh) 一种三维模型的重建方法、装置、存储介质及终端设备
US20230230317A1 (en) Method for generating at least one ground truth from a bird's eye view
CN109711363B (zh) 车辆定位方法、装置、设备和存储介质
WO2021214012A1 (en) Method for creating a virtual environment reconstruction of an actual location
DE102018128184A1 (de) Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Erzeugung eines gelabelten Bildes
KR102709551B1 (ko) 라이다 포인트 클라우드 기반의 실시간 객체 탐지 방법, 장치 및 컴퓨터프로그램
CN117302258B (zh) 自动驾驶车辆换道路径的轨迹系数变换生成方法及系统
CN112639878B (zh) 无监督深度预测神经网络
CN111144064B (zh) 文字变形方法、介质、设备及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201120

Assignee: Zhaoqing Xiaopeng New Energy Investment Co.,Ltd.

Assignor: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd.

Contract record no.: X2024980003935

Denomination of invention: A method and device for processing three-dimensional information

Granted publication date: 20211207

License type: Common License

Record date: 20240407

EE01 Entry into force of recordation of patent licensing contract