CN111815698A - 人工智能单目3d点云生成方法、装置、终端及存储介质 - Google Patents

人工智能单目3d点云生成方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111815698A
CN111815698A CN202010698913.0A CN202010698913A CN111815698A CN 111815698 A CN111815698 A CN 111815698A CN 202010698913 A CN202010698913 A CN 202010698913A CN 111815698 A CN111815698 A CN 111815698A
Authority
CN
China
Prior art keywords
point cloud
cloud data
generation model
real
data generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010698913.0A
Other languages
English (en)
Inventor
张添
黄起贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Anliang Technology Co ltd
Original Assignee
Guangxi Anliang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Anliang Technology Co ltd filed Critical Guangxi Anliang Technology Co ltd
Priority to CN202010698913.0A priority Critical patent/CN111815698A/zh
Publication of CN111815698A publication Critical patent/CN111815698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种人工智能单目3D点云生成方法、装置、终端及存储介质。该人工智能单目3D点云生成方法包括：获取基于编码及解码架构建立的3D点云数据生成模型；训练样本集包括多个样本图像以及多个3D点云数据样本，多个样本图像为目标物体的不同角度的照片；每一3D点云数据样本与多个样本图像一一对应，3D点云数据样本基于对应所述样本图像生成；根据多个样本图像以及多个3D点云数据样本对3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型；获取目标物体的实时拍摄图像；将实时拍摄图像输入单目3D点云数据生成模型，得到3D点云数据。本申请可以提高3D点云数据生成效率，降低硬件成本。

Description

人工智能单目3D点云生成方法、装置、终端及存储介质
技术领域
本申请涉及3D技术领域，具体而言，涉及一种人工智能单目3D点云生成方法、装置、终端及存储介质。
背景技术
3D点云重建在现代制鞋产业链中有着举足轻重的作用，鞋楦、鞋子的制造过程都离不开3D点云的参与。鞋楦的制造过程其输入需要3D点云数据；而鞋子制造过程中，多个工序如自动生产线的涂胶工序，也需要利用点云数据作为输入。因此，点云的3D重建是制鞋行业一个必不可少的组成工序。
为了实现点云的重建，目前的方法大多是利用激光扫描、结构光扫描等装置，配合单目或多目相机拍摄图像；通过拍摄的图像进行特征匹配，计算特征点的像素差，获取特征点的视差，计算特征点的深度信息，最终完成3D点云的重建。
目前传统的基于线激光、结构光的成像系统几乎都存在硬件结构冗余、扫描速度偏慢，硬件成本较高，扫描精度不够理想等问题。
发明内容
本申请实施例的目的在于提供一种人工智能单目3D点云生成方法、装置、终端及存储介质，可以提高3D点云数据生成效率，降低硬件成本。其中，需要说明的是，本申请中的“人工智能单目3D点云生成方法、装置、终端及存储介质”指代的是基于人工智能的单目相机3D点云生产方法、装置、终端及存储介质，也即本申请应用了人工智能技术以及利用单目相机来生成3D点云，以下对具体的技术方案进行详细描述。
第一方面，本申请实施例提供了一种人工智能单目3D点云生成方法，所述人工智能单目3D点云生成方法包括：
获取基于编码及解码架构建立的3D点云数据生成模型；
获取训练样本集，所述训练样本集包括多个样本图像以及多个3D点云数据样本，所述多个样本图像为目标物体的不同角度的照片；每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成；
根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型；
获取目标物体的至少一张实时拍摄图像；
将每一所述实时拍摄图像输入所述经过训练的单目3D点云数据生成模型，以获取与所述实时拍摄图像对应的3D点云数据。
可选地，在本申请实施例所述的人工智能单目3D点云生成方法中，所述根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型的步骤包括：
将所述训练样本集中的未被训练过的一个样本图像输入所述3D点云数据生成模型，以生成对应的3D点云数据；
根据所述3D点云数据以及与所述样本图像对应的3D点云数据样本计算所述3D点云数据生成模型的代价函数；
基于所述代价函数对所述3D点云数据生成模型的权重参数进行优化，以得到第一3D点云数据生成模型；
判断所述代价函数的误差是否小于第一预设阈值；
若小于第一预设阈值，则将所述第一3D点云数据生成模型设置为所述经过训练的单目3D点云数据生成模型；
若不小于第一预设阈值，则将所述第一3D点云数据生成模型设置为3D点云数据生成模型，并返回至所述将所述训练样本集中的未被训练过的一个样本图像输入所述3D点云数据生成模型，以生成对应的3D点云数据的步骤。
可选地，在本申请实施例所述的人工智能单目3D点云生成方法中，所述获取目标物体的至少一张实时拍摄图像的步骤包括：
获取目标物体的多张实时拍摄图像，所述多张实时拍摄图像为所述目标物体在不同角度下的拍摄图像；
而所述将每一所述实时拍摄图像输入所述3D点云数据生成模型，以获取与所述实时拍摄图像对应的3D点云数据的步骤之后，还包括：
根据每一所述实时拍摄图像的3D点云数据拼接成所述目标物体的整体的3D点云。
可选地，在本申请实施例所述的人工智能单目3D点云生成方法中，所述获取目标物体的多张实时拍摄图像的步骤包括：
利用单目相机实时拍摄以预设角速度旋转的目标物体，以获取所述目标物体的多张实时拍摄图像。
可选地，在本申请实施例所述的人工智能单目3D点云生成方法中，所述预设角速度为12度/秒，所述单目相机每秒生成24帧实时拍摄图像。
第二方面，本申请实施例提供了一种人工智能单目3D点云生成装置，所述人工智能单目3D点云生成装置包括：
第一获取模块，用于获取基于编码及解码架构建立的3D点云数据生成模型；
第二获取模块，用于获取训练样本集，所述训练样本集包括多个样本图像以及多个3D点云数据样本，所述多个样本图像为目标物体的不同角度的照片；每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成；
训练模块，用于根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型；
第三获取模块，用于获取目标物体的至少一张实时拍摄图像；
生成模块，用于将每一所述实时拍摄图像输入所述经过训练的单目3D点云数据生成模型，以生成与所述实时拍摄图像对应的3D点云数据。
可选地，在本申请实施例所述的人工智能单目3D点云生成装置中，所述生成模块用于：
获取目标物体的多张实时拍摄图像，所述多张实时拍摄图像为所述目标物体在不同角度下的拍摄图像；
而所述将每一所述实时拍摄图像输入所述3D点云数据生成模型，以获取与所述实时拍摄图像对应的3D点云数据的步骤之后，还包括：
根据每一所述实时拍摄图像的3D点云数据拼接成所述目标物体的整体的3D点云。
可选地，在本申请实施例所述的人工智能单目3D点云生成装置中，所述第三获取模块用于：
利用单目相机实时拍摄以预设角速度旋转的目标物体，以获取所述目标物体的多张实时拍摄图像。
第三方面，本申请实施例提供一种终端，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请实施例通过获取基于编码及解码架构建立的3D点云数据生成模型；获取训练样本集，所述训练样本集包括多个样本图像以及多个3D点云数据样本，所述多个样本图像为目标物体的不同角度的照片；每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成；根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型。本申请实施例可以通过单目相机获取目标物体的至少一张实时拍摄图像，并且将该实时拍摄图像输入至经过训练的单目3D点云数据生成模型，得到与该实时拍摄图像对应的3D点云数据，并且可以根据这些3D点云数据拼接成所述目标物体的整体的3D点云，可以提高3D点云数据生成效率，降低硬件成本。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的模型训练方法的一种流程图。
图2为本申请实施例提供的模型训练装置的第一种结构示意图。
图3为本申请实施例提供的人工智能单目3D点云生成方法的一种流程图。
图4为本申请实施例提供的人工智能单目3D点云生成装置的第一种结构示意图。
图5为本申请实施例提供的终端的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种模型训练方法的流程图，该模型训练方法，包括以下步骤：
S101、获取基于编码及解码架构建立的3D点云数据生成模型。
S102、获取训练样本集，所述训练样本集包括多个样本图像，所述多个样本图像为目标物体的不同角度的照片；所述训练样本集还包括多个3D点云数据样本，每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成。
S103、根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型。
其中，在该步骤S101中，该3D点云数据生成模型的构件是基于编码及解码架构建立，具体建立方法为现有技术无需过多描述。该3D点云数据生成模型的初始权重参数为随机值或者默认值，导致该3D点云数据生成模型具有较大的误差，因此，需要通过后续的训练来降低该3D点云数据生成模型的代价函数，从而提高精确度。
其中，在该步骤S102中，该训练样本集中的多个样本图像可以为多个目标物体的图像，也可以为一个目标物体在多个角度下拍摄的图像。当然，为了提高训练得到3D点云数据生成模型的精确度，尽量采用多个目标物体，每一目标物体采用多个角度进行拍摄以得到多个角度下的图像。
其中，在该步骤S103中，该训练样本集中的每一3D点云数据样本分别与该训练样本集中的一个样本图像对应。该3D点云数据样本可以是采用其他方法计算得到精确度较高的3D点云数据，例如，可以采用结构光扫描获得的3D点云数据。
其中，在该步骤S103中，可以利用梯度下降法，逐次改写优化该3D点云数据生成模型的权重参数，在此过程中逐次减少代价函数的误差直至代价函数的误差降低到一定的第一预设阈值以下并趋向于一个稳定的数据时，可以认定已经获得了一个在此训练集中的最优结果。
具体地，在一些实施例中，该步骤S103包括以下子步骤：
S1031、将所述训练样本集中的未被训练过的一个样本图像输入所述3D点云数据生成模型，以生成对应的3D点云数据；
S1032、根据所述3D点云数据以及与所述样本图像对应的3D点云数据样本计算所述3D点云数据生成模型的代价函数；
S1033、基于所述代价函数对所述3D点云数据生成模型的权重参数进行优化，以得到第一3D点云数据生成模型；
S1034、判断所述代价函数的误差是否小于第一预设阈值；
S1035、若小于第一预设阈值，则将所述第一3D点云数据生成模型设置为所述经过训练的单目3D点云数据生成模型；
S1036、若不小于第一预设阈值，则将所述第一3D点云数据生成模型设置为3D点云数据生成模型，并返回至所述将所述训练样本集中的未被训练过的一个样本图像输入所述3D点云数据生成模型，以生成对应的3D点云数据的步骤。
其中，可以理解地，在一些实施例中，还可以通过计算该点云数据生成模型的损伤函数，来进行判断是否继续训练，设定一个损伤函数的阈值，当输入的样本图像训练使得该点云数据生成模型的损伤函数的小于该阈值时，则可停止训练。
当然，可以理解地，在一些实施例中，可以通过不断训练，并将每次训练后的代价函数与上一次训练后的代价函数进行比较，当发现代价函数的变化低于预设阈值时，则可以停止训练。
由上可知，本申请实施例通过获取基于编码及解码架构建立的3D点云数据生成模型；获取训练样本集，所述训练样本集包括多个样本图像，所述多个样本图像为目标物体的不同角度的照片；所述训练样本集还包括多个3D点云数据样本，每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成；根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型；从而可以利用该3D点云数据生成模型快速生成3D点云数据，可以提高3D点云数据生成效率，降低硬件成本。
请参照图2，图2是本申请一些实施例中的一种模型训练装置的结构示意图，该模型训练装置包括：第一获取模块201、第二获取模块202、以及训练模块203。
其中，该第一获取模块201用于获取基于编码及解码架构建立的3D点云数据生成模型。该3D点云数据生成模型的构件是基于编码及解码架构建立，具体建立方法为现有技术无需过多描述。该3D点云数据生成模型的初始权重参数为随机值或者默认值，导致该3D点云数据生成模型具有较大的误差，因此，需要通过后续的训练来降低该3D点云数据生成模型的代价函数，从而提高精确度。
其中，该第二获取模块202用于获取训练样本集，所述训练样本集包括多个样本图像，所述多个样本图像为目标物体的不同角度的照片。该训练样本集中的多个样本图像可以为多个目标物体的图像，也可以为一个目标物体在多个角度下拍摄的图像。当然，为了提高训练得到3D点云数据生成模型的精确度，尽量采用多个目标物体，每一目标物体采用多个角度进行拍摄以得到多个角度下的图像。所述训练样本集还包括多个3D点云数据样本，每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成。该训练样本集中的每一3D点云数据样本分别与该训练样本集中的一个样本图像对应。该3D点云数据样本可以是采用其他方法计算得到精确度较高的3D点云数据，例如，可以采用结构光扫描获得的3D点云数据。
其中，该训练模块203用于根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型。该训练模块203可以利用梯度下降法，逐次改写优化该3D点云数据生成模型的权重参数，在此过程中逐次减少代价函数的误差直至代价函数的误差降低到一定的第一预设阈值以下并趋向于一个稳定的数据时，可以认定已经获得了一个在此训练集中的最优结果。
具体地，在一些实施例中，该训练模块203包括：
第一生成单元，用于将所述训练样本集中的未被训练过的一个样本图像输入所述3D点云数据生成模型，以生成对应的3D点云数据；
第一计算单元，用于根据所述3D点云数据以及与所述样本图像对应的3D点云数据样本计算所述3D点云数据生成模型的代价函数；
优化单元，用于基于所述代价函数对所述3D点云数据生成模型的权重参数进行优化，以得到第一3D点云数据生成模型；
判断单元，用于判断所述代价函数的误差是否小于第一预设阈值；
第一设置单元，用于若小于第一预设阈值，则将所述第一3D点云数据生成模型设置为所述经过训练的单目3D点云数据生成模型；
循环单元，用于若不小于第一预设阈值，则将所述第一3D点云数据生成模型设置为3D点云数据生成模型，并返回至所述第一生成单元，以执行将所述训练样本集中的未被训练过的一个样本图像输入所述3D点云数据生成模型，以生成对应的3D点云数据的步骤。
其中，可以理解地，在一些实施例中，还可以通过计算该点云数据生成模型的损伤函数，来进行判断是否继续训练，设定一个损伤函数的阈值，当输入的样本图像训练使得该点云数据生成模型的损伤函数的小于该阈值时，则可停止训练。
当然，可以理解地，在一些实施例中，可以通过不断训练，并将每次训练后的代价函数与上一次训练后的代价函数进行比较，当发现代价函数的变化低于预设阈值时，则可以停止训练。
由上可知，本申请实施例通过获取基于编码及解码架构建立的3D点云数据生成模型；获取训练样本集，所述训练样本集包括多个样本图像，所述多个样本图像为目标物体的不同角度的照片；所述训练样本集还包括多个3D点云数据样本，每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成；根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型；从而可以利用该3D点云数据生成模型快速生成3D点云数据，可以提高3D点云数据生成效率，降低硬件成本。
请参照图3，图3是本申请一些实施例中的一种人工智能单目3D点云生成方法的流程图，该方法采用上述任一项实施例所述的方法获取的3D点云数据生成模型，所述人工智能单目3D点云生成方法包括以下步骤：
S301、获取目标物体的至少一张实时拍摄图像。
S302、将每一所述实时拍摄图像输入所述经过训练的单目3D点云数据生成模型，以获取与所述实时拍摄图像对应的3D点云数据。
其中，在该步骤S301中，该至少一张实时拍摄图像可以为一张也可以为多张。在一些实施例中，该步骤S301包括：获取目标物体的多张实时拍摄图像，所述多张实时拍摄图像为所述目标物体在不同角度下的拍摄图像。其中，可以利用单目相机实时拍摄以预设角速度旋转的目标物体，以获取所述目标物体的多张实时拍摄图像。该预设角速度可以为12度/秒，该单目相机每秒拍摄24帧图像。
其中，对应的成像系统的主要硬件包括单个摄像头、卡具，驱动摄像头上下运动的第一电机，以及驱动卡具旋转的第二电机。成像系统工作时，第一电机驱动摄像头上升至目标物体的上方并停止，第二电机驱动目标物体旋转360°，旋转期间摄像头拍摄目标物体；第一电机驱动摄像头下降至目标物体的下方，静止，卡具电机驱动目标物体旋转360°，旋转期间摄像头拍摄目标物体。至此，成像系统的硬件工作流程结束。
对应地，在该步骤S302之后，还包括以下步骤：
S303、根据每一所述实时拍摄图像的3D点云数据拼接成所述目标物体的整体的3D点云。在该步骤中，通过将各个角度下的实时拍摄图像对应的3D点云数据进行结合，即可得到该目标物体的整体的3D点云。
本申请实施例通过采用单目相机实时拍摄，不但可以简化目标物体的实时扫描的系统硬件结构，降低硬件成本，而且可以保证扫描精度；同时将单目相机实时拍摄扫描得到的目标物体的实时拍摄图像输入至上述经过训练的单目3D点云数据生成模型，利用上述经过训练的单目3D点云数据生成模型获取3D点云数据，可以提高3D点云数据生成效率。
请参照图4，图4是本申请一些实施例中的一种人工智能单目3D点云生成装置的结构示意图，其采用上述所述的方法获取的3D点云数据生成模型，所述人工智能单目3D点云生成装置包括：上述实施例中的模型训练装置以及第三获取模块401、生成模块402。
其中，该第三获取模块401用于获取目标物体的至少一张实时拍摄图像。其中，该至少一张实时拍摄图像可以为一张也可以为多张。在一些实施例中，该第三获取模块401用于：获取目标物体的多张实时拍摄图像，所述多张实时拍摄图像为所述目标物体在不同角度下的拍摄图像。其中，可以利用单目相机实时拍摄以预设角速度旋转的目标物体，以获取所述目标物体的多张实时拍摄图像。该预设角速度可以为12度/秒，该单目相机每秒拍摄24帧图像。
其中，该生成模块402用于将每一所述实时拍摄图像输入所述经过训练的单目3D点云数据生成模型，以生成与所述实时拍摄图像对应的3D点云数据。在一些实施例中，该生成模块402还用于根据每一所述实时拍摄图像的3D点云数据拼接成所述目标物体的整体的3D点云。在该步骤中，通过将各个角度下的实时拍摄图像对应的3D点云数据进行结合，即可得到该目标物体的整体的3D点云。
请参照图5，图5为本申请实施例提供的一种终端的结构示意图，本申请提供一种终端5，包括：处理器501和存储器502，处理器501和存储器502通过通信总线503和/或其他形式的连接机构（未标出）互连并相互通讯，存储器502存储有处理器501可执行的计算机程序，当计算设备运行时，处理器501执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random AccessMemory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable ProgrammableRead-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable ProgrammableRead Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory,简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人工智能单目3D点云生成方法，其特征在于，所述人工智能单目3D点云生成方法包括：
获取基于编码及解码架构建立的3D点云数据生成模型；
获取训练样本集，所述训练样本集包括多个样本图像以及多个3D点云数据样本，所述多个样本图像为目标物体的不同角度的照片；每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成；
根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型；
获取目标物体的至少一张实时拍摄图像；
将每一所述实时拍摄图像输入所述经过训练的单目3D点云数据生成模型，以获取与所述实时拍摄图像对应的3D点云数据。
2.根据权利要求1所述的人工智能单目3D点云生成方法，其特征在于，所述根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型的步骤包括：
将所述训练样本集中的未被训练过的一个样本图像输入所述3D点云数据生成模型，以生成对应的3D点云数据；
根据所述3D点云数据以及与所述样本图像对应的3D点云数据样本计算所述3D点云数据生成模型的代价函数；
基于所述代价函数对所述3D点云数据生成模型的权重参数进行优化，以得到第一3D点云数据生成模型；
判断所述代价函数的误差是否小于第一预设阈值；
若小于第一预设阈值，则将所述第一3D点云数据生成模型设置为所述经过训练的单目3D点云数据生成模型；
若不小于第一预设阈值，则将所述第一3D点云数据生成模型设置为3D点云数据生成模型，并返回至所述将所述训练样本集中的未被训练过的一个样本图像输入所述3D点云数据生成模型，以生成对应的3D点云数据的步骤。
3.根据权利要求1所述的人工智能单目3D点云生成方法，其特征在于，所述获取目标物体的至少一张实时拍摄图像的步骤包括：
获取目标物体的多张实时拍摄图像，所述多张实时拍摄图像为所述目标物体在不同角度下的拍摄图像；
而所述将每一所述实时拍摄图像输入所述3D点云数据生成模型，以获取与所述实时拍摄图像对应的3D点云数据的步骤之后，还包括：
根据每一所述实时拍摄图像的3D点云数据拼接成所述目标物体的整体的3D点云。
4.根据权利要求3所述的人工智能单目3D点云生成方法，其特征在于，所述获取目标物体的多张实时拍摄图像的步骤包括：
利用单目相机实时拍摄以预设角速度旋转的目标物体，以获取所述目标物体的多张实时拍摄图像。
5.根据权利要求4所述的人工智能单目3D点云生成方法，其特征在于，所述预设角速度为12度/秒，所述单目相机每秒生成24帧实时拍摄图像。
6.一种人工智能单目3D点云生成装置，其特征在于，所述人工智能单目3D点云生成装置包括：
第一获取模块，用于获取基于编码及解码架构建立的3D点云数据生成模型；
第二获取模块，用于获取训练样本集，所述训练样本集包括多个样本图像以及多个3D点云数据样本，所述多个样本图像为目标物体的不同角度的照片；每一所述3D点云数据样本与所述多个样本图像一一对应，所述3D点云数据样本基于对应所述样本图像生成；
训练模块，用于根据所述多个样本图像以及所述多个3D点云数据样本对所述3D点云数据生成模型进行训练，以得到经过训练的单目3D点云数据生成模型；
第三获取模块，用于获取目标物体的至少一张实时拍摄图像；
生成模块，用于将每一所述实时拍摄图像输入所述经过训练的单目3D点云数据生成模型，以生成与所述实时拍摄图像对应的3D点云数据。
7.根据权利要求6所述的人工智能单目3D点云生成装置，其特征在于，所述生成模块用于：
获取目标物体的多张实时拍摄图像，所述多张实时拍摄图像为所述目标物体在不同角度下的拍摄图像；
而所述将每一所述实时拍摄图像输入所述3D点云数据生成模型，以获取与所述实时拍摄图像对应的3D点云数据的步骤之后，还包括：
根据每一所述实时拍摄图像的3D点云数据拼接成所述目标物体的整体的3D点云。
8.根据权利要求6所述的人工智能单目3D点云生成装置，其特征在于，所述第三获取模块用于：
利用单目相机实时拍摄以预设角速度旋转的目标物体，以获取所述目标物体的多张实时拍摄图像。
9.一种终端，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-5任一所述方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-5任一所述方法中的步骤。
CN202010698913.0A 2020-07-20 2020-07-20 人工智能单目3d点云生成方法、装置、终端及存储介质 Pending CN111815698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010698913.0A CN111815698A (zh) 2020-07-20 2020-07-20 人工智能单目3d点云生成方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010698913.0A CN111815698A (zh) 2020-07-20 2020-07-20 人工智能单目3d点云生成方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN111815698A true CN111815698A (zh) 2020-10-23

Family

ID=72866252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010698913.0A Pending CN111815698A (zh) 2020-07-20 2020-07-20 人工智能单目3d点云生成方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111815698A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530003A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维人手重建方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN109657077A (zh) * 2018-10-31 2019-04-19 百度在线网络技术（北京）有限公司 模型训练方法、车道线生成方法、设备及存储介质
CN109859313A (zh) * 2019-02-27 2019-06-07 广西安良科技有限公司 3d点云数据获取方法、装置、3d数据生成方法及系统
CN110070595A (zh) * 2019-04-04 2019-07-30 东南大学 一种基于深度学习的单张图像3d对象重建方法
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN111259755A (zh) * 2020-01-10 2020-06-09 北京百度网讯科技有限公司 数据关联方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN109657077A (zh) * 2018-10-31 2019-04-19 百度在线网络技术（北京）有限公司 模型训练方法、车道线生成方法、设备及存储介质
CN109859313A (zh) * 2019-02-27 2019-06-07 广西安良科技有限公司 3d点云数据获取方法、装置、3d数据生成方法及系统
CN110070595A (zh) * 2019-04-04 2019-07-30 东南大学 一种基于深度学习的单张图像3d对象重建方法
CN111259755A (zh) * 2020-01-10 2020-06-09 北京百度网讯科技有限公司 数据关联方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AMUSI: "把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统", pages 1 - 4, Retrieved from the Internet <URL:https://cloud.tencent.com/developer/article/1654473> *
WU6388: "【神器】摄影实时建模，用照片生成3D模型", pages 1 - 7, Retrieved from the Internet <URL:http://www.360doc.com/content/19/0806/14/35771783_853309294.shtml> *
小执着~: ""【3D计算机视觉】由单张2D图像生成3D点云的深度网络", pages 1 - 11, Retrieved from the Internet <URL:https://blog.csdn.net/weixin_39373480/article/details/82845834> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530003A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维人手重建方法、装置及电子设备
CN112530003B (zh) * 2020-12-11 2023-10-27 北京奇艺世纪科技有限公司 一种三维人手重建方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108320297B (zh) 一种视频目标实时跟踪方法及系统
CN108664920B (zh) 一种实时的大规模级联人脸聚类方法和装置
US20190251401A1 (en) Image composites using a generative adversarial neural network
US11257298B2 (en) Reconstructing three-dimensional scenes in a target coordinate system from multiple views
KR102322773B1 (ko) 전극편의 버를 검출하기 위한 방법 및 장치
US10282614B2 (en) Real-time detection of object scanability
CN110415323B (zh) 一种融合变形系数获得方法、装置及存储介质
CN112862877A (zh) 用于训练图像处理网络和图像处理的方法和装置
CN110275968A (zh) 图像数据处理方法和装置
CN113869429A (zh) 模型训练方法及图像处理方法
CN105513083A (zh) 一种ptam摄像机跟踪方法及装置
JP2020088852A (ja) ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知
CN112801064A (zh) 一种模型训练方法、电子设备及存储介质
CN113781613A (zh) 表情驱动方法、系统及计算机设备
CN111815698A (zh) 人工智能单目3d点云生成方法、装置、终端及存储介质
CN114550313A (zh) 图像处理方法、神经网络及其训练方法、设备和介质
WO2023217138A1 (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN114461078B (zh) 一种基于人工智能的人机交互方法
CN114049678B (zh) 一种基于深度学习的面部动作捕捉方法及系统
CN114083533B (zh) 一种基于机械臂的数据处理方法及装置
CN111062479B (zh) 基于神经网络的模型快速升级方法及装置
US20230145498A1 (en) Image reprojection and multi-image inpainting based on geometric depth parameters
CN113537359A (zh) 训练数据的生成方法及装置、计算机可读介质和电子设备
CN109543557B (zh) 视频帧的处理方法、装置、设备以及存储介质
US20200364893A1 (en) Point depth estimation from a set of 3d-registered images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination