CN112530004B - 一种三维点云重建方法、装置及电子设备 - Google Patents

一种三维点云重建方法、装置及电子设备 Download PDF

Info

Publication number
CN112530004B
CN112530004B CN202011459848.2A CN202011459848A CN112530004B CN 112530004 B CN112530004 B CN 112530004B CN 202011459848 A CN202011459848 A CN 202011459848A CN 112530004 B CN112530004 B CN 112530004B
Authority
CN
China
Prior art keywords
image
sample
point cloud
dimensional point
superdivision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011459848.2A
Other languages
English (en)
Other versions
CN112530004A (zh
Inventor
陈平
杨东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202011459848.2A priority Critical patent/CN112530004B/zh
Publication of CN112530004A publication Critical patent/CN112530004A/zh
Application granted granted Critical
Publication of CN112530004B publication Critical patent/CN112530004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种三维点云重建方法、装置及电子设备，方法包括：获取目标对象的原始三维点云，原始三维点云包括第一数量个点；按照第一预设映射关系，对原始三维点云进行UV展开，得到原始UV图像；将原始UV图像输入预先训练好的图像超分模型，得到目标对象的目标超分UV图像，图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，预设训练集包括样本对象的样本低分UV图像和样本超分UV图像；按照第二预设映射关系，对目标超分UV图像进行采样，得到目标对象的超分三维点云。应用本申请实施例提供的技术方案，解决了对3D点云进行超分处理时会给显存带来灾难的问题。

Description

一种三维点云重建方法、装置及电子设备
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种三维点云重建方法、装置及电子设备。
背景技术
目前，在AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)等场景中，常常需要对人体、人脸、人手或物体等对象上贴精细纹理。
为满足上述需求，需要对3D(Dimension，维)点云进行超分处理，即将3D点云包括点的数量由少变多。目前，主要采用基于非参数化回归3D点云的网络模型，对3D点云进行超分处理。这种网络模型的复杂度随着需求的3D点云包括点的数量的增加而增加。随着需求的3D点云包括点的数量的增加，甚至会给显存带来灾难，甚至会爆显存。
申请内容
本申请实施例的目的在于提供一种三维点云重建方法、装置及电子设备，以降低超分处理的网络模型的复杂度，解决对3D点云进行超分处理时会给显存带来灾难的问题。具体技术方案如下：
第一方面，本申请实施例提供了一种三维点云重建方法，所述方法包括：
获取目标对象的原始三维点云，所述原始三维点云包括第一数量个点；
按照第一预设映射关系，对所述原始三维点云进行UV展开，得到原始UV图像，所述第一预设映射关系为包括第一数量个点的三维点云与UV图像之间的映射关系；
将所述原始UV图像输入预先训练好的图像超分模型，得到所述目标对象的目标超分UV图像，所述图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，所述预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，所述样本低分UV图像为按照所述第一预设映射关系对包括所述第一数量个点的三维点云进行展开得到的UV图像，所述样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像，所述第二预设映射关系为包括第二数量个点的三维点云与UV图像之间的映射关系，所述第一数量小于所述第二数量；
按照所述第二预设映射关系，对所述目标超分UV图像进行采样，得到所述目标对象的超分三维点云。
可选的，所述图像超分模型采用如下步骤训练得到：
获取所述预设训练集，所述预设训练集包括所述样本低分UV图像和所述样本超分UV图像；
将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像；
根据所述预测超分UV图像和所述样本超分UV图像，确定所述卷积神经网络的损失值；
若根据所述损失值确定所述卷积神经网络未收敛，则调整所述卷积神经网络的参数，并重新执行所述将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像的步骤；
若根据所述损失值确定所述卷积神经网络收敛，则结束训练，将所述卷积神经网络作为图像超分模型。
可选的，所述获取所述预设训练集的步骤，包括：
获取所述样本对象的样本低分三维点云，所述样本低分三维点云包括所述第一数量个点；对所述样本低分三维点云进行线性插值处理，得到第一样本超分三维点云，所述第一样本超分三维点云包括所述第二数量个点；将所述第一样本超分三维点云进行UV展开，得到样本低分UV图像，并基于所述第一样本超分三维点云和所述样本低分UV图像之间的对应关系，确定所述第二预设映射关系；和/或
获取三维扫描仪采集的所述样本对象的第二样本超分三维点云，所述第二样本超分三维点云包括第三数量个点，所述第三数量大于等于所述第二数量；将所述第二样本超分三维点云与所述第一样本超分三维点云进行配准，得到包括所述第二数量个点的第三样本超分三维点云；按照所述第二预设映射关系对所述第三样本超分三维点云进行UV展开，得到样本超分UV图像。
可选的，所述根据所述预测超分UV图像和所述样本超分UV图像，确定所述卷积神经网络的损失值的步骤，包括：
利用如下公式，确定所述卷积神经网络的损失值：
Figure BDA0002831081320000031
其中，Lsr表示所述卷积神经网络的损失值，IUV表示所述预测超分UV图像，
Figure BDA0002831081320000032
表示所述样本超分UV图像，fs(x,y)表示利用x对y进行采样，R表示所述第二预设映射关系。
第二方面，本申请实施例提供了一种三维点云重建装置，所述装置包括：
获取单元，用于获取目标对象的原始三维点云，所述原始三维点云包括第一数量个点；
映射单元，用于按照第一预设映射关系，对所述原始三维点云进行UV展开，得到原始UV图像，所述第一预设映射关系为包括第一数量个点的三维点云与UV图像之间的映射关系；
超分单元，用于将所述原始UV图像输入预先训练好的图像超分模型，得到所述目标对象的目标超分UV图像，所述图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，所述预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，所述样本低分UV图像为按照所述第一预设映射关系对包括所述第一数量个点的三维点云进行展开得到的UV图像，所述样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像，所述第二预设映射关系为包括第二数量个点的三维点云与UV图像之间的映射关系，所述第一数量小于所述第二数量；
采样单元，用于按照所述第二预设映射关系，对所述目标超分UV图像进行采样，得到所述目标对象的超分三维点云。
可选的，所述装置还包括训练单元，用于训练得到所述图像超分模型；所述训练单元包括：
获取子单元，用于获取所述预设训练集，所述预设训练集包括所述样本低分UV图像和所述样本超分UV图像；
预测子单元，用于将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像；
确定子单元，用于根据所述预测超分UV图像和所述样本超分UV图像，确定所述卷积神经网络的损失值；
处理子单元，用于若根据所述损失值确定所述卷积神经网络未收敛，则调整所述卷积神经网络的参数，并重新执行所述将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像的步骤；若根据所述损失值确定所述卷积神经网络收敛，则结束训练，将所述卷积神经网络作为图像超分模型。
可选的，所述获取子单元，具体用于：
获取所述样本对象的样本低分三维点云，所述样本低分三维点云包括所述第一数量个点；对所述样本低分三维点云进行线性插值处理，得到第一样本超分三维点云，所述第一样本超分三维点云包括所述第二数量个点；将所述第一样本超分三维点云进行UV展开，得到样本低分UV图像，并基于所述第一样本超分三维点云和所述样本低分UV图像之间的对应关系，确定所述第二预设映射关系；和/或
获取三维扫描仪采集的所述样本对象的第二样本超分三维点云，所述第二样本超分三维点云包括第三数量个点，所述第三数量大于等于所述第二数量；将所述第二样本超分三维点云与所述第一样本超分三维点云进行配准，得到包括所述第二数量个点的第三样本超分三维点云；按照所述第二预设映射关系对所述第三样本超分三维点云进行UV展开，得到样本超分UV图像。
可选的，所述确定子单元，具体用于：
利用如下公式，确定所述卷积神经网络的损失值：
Figure BDA0002831081320000041
其中，Lsr表示所述卷积神经网络的损失值，IUV表示所述预测超分UV图像，
Figure BDA0002831081320000042
表示所述样本超分UV图像，fs(x,y)表示利用x对y进行采样，R表示所述第二预设映射关系。
第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现任一所述的三维点云重建方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的三维点云重建方法步骤。
第五方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述任一所述的三维点云重建方法步骤。
本申请实施例有益效果：
本申请实施例提供的技术方案中，可以利用样本低分UV图像和样本超分UV图像训练卷积神经网络，得到图像超分模型。将原始三维点云转换为原始UV图像，进而由图像超分模型对原始UV图像进行超分处理，输出目标超分UV图像。本申请实施例中，图像超分模型充分学习了低分UV图像和超分UV图像的特点，因此，能够很好的将低分UV图像转换为超分UV图像，按照第二预设映射关系对超分UV图像进行采样，即可得到原始三维点云对应的超分三维点云。
本申请实施例提供的技术方案中，利用图像超分模型，将对三维点云的超分处理，转换为对UV图像的超分处理。而UV图像超分处理的网络模型的复杂度远远小于三维点云超分处理的网络模型的复杂度，解决了对3D点云进行超分处理时会给显存带来灾难的问题。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种三维点云重建方法的一种流程示意图；
图2为本申请实施例提供的图像超分模型的训练方法的一种流程示意图；
图3为本申请实施例提供的三维人手点云进行UV展开的一种示意图；
图4为本申请实施例提供的一种三维点云修复装置的一种结构示意图；
图5为本申请实施例提供的训练单元的一种结构示意图；
图6为本申请实施例提供的一种电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
SMPL模型是一种参数化人体模型，是马普所提出的一种人体建模方法，该方法可以进行任意的人体建模和动画驱动。
MANO模型是由Max Planck Perceiving System(最大普朗克感知系统)提出的一个人手参数化模型，MANO模型可以根据人手姿态的参数和人手形状的参数，生成人手的三维模型。
超分处理是指将3D人手点云包括点的数量由少变多。
UV图像中每一点的RGB值表示3D点的坐标。
目前，在AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)等场景中，常常需要对人体、人脸、人手或物体等对象上贴精细纹理。
然而，三维点云包括的点数过少。以表示人手的三维点云的MANO模型为例进行说明。MANO模型来自SMPL模型，其仅包含778个点/1538个面，因此基于MANO模型的三维点云重建方法，不能较好地重建精确人手的细节部分，故难以适用于需要在人手上贴精细纹理的场景。
不同场景对3D(Dimension，维)模型的精度要求不同，即对3D点云包括点的数量要求不同。随着需求的3D点云包括点的数量的增加，例如需求的3D点云包括点的数量过万时，现有网络模型的复杂度增大，采用现有网络模型对3D点云进行超分处理，会给显存带来灾难，甚至会爆显存。
为解决上述问题，本申请实施例提供了一种三维点云重建方法。该三维点云重建方法可以应用于服务器、PC(Personal Computer，个人电脑)、平板等运行有图像超分模型的电子设备。且该三维点云重建方法适用于AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)、移动APP(Application，应用程序)手势交互等场景。
参见图1，图1为本申请实施例提供的一种三维点云重建方法的一种流程示意图，该方法包括如下步骤：
步骤S11，获取目标对象的原始三维点云，原始三维点云包括第一数量个点；
步骤S12，按照第一预设映射关系，对原始三维点云进行UV展开，得到原始UV图像，第一预设映射关系为包括第一数量个点的三维点云与UV图像之间的映射关系；
步骤S13，将原始UV图像输入预先训练好的图像超分模型，得到目标对象的目标超分UV图像，图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，样本低分UV图像为按照第一预设映射关系对包括第一数量个点的三维点云进行展开得到的UV图像，样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像，第二预设映射关系为包括第二数量个点的三维点云与UV图像之间的映射关系，第一数量小于第二数量；
步骤S14，按照第二预设映射关系，对目标超分UV图像进行采样，得到目标对象的超分三维点云。
本申请实施例提供的技术方案中，可以利用样本低分UV图像和样本超分UV图像训练卷积神经网络，得到图像超分模型。将原始三维点云转换为原始UV图像，进而由图像超分模型对原始UV图像进行超分处理，输出目标超分UV图像。本申请实施例中，图像超分模型充分学习了低分UV图像和超分UV图像的特点，因此，能够很好的将低分UV图像转换为超分UV图像，按照第二预设映射关系对超分UV图像进行采样，即可得到原始三维点云对应的超分三维点云。
本申请实施例提供的技术方案中，利用图像超分模型，将对三维点云的超分处理，转换为对UV图像的超分处理。而UV图像超分处理的网络模型的复杂度远远小于三维点云超分处理的网络模型的复杂度，解决了对3D点云进行超分处理时会给显存带来灾难的问题。
为便于描述，下面以电子设备为执行主体进行说明，并不起限定作用。
上述步骤S11中，目标对象为需要进行超分处理的对象。目标对象可以为人体、人脸、人手或物体等对象，在进行超分处理时，电子设备获取目标对象的原始三维点云。原始三维点云包括第一数量个点。
第一数量的大小可以根据实际需求确定。例如，当对象为人手，三维点云以MANO模型体现时，第一数量可以为778个点，此时，MANO模型共1538个面。
原始三维点云可以为：电子设备通过3D扫描仪器对目标对象进行扫描，而获取到的三维点云。原始三维点云也可以为：电子设备从预设数据库中获取到的三维点云，其中，预设数据库存储采集到的三维点云。原始三维点云还可以为：电子设备对单目RGB(RedGreen Blue，红绿蓝)图像进行3D建模，而获取到的三维点云。本申请实施例对原始三维点云的获取方式不做限定。
上述步骤S12中，电子设备预先存储了包括第一数量个点的三维点云与UV图像之间的映射关系，即第一预设映射关系。电子设备按照第一预设映射关系，对目标对象的原始三维点云进行UV展开，得到UV图像，该UV图像即为原始UV图像。
上述步骤S13中，电子设备预先存储了包括第二数量个点的三维点云与UV图像之间的映射关系，即第二预设映射关系。低分UV图像为按照第一预设映射关系对三维点云进行UV展开得到的UV图像，也就是，低分UV图像包括第一数量个点。超分UV图像为按照第二预设映射关系对三维点云进行UV展开得到的UV图像，也就是，超分UV图像包括第二数量个点。
电子设备还存储了预先训练好的图像超分模型。图像超分模型的输入为低分UV图像，输出为超分UV图像。电子设备在得到原始UV图像后，将该原始UV图像输入预先训练好的图像超分模型，图像超分模型输出目标超分UV图像。
图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，样本低分UV图像为按照第一预设映射关系对包括第一数量个点的三维点云进行展开得到的UV图像，样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像。
关于图像超分模型的训练过程，下面会进行详细说明，此处不做展开介绍。
上述步骤S14中，电子设备在得到目标超分UV图像后，按照第二预设映射关系，对目标超分UV图像进行采样，得到目标对象的超分三维点云。
由于目标超分UV图像为由图像超分模型进行超分处理后得到的UV图像，对该目标超分UV图像进行采样得到的三维点云，包括更多的点，能够更为精细的显示对象的姿势，更为适用于AR/VR中的真人姿势互动。
基于上述三维点云重建方法，本申请实施例还提供了一种图像超分模型的训练方法。参见图2，图2为本申请实施例提供的图像超分模型的训练方法的一种流程示意图，该方法包括如下步骤：
步骤S21，获取预设训练集，预设训练集包括样本低分UV图像和样本超分UV图像；
步骤S22，将样本低分UV图像输入卷积神经网络，得到预测超分UV图像；
步骤S23，根据预测超分UV图像和样本超分UV图像，确定卷积神经网络的损失值；
步骤S24，根据卷积神经网络的损失值确定仿射变换网络是否收敛。若确定卷积神经网络未收敛，则执行步骤S25；若确定卷积神经网络收敛，则执行步骤S26；
步骤S25，调整卷积神经网络的参数，并重新执行步骤S22；
步骤S26，结束训练，将卷积神经网络作为图像超分模型。
本申请实施例提供了技术方案中，样本超分UV图像为对真实的超分三维点云进行UV展开得到的UV图像。利用样本超分UV图像作为标签，基于样本低分UV图像对卷积神经网络进行训练，得到图像超分模型。该图像超分模型的训练过程，以UV图像包括的点作为激励，实现了通过对稠密点云的学习，训练得到图像超分模型，提高了图像超分模型的稳定性。
此外，本申请实施例提供的技术方案中，利用图像超分模型，将对三维点云的超分处理，转换为对UV图像的超分处理，降低了图像超分模型的复杂度，提高了三维点云超分处理的效率。
上述步骤S21中，电子设备获取预设训练集。该预设训练集包括样本低分UV图像和样本超分UV图像。
在本申请的一个实施例中，电子设备中预先存储了样本低分UV图像和样本超分UV图像。在需要训练图像超分模型时，电子设备直接获取预先存储的样本低分UV图像和样本超分UV图像，作为预设训练集。
在本申请的另一个实施例中，电子设备中预先存储了样本对象的样本低分三维点云，样本低分三维点云包括第一数量个点。
在需要训练图像超分模型时，电子设备获取预先存储的样本低分三维点云，对样本低分三维点云进行线性插值处理，得到第一样本超分三维点云，该第一样本超分三维点云包括第二数量个点。
电子设备将第一样本超分三维点云进行UV展开，得到样本低分UV图像，并基于第一样本超分三维点云和样本低分UV图像之间的对应关系，确定第二预设映射关系。这样，电子设备获取到了第二预设映射关系，以及预设训练集包括的样本低分UV图像。
以三维点云为三维人手点云为例进行说明。三维人手点云以MANO模型体现。MANO模型包括778个点，共1538个面。电子设备可通过MAYA(玛雅)软件对MANO模型进行UV展开，得到UV图像，如图3所示。电子设备在MANO模型中每个三角网络的边的中间位置插点，变成4个共面的三角网络，生成包括3093个点，共6152个面，此时的差值后得到MANO模型即为第一样本超分三维点云。由于是对MANO模型的线性差值，因此，上述差值后得到MANO模型实际还是仅有1538个面。电子设备将差值前的MANO模型进行UV展开，得到第一UV图像，并记录了映射关系，即第一预设映射关系；将差值后的MANO模型进行UV展开，得到第二UV图像，并记录了映射关系，即第二预设映射关系。第二预设映射关系可以理解为，在第一预设映射关系中增添了多出的点(即3093-1538＝1555个点)的映射关系后，得到的映射关系。
在本申请的另一个实施例中，电子设备中预先存储了样本对象的样本超分三维点云，如第二样本超分三维点云，第二样本超分三维点云包括第三数量个点。第三数量大于等于第二数量。上述第二样本超分三维点云可为通过三维扫描仪采集到的高精度的三维点云。这里，所说的高精度可以理解为，三维点云包括点的数量大于等于第二数量。
在需要训练图像超分模型时，电子设备获取三维扫描仪采集的第二样本超分三维点云。电子设备将第二样本超分三维点云与第一样本超分三维点云进行配准，得到包括第二数量个点的第三样本超分三维点云；按照第二预设映射关系对第三样本超分三维点云进行UV展开，得到样本超分UV图像。这样，电子设备获取到了预设训练集包括的样本超分UV图像。
例如，第一样本超分三维点云包括3093个点。第二样本超分三维点云包括20000个点。电子设备将第二样本超分三维点云与第一样本超分三维点云进行配准，从第二样本超分三维点云中提取出3093个点，由这3093个点组成第三样本超分三维点云。电子设备按照第二预设映射关系对该第三样本超分三维点云进行UV展开，得到样本超分UV图像。
本申请实施例中，对预设训练集的获取方式不做限定。另外，为了提高训练得到的图像超分模型的稳定性，预设训练集包括的样本低分UV图像和样本超分UV图像的数量越多越好。为了提高训练得到的图像超分模型的速率，预设训练集包括的样本低分UV图像和样本超分UV图像的数量越少越好。具体的，预设训练集包括的样本低分UV图像和样本超分UV图像的数量，可以实际需求进行设定。
本申请实施例中，训练图像超分模型的样本对象与需要超分处理的目标对象的种类相同，以便于图像超分模型进行超分处理地准确性。例如，样本对象目标对象均为人手，或者，样本对象目标对象均为人体，再或者，样本对象目标对象均为人脸等。
上述步骤S22中，卷积神经网络可采用SRCNN(Convolutional Neural NetworkSuper Resolution，超分卷积神经网络)。卷积神经网络的输入为低分UV图像，输出为超分UV图像。在获取到预设训练集后，电子设备将预设训练集包括的样本低分UV图像输入卷积神经网络，卷积神经网络得到预测超分UV图像。
上述步骤S23中，电子设备根据卷积神经网络输出的预测超分UV图像，以及预设训练集包括的样本超分UV图像，确定卷积神经网络的损失值。
一个示例中，电子设备可以计算预测超分UV图像和样本超分UV图像的相似度，将相似度的倒数作为卷积神经网络的损失值。
另一个示例中，电子设备可以利用如下公式计算确定神经网络的损失值：
Figure BDA0002831081320000121
其中，Lsr表示卷积神经网络的损失值，IUV表示预测超分UV图像，
Figure BDA0002831081320000122
表示样本超分UV图像，fs(x,y)表示利用x对y进行采样，R表示第二预设映射关系。
本申请实施例中，考虑了预测超分UV图像和样本超分UV图像之间差异，也考虑了对UV图像进行采样带来的损失，有助于训练卷积神经网络时卷积神经网络的收敛，保证训练得到的图像超分模型更加稳定。
上述步骤S24中，电子设备根据卷积神经网络的损失值，确定卷积神经网络是否收敛。例如，电子设备中预先设置损失阈值，即预设损失阈值。电子设备判断计算得到的卷积神经网络的损失值是否大于预设损失阈值。若计算得到的卷积神经网络的损失值大于预设损失阈值，则电子设备可确定神经网络未收敛，执行步骤S25，调整卷积神经网络的参数，并重新执行步骤S22。若计算得到的卷积神经网络的损失值小于等于预设损失阈值，则电子设备可确定神经网络收敛，执行步骤S26，结束训练，将卷积神经网络作为图像超分模型。
上述预设损失阈值可以根据实际需求进行设定。例如，预设损失阈值可以为0.1、0.15等。
与上述三维点云重建方法对应，本申请实施例提供了一种三维点云重建装置。具体参见图4，图4为本申请实施例提供的一种三维点云重建装置的一种结构示意图，该装置包括：
获取单元41，用于获取目标对象的原始三维点云，原始三维点云包括第一数量个点；
映射单元42，用于按照第一预设映射关系，对原始三维点云进行UV展开，得到原始UV图像，第一预设映射关系为包括第一数量个点的三维点云与UV图像之间的映射关系；
超分单元43，用于将原始UV图像输入预先训练好的图像超分模型，得到目标对象的目标超分UV图像，图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，样本低分UV图像为按照第一预设映射关系对包括第一数量个点的三维点云进行展开得到的UV图像，样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像，第二预设映射关系为包括第二数量个点的三维点云与UV图像之间的映射关系，第一数量小于第二数量；
采样单元44，用于按照第二预设映射关系，对目标超分UV图像进行采样，得到目标对象的超分三维点云。
一个可选的实施例中，上述三维点云重建装置还可以包括训练单元，用于训练得到图像超分模型。如图5所示，训练单元可以包括：
获取子单元51，用于获取预设训练集，预设训练集包括样本低分UV图像和样本超分UV图像；
预测子单元52，用于将样本低分UV图像输入卷积神经网络，得到预测超分UV图像；
确定子单元53，用于根据预测超分UV图像和样本超分UV图像，确定卷积神经网络的损失值；
处理子单元54，用于若根据损失值确定卷积神经网络未收敛，则调整卷积神经网络的参数，并重新执行将样本低分UV图像输入卷积神经网络，得到预测超分UV图像的步骤；若根据损失值确定卷积神经网络收敛，则结束训练，将卷积神经网络作为图像超分模型。
一个可选的实施例中，获取子单元51，具体可以用于：
获取样本对象的样本低分三维点云，样本低分三维点云包括第一数量个点；对样本低分三维点云进行线性插值处理，得到第一样本超分三维点云，第一样本超分三维点云包括第二数量个点；将第一样本超分三点云进行UV展开，得到样本低分UV图像，并基于第一样本超分三维点云和样本低分UV图像之间的对应关系，确定第二预设映射关系；和/或
获取三维扫描仪采集的样本对象的第二样本超分三维点云，第二样本超分三维点云包括第三数量个点，第三数量大于等于第二数量；将第二样本超分三维点云与第一样本超分三维点云进行配准，得到包括第二数量个点的第三样本超分三维点云；按照第二预设映射关系对第三样本超分三维点云进行UV展开，得到样本超分UV图像。
一个可选的实施例中，确定子单元53，具体可以用于：
利用如下公式，确定卷积神经网络的损失值：
Figure BDA0002831081320000141
其中，Lsr表示卷积神经网络的损失值，IUV表示预测超分UV图像，
Figure BDA0002831081320000142
表示样本超分UV图像，fs(x,y)表示利用x对y进行采样，R表示第二预设映射关系。
本申请实施例提供的技术方案中，可以利用样本低分UV图像和样本超分UV图像训练卷积神经网络，得到图像超分模型。将原始三维点云转换为原始UV图像，进而由图像超分模型对原始UV图像进行超分处理，输出目标超分UV图像。本申请实施例中，图像超分模型充分学习了低分UV图像和超分UV图像的特点，因此，能够很好的将低分UV图像转换为超分UV图像，按照第二预设映射关系对超分UV图像进行采样，即可得到原始三维点云对应的超分三维点云。
本申请实施例提供的技术方案中，利用图像超分模型，将对三维点云的超分处理，转换为对UV图像的超分处理。而UV图像超分处理的网络模型的复杂度远远小于三维点云超分处理的网络模型的复杂度，解决了对3D点云进行超分处理时会给显存带来灾难的问题。
与上述三维点云重建方法对应，本申请实施例还提供了一种电子设备，如图6所示，包括处理器61、通信接口62、存储器63和通信总线64，其中，处理器61、通信接口62和存储器63通过通信总线64完成相互间的通信，
存储器63，用于存放计算机程序；
处理器61，用于执行存储器63上所存放的程序时，实现如下步骤：
获取目标对象的原始三维点云，原始三维点云包括第一数量个点；
按照第一预设映射关系，对原始三维点云进行UV展开，得到原始UV图像，第一预设映射关系为包括第一数量个点的三维点云与UV图像之间的映射关系；
将原始UV图像输入预先训练好的图像超分模型，得到目标对象的目标超分UV图像，图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，样本低分UV图像为按照第一预设映射关系对包括第一数量个点的三维点云进行展开得到的UV图像，样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像，第二预设映射关系为包括第二数量个点的三维点云与UV图像之间的映射关系，第一数量小于第二数量；
按照第二预设映射关系，对目标超分UV图像进行采样，得到目标对象的超分三维点云。
本申请实施例提供的技术方案中，可以利用样本低分UV图像和样本超分UV图像训练卷积神经网络，得到图像超分模型。将原始三维点云转换为原始UV图像，进而由图像超分模型对原始UV图像进行超分处理，输出目标超分UV图像。本申请实施例中，图像超分模型充分学习了低分UV图像和超分UV图像的特点，因此，能够很好的将低分UV图像转换为超分UV图像，按照第二预设映射关系对超分UV图像进行采样，即可得到原始三维点云对应的超分三维点云。
本申请实施例提供的技术方案中，利用图像超分模型，将对三维点云的超分处理，转换为对UV图像的超分处理。而UV图像超分处理的网络模型的复杂度远远小于三维点云超分处理的网络模型的复杂度，解决了对3D点云进行超分处理时会给显存带来灾难的问题。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一三维点云重建方法的步骤。
在本申请提供的又一实施例中，还提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述实施例中任一三维点云重建方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于三维点云重建装置、电子设备、计算机可读存储介质和计算机程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种三维点云重建方法，其特征在于，所述方法包括：
获取目标对象的原始三维点云，所述原始三维点云包括第一数量个点；
按照第一预设映射关系，对所述原始三维点云进行UV展开，得到原始UV图像，所述第一预设映射关系为包括第一数量个点的三维点云与UV图像之间的映射关系；
将所述原始UV图像输入预先训练好的图像超分模型，得到所述目标对象的目标超分UV图像，所述图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，所述预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，所述样本低分UV图像为按照所述第一预设映射关系对包括所述第一数量个点的三维点云进行展开得到的UV图像，所述样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像，所述第二预设映射关系为包括第二数量个点的三维点云与UV图像之间的映射关系，所述第一数量小于所述第二数量；
按照所述第二预设映射关系，对所述目标超分UV图像进行采样，得到所述目标对象的超分三维点云。
2.根据权利要求1所述的方法，其特征在于，所述图像超分模型采用如下步骤训练得到：
获取所述预设训练集，所述预设训练集包括所述样本低分UV图像和所述样本超分UV图像；
将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像；
根据所述预测超分UV图像和所述样本超分UV图像，确定所述卷积神经网络的损失值；
若根据所述损失值确定所述卷积神经网络未收敛，则调整所述卷积神经网络的参数，并重新执行所述将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像的步骤；
若根据所述损失值确定所述卷积神经网络收敛，则结束训练，将所述卷积神经网络作为图像超分模型。
3.根据权利要求2所述的方法，其特征在于，所述获取所述预设训练集的步骤，包括：
获取所述样本对象的样本低分三维点云，所述样本低分三维点云包括所述第一数量个点；对所述样本低分三维点云进行线性插值处理，得到第一样本超分三维点云，所述第一样本超分三维点云包括所述第二数量个点；将所述第一样本超分三维点云进行UV展开，得到样本超分UV图像，并基于所述第一样本超分三维点云和所述样本超分UV图像之间的对应关系，确定所述第二预设映射关系；或
获取所述样本对象的样本低分三维点云，所述样本低分三维点云包括所述第一数量个点；对所述样本低分三维点云进行线性插值处理，得到第一样本超分三维点云；获取三维扫描仪采集的所述样本对象的第二样本超分三维点云，所述第二样本超分三维点云包括第三数量个点，所述第三数量大于等于所述第二数量；将所述第二样本超分三维点云与所述第一样本超分三维点云进行配准，得到包括所述第二数量个点的第三样本超分三维点云；按照所述第二预设映射关系对所述第三样本超分三维点云进行UV展开，得到样本超分UV图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述预测超分UV图像和所述样本超分UV图像，确定所述卷积神经网络的损失值的步骤，包括：
利用如下公式，确定所述卷积神经网络的损失值：
Figure FDA0004184820080000021
其中，Lsr表示所述卷积神经网络的损失值，IUV表示所述预测超分UV图像，
Figure FDA0004184820080000022
表示所述样本超分UV图像，fs(x,y)表示利用x对y进行采样，R表示所述第二预设映射关系。
5.一种三维点云重建装置，其特征在于，所述装置包括：
获取单元，用于获取目标对象的原始三维点云，所述原始三维点云包括第一数量个点；
映射单元，用于按照第一预设映射关系，对所述原始三维点云进行UV展开，得到原始UV图像，所述第一预设映射关系为包括第一数量个点的三维点云与UV图像之间的映射关系；
超分单元，用于将所述原始UV图像输入预先训练好的图像超分模型，得到所述目标对象的目标超分UV图像，所述图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，所述预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，所述样本低分UV图像为按照所述第一预设映射关系对包括所述第一数量个点的三维点云进行展开得到的UV图像，所述样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像，所述第二预设映射关系为包括第二数量个点的三维点云与UV图像之间的映射关系，所述第一数量小于所述第二数量；
采样单元，用于按照所述第二预设映射关系，对所述目标超分UV图像进行采样，得到所述目标对象的超分三维点云。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括训练单元，用于训练得到所述图像超分模型；所述训练单元包括：
获取子单元，用于获取所述预设训练集，所述预设训练集包括所述样本低分UV图像和所述样本超分UV图像；
预测子单元，用于将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像；
确定子单元，用于根据所述预测超分UV图像和所述样本超分UV图像，确定所述卷积神经网络的损失值；
处理子单元，用于若根据所述损失值确定所述卷积神经网络未收敛，则调整所述卷积神经网络的参数，并重新执行所述将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像的步骤；若根据所述损失值确定所述卷积神经网络收敛，则结束训练，将所述卷积神经网络作为图像超分模型。
7.根据权利要求6所述的装置，其特征在于，所述获取子单元，具体用于：
获取所述样本对象的样本低分三维点云，所述样本低分三维点云包括所述第一数量个点；对所述样本低分三维点云进行线性插值处理，得到第一样本超分三维点云，所述第一样本超分三维点云包括所述第二数量个点；将所述第一样本超分三维点云进行UV展开，得到样本超分UV图像，并基于所述第一样本超分三维点云和所述样本超分UV图像之间的对应关系，确定所述第二预设映射关系；或
获取所述样本对象的样本低分三维点云，所述样本低分三维点云包括所述第一数量个点；对所述样本低分三维点云进行线性插值处理，得到第一样本超分三维点云；获取三维扫描仪采集的所述样本对象的第二样本超分三维点云，所述第二样本超分三维点云包括第三数量个点，所述第三数量大于等于所述第二数量；将所述第二样本超分三维点云与所述第一样本超分三维点云进行配准，得到包括所述第二数量个点的第三样本超分三维点云；按照所述第二预设映射关系对所述第三样本超分三维点云进行UV展开，得到样本超分UV图像。
8.根据权利要求6所述的装置，其特征在于，所述确定子单元，具体用于：
利用如下公式，确定所述卷积神经网络的损失值：
Figure FDA0004184820080000041
其中，Lsr表示所述卷积神经网络的损失值，IUV表示所述预测超分UV图像，
Figure FDA0004184820080000042
表示所述样本超分UV图像，fs(x,y)表示利用x对y进行采样，R表示所述第二预设映射关系。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法。
CN202011459848.2A 2020-12-11 2020-12-11 一种三维点云重建方法、装置及电子设备 Active CN112530004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011459848.2A CN112530004B (zh) 2020-12-11 2020-12-11 一种三维点云重建方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011459848.2A CN112530004B (zh) 2020-12-11 2020-12-11 一种三维点云重建方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112530004A CN112530004A (zh) 2021-03-19
CN112530004B true CN112530004B (zh) 2023-06-06

Family

ID=74999165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011459848.2A Active CN112530004B (zh) 2020-12-11 2020-12-11 一种三维点云重建方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112530004B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537610A (zh) * 2014-09-23 2015-04-22 中国人民解放军重庆通信学院 基于稀疏表示和uv通道处理的图像超分辨率重建方法
CN108921926A (zh) * 2018-07-02 2018-11-30 广州云从信息科技有限公司 一种基于单张图像的端到端三维人脸重建方法
WO2020007363A1 (zh) * 2018-07-06 2020-01-09 京东数字科技控股有限公司 识别目标数量的方法、装置及计算机可读存储介质
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111242845A (zh) * 2020-01-22 2020-06-05 苏州丹升智慧科技有限公司 一种3d人像重建方法、电子设备及计算机可读存储介质
CN112002014A (zh) * 2020-08-31 2020-11-27 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810782B1 (en) * 2019-04-01 2020-10-20 Snap Inc. Semantic texture mapping system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537610A (zh) * 2014-09-23 2015-04-22 中国人民解放军重庆通信学院 基于稀疏表示和uv通道处理的图像超分辨率重建方法
CN108921926A (zh) * 2018-07-02 2018-11-30 广州云从信息科技有限公司 一种基于单张图像的端到端三维人脸重建方法
WO2020007363A1 (zh) * 2018-07-06 2020-01-09 京东数字科技控股有限公司 识别目标数量的方法、装置及计算机可读存储介质
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111242845A (zh) * 2020-01-22 2020-06-05 苏州丹升智慧科技有限公司 一种3d人像重建方法、电子设备及计算机可读存储介质
CN112002014A (zh) * 2020-08-31 2020-11-27 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置

Also Published As

Publication number Publication date
CN112530004A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
JP7373554B2 (ja) クロスドメイン画像変換
WO2022089391A9 (zh) 模型训练方法、人体姿态检测方法、装置、设备及存储介质
WO2019020075A1 (zh) 图像处理方法、装置、存储介质、计算机程序和电子设备
CN107277615B (zh) 直播风格化处理方法、装置、计算设备及存储介质
WO2020114329A1 (zh) 磁共振快速参数成像方法及装置
CN113870104A (zh) 超分辨率图像重建
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
WO2019047655A1 (zh) 用于确定无人车的驾驶行为的方法和装置
CN111968165A (zh) 动态人体三维模型补全方法、装置、设备和介质
CN114549765A (zh) 三维重建方法及装置、计算机可存储介质
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
WO2023030381A1 (zh) 三维人头重建方法、装置、设备及介质
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
CN113129425A (zh) 一种人脸图像三维重建方法、存储介质及终端设备
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
CN112530004B (zh) 一种三维点云重建方法、装置及电子设备
CN112530003B (zh) 一种三维人手重建方法、装置及电子设备
CN117094362A (zh) 一种任务处理方法及相关装置
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
CN115082636B (zh) 基于混合高斯网络的单图像三维重建方法及设备
WO2023143118A1 (zh) 图像处理方法、装置、设备及介质
CN112530027A (zh) 一种三维点云修复方法、装置及电子设备
WO2022233137A1 (zh) 三维网格重建方法、装置、设备及存储介质
CN115410133A (zh) 视频密集预测方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant