CN115294275A - 三维模型的重建方法、装置及计算机可读存储介质 - Google Patents

三维模型的重建方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN115294275A
CN115294275A CN202210938748.0A CN202210938748A CN115294275A CN 115294275 A CN115294275 A CN 115294275A CN 202210938748 A CN202210938748 A CN 202210938748A CN 115294275 A CN115294275 A CN 115294275A
Authority
CN
China
Prior art keywords
dimensional model
target object
neural network
sampling
reconstructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210938748.0A
Other languages
English (en)
Inventor
邵志兢
王兆龙
孙伟
张煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Prometheus Vision Technology Co ltd
Original Assignee
Zhuhai Prometheus Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Prometheus Vision Technology Co ltd filed Critical Zhuhai Prometheus Vision Technology Co ltd
Priority to CN202210938748.0A priority Critical patent/CN115294275A/zh
Publication of CN115294275A publication Critical patent/CN115294275A/zh
Priority to US18/093,391 priority patent/US20240046557A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种三维模型的重建方法、装置及计算机可读存储介质，方法通过获取目标物体的拍摄数据，拍摄数据包括多个相机从不同位置拍摄目标物体得到的图像集合以及拍摄图像集合中每张图像时相机的相机参数，图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型；基于训练后的神经网络模型重建目标物体的三维模型。本申请提供的三维模型的重建方法，通过神经网络模型来隐式建模三维模型，可以通过对神经网络的不断迭代训练来不断修正三维模型，可以极大地提升三维模型重建的精度。

Description

三维模型的重建方法、装置及计算机可读存储介质
技术领域
本申请涉及三维重建以及人工智能技术领域，具体涉及一种三维模型的重建方法、装置及计算机可读存储介质。
背景技术
三维重建技术指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。
对体积视频进行拍摄采集到相关数据后，需要经三维重建技术在计算机中重建出物体的三维模型。目前三维重建技术多采用基于点云的泊松重建方法来实现，该方法重建得到的三维模型的准确性较差。
发明内容
本申请实施例提供一种三维模型的重建方法、装置及计算机可读存储介质，该方法可以有效提升三维模型的重建精度。
本申请第一方面提供一种三维模型的重建方法，方法包括：
获取目标物体的拍摄数据，所述拍摄数据包括多个相机从不同位置拍摄所述目标物体得到的图像集合以及拍摄所述图像集合中每张图像时相机的相机参数，所述图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；
基于所述拍摄数据训练隐式表示所述目标物体的三维模型的神经网络模型；
基于训练后的神经网络模型重建所述目标物体的三维模型。
相应的，本申请第二方面提供一种三维模型的重建装置，装置包括：
获取单元，用于获取目标物体的拍摄数据，所述拍摄数据包括多个相机从不同位置拍摄所述目标物体得到的图像集合以及拍摄所述图像集合中每张图像时相机的相机参数，所述图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；
训练单元，用于基于所述拍摄数据训练隐式表示所述目标物体的三维模型的神经网络模型；
重建单元，用于基于训练后的神经网络模型重建所述目标物体的三维模型。
在一些实施例中，训练单元，包括：
转化子单元，用于基于对应的相机参数将每一彩色图像中的像素点转化为射线；
采样子单元，用于在所述射线上采样多个采样点，并确定每一采样点的第一坐标信息以及每一采样点距离所述像素点的有向距离数值；
处理子单元，用于将采样点的坐标信息输入至隐式表示所述目标物体的三维模型的神经网络模型中，得到输出的每一采样点的预测有向距离数值以及预测颜色数值；
调整子单元，用于基于所述预测有向距离数值与所述有向距离数值之间的第一差异以及所述预测颜色数值与所述像素点的颜色数值之间的第二差异对所述神经网络模型的参数进行调整，得到训练后的神经网络模型。
在一些实施例中，转化子单元，包括：
第一确定模块，用于根据所述相机参数确定彩色图像的成像面；
第二确定模块，用于确定经过彩色图像中像素点且垂直于所述成像面的射线为像素点对应的射线。
在一些实施例中，第一确定模块，包括：
第一确定子模块，用于根据相机参数确定相机在世界坐标系中的第二坐标信息以及相机的旋转角度；
第二确定子模块，用于根据所述第二坐标信息和所述旋转角度确定彩色图像的成像面。
在一些实施例中，采样子单元，包括：
第一采样模块，用于在所述射线上等间距采样第一数量个第一采样点；
第三确定模块，用于根据第一采样点距离所述像素点的距离确定多个关键采样点；
第二采样模块，用于在所述关键采样点附近采样第二数量个第二采样点，并确定所述第一数量个第一采样点与所述第二数量个第二采样点为采样的多个采样点。
在一些实施例中，采样子单元，包括：
第四确定模块，用于根据彩色图像对应的深度图像确定像素点对应的深度值；
第一计算模块，用于基于所述深度值计算每一采样点距离所述像素点的有向距离数值；
第二计算模块，用于根据所述相机参数与所述深度值计算每一采样点的坐标信息。
在一些实施例中，重建单元，包括：
提取子单元，用于基于训练后的神经网络模型进行等值面提取，得到三维模型表面；
重建子单元，用于根据所述三维模型表面重建所述目标物体的三维模型。
本申请第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请第一方面所提供的三维模型的重建方法中的步骤。
本申请第四方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请第一方面所提供的三维模型的重建方法中的步骤。
本申请第五方面提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面所提供的三维模型的重建方法中的步骤。
本申请实施例提供的三维模型的重建方法，通过获取目标物体的拍摄数据，拍摄数据包括多个相机从不同位置拍摄目标物体得到的图像集合以及拍摄图像集合中每张图像时相机的相机参数，图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型；基于训练后的神经网络模型重建目标物体的三维模型。
以此，本申请提供的三维模型的重建方法，通过神经网络来隐式建模三维模型，可以通过对神经网络的不断迭代训练来不断修正三维模型，可以极大地提升三维模型重建的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请中三维模型的重建的一个场景示意图；
图2是本申请提供的三维模型的重建的流程示意图；
图3是本申请中三维模型的重建的另一场景示意图；
图4是本申请提供的三维模型的重建装置的结构示意图；
图5是本申请提供的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种三维模型的重建方法、装置、计算机可读存储介质及计算机设备。其中，该三维模型的重建方法可以使用于三维模型的重建装置中。该三维模型的重建装置可以集成在计算机设备中，该计算机设备可以是终端也可以是服务器。其中，终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，PersonalComputer)以及车载终端等设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，服务器可以为区块链中的节点。
请参阅图1，为本申请提供的三维模型的重建方法的一场景示意图。如图所示，服务器A从终端B中获取目标物体的拍摄数据，拍摄数据包括多个相机从不同位置拍摄目标物体得到的图像集合以及拍摄图像集合中每张图像时相机的相机参数，图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型；基于训练后的神经网络模型重建目标物体的三维模型。
需要说明的是，图1所示的三维模型的重建示意图仅仅是一个示例，本申请实施例描述的视频搜索场景是为了更加清楚地说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知，随着三维模型的重建场景演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
基于上述实施场景以下分别进行详细说明。
在相关技术中，在进行三维模型的重建时，一般采用基于点云的重建方法。即通过采集准确的深度图像，再采用深度图像生成点云，并进一步根据点云进行三维几何模型的重建。该方法使得重建的几何模型受过程精度的影响，而且由于重建流程较多会导致误差累计使得重建的几何模型精度较低。为了解决上述基于点云进行三维重建的方法的重建精度低的问题，本申请提供了一种三维模型的重建方法，以期能够提升三维模型的重建精度。
本申请实施例将从三维模型的重建装置的角度进行描述，该三维模型的重建装置可以集成在计算机设备中。其中，计算机设备可以是终端也可以是服务器。其中，终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，PersonalComputer)以及车载终端等设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。如图2所示，为本申请提供的三维模型的重建的流程示意图，该方法包括：
步骤101，获取目标物体的拍摄数据。
其中，在本申请实施例中，提供了一种三维模型的重建方法，具体可以为对体积视频的三维重建方法。其中，体积视频(Volumetric Video，又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频，体积视频将空间的概念加入到视频中，用三维模型来更好的还原三维世界，而不是以二维的平面视频加上运镜来模拟三维世界的空间感。由于体积视频实质为三维模型序列，使得用户可以随自己喜好调整到任意视角进行观看，较二维平面视频具有更高的还原度和沉浸感。
体积视频的拍摄，可以为采用多个工业相机以及深度相机对处于摄影棚中的目标物体(拍摄对象)进行多角度的同时拍摄，得到拍摄数据。即在每一个时刻，都可以拍摄到目标物体的多个角度的彩色图像以及与每一彩色图像对应的深度图像。即在拍摄时，工业相机和深度相机可以采用相机组的配置，一个工业相机配合一个深度相机对目标物体进行拍摄。
此外，在本申请实施例中，还可以进一步获取每一拍摄时刻的相机的相机参数。其中，相机参数包括相机的内外参；相机内参可以为与相机自身特性相关的参数，具体可以包括相机的焦距、像素等数据；相机外参可以为相机在世界坐标系中的参数，具体可以包括相机的位置(坐标)和相机的旋转方向等数据。相机参数可以通过标定确定，其中，在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数(内参、外参、畸变参数)的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。
步骤102，基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型。
其中，在获取到目标物体的拍摄数据，即拍摄目标物体的体积视频得到的拍摄数据，包括目标物体的不同时刻在多个视角的彩色图像以及深度图像后，便需要基于拍摄得到的拍摄数据对目标物体进行三维重建。在相关技术中，往往是基于拍摄的图像中像素点的深度信息将像素转化为体素，得到点云，然后基于点云进行三维重建。然而，如前所述，该方法的重建精度较低。在本申请实施例中，提供了一种基于神经网络模型进行三维重建的方法。具体地，可以训练一个隐式表示目标物体的三维模型的神经网络模型，然后基于该神经网络模型重建目标物体的三维模型。
其中，该神经网络模型可以为一个不包括归一化层的多层感知机(MultilayerPerceptron，MLP)。可以采用前述拍摄数据中相机参数与对应的拍摄到的彩色图像以及深度图像来对该神经网络模型进行训练。具体地，可以将相机参数中包含的内外参作为神经网络模型的输入，得到神经网络模型输出的数据进行体积渲染得到对应的深度图像与彩色图像，然后再基于神经网络模型输出的结果渲染得到的深度图像和彩色图像与该相机参数对应的实际深度图像与彩色图像之间的差异对神经网络模型的参数进行调整，即基于相机参数对应的实际深度图像与彩色图像作为模型训练的监督来对神经网络模型进行不断地迭代训练，得到训练后的神经网络模型。
其中，在一些实施例中，基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型，包括：
1、基于对应的相机参数将每一彩色图像中的像素点转化为射线；
2、在射线上采样多个采样点，并确定每一采样点的第一坐标信息以及每一采样点距离像素点的有向距离数值；
3、将采样点的坐标信息输入至隐式表示目标物体的三维模型的神经网络模型中，得到输出的每一采样点的预测有向距离数值以及预测颜色数值；
4、基于预测有向距离数值与有向距离数值之间的第一差异以及预测颜色数值与像素点的颜色数值之间的第二差异对神经网络模型的参数进行调整，得到训练后的神经网络模型。
其中，具体地，在本申请实施例中，基于相机参数和对应的彩色图像以及深度图像训练神经网楼模型的具体步骤，可以为先基于相机参数将拍摄得到的彩色图像中的像素点转化为一条射线。然后在该摄像上采样多个采样点，并确定每一采样点的坐标信息以及每一采样点距离像素点的有向距离数值。如图3所示，为采样点的采样示意图，如图所示，第一彩色图像10和第二彩色图像20为从不同角度拍摄目标物体得到的彩色图像，其中第一像素点11为第一彩色图像10中的任意像素点，第二像素点21为第二彩色图像20总的任意像素点。第一射线12为基于第一彩色图像10对应的第一相机参数生成的射线，第二射线22为基于第二彩色图像20对应的第二相机参数生成的射线。第一采样点13为在第一射线12上采样的多个采样点，第二采样点23为在第二射线22上采样的多个采样点。
其中，在采样得到多个采样点后，可以进一步确定每一采样点的坐标信息以及每一采样点距离对应像素点的有向距离数值。其中，此处有向距离数值可以为像素点的深度值与采样点距离相机成像面的距离之间的差值，该差值为有符号的值。其中，此处有向距离值也可以称为有符号的距离函数(Signed Distance Field，SDF)值，其中当采样点在目标物体内部时，则采样点的SDF值为负值，若采样点在目标物体外部，则SDF值为正值，若采样点在目标物体的表面，则SDF值为0。即此处采样点距离对应像素点的有向距离数值也表示了采样点与三维模型之间的位置关系。然后，将采样点的坐标信息输入至隐式表示目标物体的三维模型的神经网络模型中，得到神经网络模型输出的预测有向距离数值以及预测颜色数值。然后，以相机参数对应的彩色图像中该像素点的实际颜色数值和深度图像中该像素点的实际深度值为监督对神经网络模型进行迭代训练，直到神经网络模型的模型参数收敛，得到训练后的神经网络模型。
其中，在一些实施例中，基于对应的相机参数将每一彩色图像中的像素点转化为射线，包括：
1.1、根据相机参数确定彩色图像的成像面；
1.2、确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。
其中，在本申请实施例中，基于相机参数对对应的彩色图像中的像素点进行射线转化的具体方法，可以为先根据相机的内外参确定该相机拍摄的图像在世界坐标系中的坐标信息，即确定成像面。然后，可以确定经过彩色图像中像素点且垂直于该成像面的射线为该像素点对应的射线。进一步地，可以遍历该彩色图像中的每一像素点，生成每一像素点对应的射线。
在一些实施例中，根据相机参数确定彩色图像的成像面，包括：
1.1.1、根据相机参数确定相机在世界坐标系中的第二坐标信息以及相机的旋转角度；
1.1.2、根据第二坐标信息和旋转角度确定彩色图像的成像面。
其中，在本申请实施例中，根据相机参数确定彩色图像的成像面，具体可以为从相机参数中提取相机在世界坐标系中的坐标信息以及相机的旋转角度，然后便可以根据相机在世界坐标系中的坐标信息以及旋转角度等相机外参确定相机的成像面在世界坐标系中的坐标数据。
在一些实施例中，在射线上采样多个采样点，包括：
2.1、在射线上等间距采样第一数量个第一采样点；
2.2、根据像素点的深度值确定多个关键采样点；
2.3、基于关键采样点采样第二数量个第二采样点，并确定第一数量个第一采样点与第二数量个第二采样点为采样的多个采样点。
其中，在本申请实施例中，在基于像素点生成的射线中进行采样点的采样，具体可以为先在射线上均匀采样n个采样点，n为大于2的正整数，然后再根据前述像素点的深度值在重要处采样m个采样点，m为大于1的正整数。其中，重要处可以为在距离像素点的距离较近的位置，n个采样点中距离模型表面较近位置的采样点可以称为关键采样点，具体可以根据像素点的深度值确定模型表面。然后可以在关键采样点处再采样m个采样点，将采样得到的n+m个采样点作为最终的采样点。其中，在关键采样点处再多采样m个采样点，可以使得模型的训练效果在三维模型表面处更为精确，从而可以进一步提升三维模型的重建精度。
在一些实施例中，确定每一采样点的坐标信息以及每一采样点距离像素点的有向距离数值，包括：
根据彩色图像对应的深度图像确定像素点对应的深度值；
基于深度值计算每一采样点距离像素点的有向距离数值；
根据相机参数与深度值计算每一采样点的坐标信息。
其中，在本申请实施例中，在每一像素点对应的射线上采样了多个像素点后，可以根据相机外参、像素点的深度信息(从深度图像中读取)确定相机拍摄位置与像素之间的距离，然后基于该距离逐一计算每一采样点的有向距离数据以及计算出每一采样点的坐标信息。
步骤103，基于训练后的神经网络模型重建目标物体的三维模型。
其中，在对隐式表示目标物体三维模型的神经网络模型进行训练后，得到训练后的神经网络模型，即该神经网络模型可以理解为前述有符号的距离函数，即对于给定的任意一个点的坐标信息，可以由该神经网络模型确定其对应的SDF值，该SDF值可以表示该点与三维模型的位置关系(内部、外部或者表面)，那么该神经网络模型也就能隐式表征三维模型。通过对该神经网络模型的多次迭代训练，便可以得到较为准确的三维模型。即在得到训练后的神经网络模型可以重建得到较为准确的目标物体的三维模型，从而可以得到纹理更为清晰，且真实度更好的体积视频。
其中，在一些实施例中，基于训练后的神经网络模型重建目标物体的三维模型，包括：
1、基于训练后的神经网络模型进行等值面提取，得到三维模型表面；
2、根据三维模型表面重建目标物体的三维模型。
在本申请实施例中，在训练得到隐式表征三维模型的神经网络模型后，只是得到了虚拟的模型，需要进一步对神经网络模型进行等值面提取，即采用等值面提取算法(Marching cubes，MC)绘制出三维模型的表面，得到三维模型表面，进而根据三维模型表面确定目标物体的三维模型。
采用本申请提供的三维模型的重建方法，通过神经网络去隐式建模三维模型，加入深度可以提高神经网络模型训练的速度的精度，将网络学习到的三维模型重新渲染回图片进行模型的间接纠正，通过不断迭代进行三维模型的逐渐校正，从而使得三维模型更加精准。
根据上述描述可知，本申请实施例提供的三维模型的重建，通过获取目标物体的拍摄数据，拍摄数据包括多个相机从不同位置拍摄目标物体得到的图像集合以及拍摄图像集合中每张图像时相机的相机参数，图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型；基于训练后的神经网络模型重建目标物体的三维模型。本申请提供的三维模型的重建方法，通过神经网络模型来隐式建模三维模型，可以通过对神经网络的不断迭代训练来不断修正三维模型，可以极大地提升三维模型重建的精度。
为了更好地实施以上三维模型的重建方法，本申请实施例还提供一种三维模型的重建装置，该三维模型的重建装置可以集成在终端或服务器中。
例如，如图4所示，为本申请实施例提供的三维模型的重建装置的结构示意图，该三维模型的重建装置可以包括获取单元201、解析单元202、确定单元203以及生成单元204，如下：
获取单元201，用于获取目标物体的拍摄数据，拍摄数据包括多个相机从不同位置拍摄目标物体得到的图像集合以及拍摄图像集合中每张图像时相机的相机参数，图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；
训练单元202，用于基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型；
重建单元203，用于基于训练后的神经网络模型重建目标物体的三维模型。
在一些实施例中，训练单元，包括：
转化子单元，用于基于对应的相机参数将每一彩色图像中的像素点转化为射线；
采样子单元，用于在射线上采样多个采样点，并确定每一采样点的第一坐标信息以及每一采样点距离像素点的有向距离数值；
处理子单元，用于将采样点的坐标信息输入至隐式表示目标物体的三维模型的神经网络模型中，得到输出的每一采样点的预测有向距离数值以及预测颜色数值；
调整子单元，用于基于预测有向距离数值与有向距离数值之间的第一差异以及预测颜色数值与像素点的颜色数值之间的第二差异对神经网络模型的参数进行调整，得到训练后的神经网络模型。
在一些实施例中，转化子单元，包括：
第一确定模块，用于根据相机参数确定彩色图像的成像面；
第二确定模块，用于确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。
在一些实施例中，第一确定模块，包括：
第一确定子模块，用于根据相机参数确定相机在世界坐标系中的第二坐标信息以及相机的旋转角度；
第二确定子模块，用于根据第二坐标信息和旋转角度确定彩色图像的成像面。
在一些实施例中，采样子单元，包括：
第一采样模块，用于在射线上等间距采样第一数量个第一采样点；
第三确定模块，用于根据第一采样点距离像素点的距离确定多个关键采样点；
第二采样模块，用于基于关键采样点采样第二数量个第二采样点，并确定第一数量个第一采样点与第二数量个第二采样点为采样的多个采样点。
在一些实施例中，采样子单元，包括：
第四确定模块，用于根据彩色图像对应的深度图像确定像素点对应的深度值；
第一计算模块，用于基于深度值计算每一采样点距离像素点的有向距离数值；
第二计算模块，用于根据相机参数与深度值计算每一采样点的坐标信息。
在一些实施例中，重建单元，包括：
提取子单元，用于基于训练后的神经网络模型进行等值面提取，得到三维模型表面；
重建子单元，用于根据三维模型表面重建目标物体的三维模型。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
根据上述描述可知，本申请实施例提供的三维模型的重建装置，通过获取单元201获取目标物体的拍摄数据，拍摄数据包括多个相机从不同位置拍摄目标物体得到的图像集合以及拍摄图像集合中每张图像时相机的相机参数，图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；训练单元202基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型；重建单元203基于训练后的神经网络模型重建目标物体的三维模型。本申请提供的三维模型的重建方法，通过神经网络模型来隐式建模三维模型，可以通过对神经网络的不断迭代训练来不断修正三维模型，可以极大地提升三维模型重建的精度。
本申请实施例还提供一种计算机设备，该计算机设备可以为终端或服务器，如图5所示，为本申请提供的计算机设备的结构示意图。具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理单元301、一个或一个以上存储介质的存储单元302、电源模块303和输入模块304等部件。本领域技术人员可以理解，图5中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理单元301是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储单元302内的软件程序和/或模块，以及调用存储在存储单元302内的数据，执行计算机设备的各种功能和处理数据。可选的，处理单元301可包括一个或多个处理核心；优选的，处理单元301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、对象界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理单元301中。
存储单元302可用于存储软件程序以及模块，处理单元301通过运行存储在存储单元302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储单元302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能以及网页访问等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储单元302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元302还可以包括存储器控制器，以提供处理单元301对存储单元302的访问。
计算机设备还包括给各个部件供电的电源模块303，优选的，电源模块303可以通过电源管理系统与处理单元301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源模块303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入模块304，该输入模块304可用于接收输入的数字或字符信息，以及产生与对象设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理单元301会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元302中，并由处理单元301来运行存储在存储单元302中的应用程序，从而实现各种功能，如下：
获取目标物体的拍摄数据，拍摄数据包括多个相机从不同位置拍摄目标物体得到的图像集合以及拍摄图像集合中每张图像时相机的相机参数，图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型；基于训练后的神经网络模型重建目标物体的三维模型。
应当说明的是，本申请实施例提供的计算机设备与上文实施例中的方法属于同一构思，以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种方法中的步骤。例如，该指令可以执行如下步骤：
获取目标物体的拍摄数据，拍摄数据包括多个相机从不同位置拍摄目标物体得到的图像集合以及拍摄图像集合中每张图像时相机的相机参数，图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；基于拍摄数据训练隐式表示目标物体的三维模型的神经网络模型；基于训练后的神经网络模型重建目标物体的三维模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种方法中的步骤，因此，可以实现本发明实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述三维模型的重建方法中各种可选实现方式中提供的方法。
以上对本发明实施例所提供的三维模型的重建方法、装置及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种三维模型的重建方法，其特征在于，所述方法包括：
获取目标物体的拍摄数据，所述拍摄数据包括多个相机从不同位置拍摄所述目标物体得到的图像集合以及拍摄所述图像集合中每张图像时相机的相机参数，所述图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；
基于所述拍摄数据训练隐式表示所述目标物体的三维模型的神经网络模型；
基于训练后的神经网络模型重建所述目标物体的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述拍摄数据训练隐式表示所述目标物体的三维模型的神经网络模型，包括：
基于对应的相机参数将每一彩色图像中的像素点转化为射线；
在所述射线上采样多个采样点，并确定每一采样点的第一坐标信息以及每一采样点距离所述像素点的有向距离数值；
将采样点的坐标信息输入至隐式表示所述目标物体的三维模型的神经网络模型中，得到输出的每一采样点的预测有向距离数值以及预测颜色数值；
基于所述预测有向距离数值与所述有向距离数值之间的第一差异以及所述预测颜色数值与所述像素点的颜色数值之间的第二差异对所述神经网络模型的参数进行调整，得到训练后的神经网络模型。
3.根据权利要求2所述的方法，其特征在于，所述基于对应的相机参数将每一彩色图像中的像素点转化为射线，包括：
根据所述相机参数确定彩色图像的成像面；
确定经过彩色图像中像素点且垂直于所述成像面的射线为像素点对应的射线。
4.根据权利要求3所述的方法，其特征在于，所述根据所述相机参数确定彩色图像的成像面，包括：
根据相机参数确定相机在世界坐标系中的第二坐标信息以及相机的旋转角度；
根据所述第二坐标信息和所述旋转角度确定彩色图像的成像面。
5.根据权利要求2所述的方法，其特征在于，所述在所述射线上采样多个采样点，包括：
在所述射线上等间距采样第一数量个第一采样点；
根据所述像素点的深度值确定多个关键采样点；
基于所述关键采样点采样第二数量个第二采样点，并确定所述第一数量个第一采样点与所述第二数量个第二采样点为采样的多个采样点。
6.根据权利要求2所述的方法，其特征在于，所述确定每一采样点的坐标信息以及每一采样点距离所述像素点的有向距离数值，包括：
根据彩色图像对应的深度图像确定像素点对应的深度值；
基于所述深度值计算每一采样点距离所述像素点的有向距离数值；
根据所述相机参数与所述深度值计算每一采样点的坐标信息。
7.根据权利要求1所述的方法，其特征在于，所述基于训练后的神经网络模型重建所述目标物体的三维模型，包括：
基于训练后的神经网络模型进行等值面提取，得到三维模型表面；
根据所述三维模型表面重建所述目标物体的三维模型。
8.一种三维模型的重建装置，其特征在于，所述装置包括：
获取单元，用于获取目标物体的拍摄数据，所述拍摄数据包括多个相机从不同位置拍摄所述目标物体得到的图像集合以及拍摄所述图像集合中每张图像时相机的相机参数，所述图像集合包括多张彩色图像以及与每一彩色图像对应的深度图像；
训练单元，用于基于所述拍摄数据训练隐式表示所述目标物体的三维模型的神经网络模型；
重建单元，用于基于训练后的神经网络模型重建所述目标物体的三维模型。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7中任一项所述的三维模型的重建方法中的步骤。
10.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的三维模型的重建方法中的步骤。
11.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述的三维模型的重建方法中的步骤。
CN202210938748.0A 2022-08-05 2022-08-05 三维模型的重建方法、装置及计算机可读存储介质 Pending CN115294275A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210938748.0A CN115294275A (zh) 2022-08-05 2022-08-05 三维模型的重建方法、装置及计算机可读存储介质
US18/093,391 US20240046557A1 (en) 2022-08-05 2023-01-05 Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210938748.0A CN115294275A (zh) 2022-08-05 2022-08-05 三维模型的重建方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115294275A true CN115294275A (zh) 2022-11-04

Family

ID=83827429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210938748.0A Pending CN115294275A (zh) 2022-08-05 2022-08-05 三维模型的重建方法、装置及计算机可读存储介质

Country Status (2)

Country Link
US (1) US20240046557A1 (zh)
CN (1) CN115294275A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601511A (zh) * 2022-12-14 2023-01-13 深圳思谋信息科技有限公司（Cn） 三维重建方法、装置、计算机设备及计算机可读存储介质
CN115880435A (zh) * 2022-12-21 2023-03-31 北京百度网讯科技有限公司 图像重建方法、模型训练方法、装置、电子设备和介质
CN116628800A (zh) * 2023-05-09 2023-08-22 海南华筑国际工程设计咨询管理有限公司 一种基于bim的建筑设计系统
CN116721104A (zh) * 2023-08-10 2023-09-08 武汉大学 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN116740158A (zh) * 2023-08-14 2023-09-12 小米汽车科技有限公司 图像深度确定方法、装置和存储介质
CN117351406A (zh) * 2023-12-06 2024-01-05 武汉蓝海科创技术有限公司 基于图像识别技术的专家远程视觉辅助赋能系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601511A (zh) * 2022-12-14 2023-01-13 深圳思谋信息科技有限公司（Cn） 三维重建方法、装置、计算机设备及计算机可读存储介质
CN115601511B (zh) * 2022-12-14 2023-03-14 深圳思谋信息科技有限公司 三维重建方法、装置、计算机设备及计算机可读存储介质
CN115880435A (zh) * 2022-12-21 2023-03-31 北京百度网讯科技有限公司 图像重建方法、模型训练方法、装置、电子设备和介质
CN115880435B (zh) * 2022-12-21 2023-10-10 北京百度网讯科技有限公司 图像重建方法、模型训练方法、装置、电子设备和介质
CN116628800A (zh) * 2023-05-09 2023-08-22 海南华筑国际工程设计咨询管理有限公司 一种基于bim的建筑设计系统
CN116721104A (zh) * 2023-08-10 2023-09-08 武汉大学 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN116721104B (zh) * 2023-08-10 2023-11-07 武汉大学 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN116740158A (zh) * 2023-08-14 2023-09-12 小米汽车科技有限公司 图像深度确定方法、装置和存储介质
CN116740158B (zh) * 2023-08-14 2023-12-05 小米汽车科技有限公司 图像深度确定方法、装置和存储介质
CN117351406A (zh) * 2023-12-06 2024-01-05 武汉蓝海科创技术有限公司 基于图像识别技术的专家远程视觉辅助赋能系统

Also Published As

Publication number Publication date
US20240046557A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
CN115294275A (zh) 三维模型的重建方法、装置及计算机可读存储介质
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
US10154246B2 (en) Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN110807833B (zh) 一种网状拓扑获得方法、装置、电子设备及存储介质
CN109754464B (zh) 用于生成信息的方法和装置
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN111612898B (zh) 图像处理方法、装置、存储介质及电子设备
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN113766117B (zh) 一种视频去抖动方法和装置
CN113034582A (zh) 位姿优化装置及方法、电子设备及计算机可读存储介质
CN111862278A (zh) 一种动画获得方法、装置、电子设备及存储介质
CN109816791B (zh) 用于生成信息的方法和装置
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
CN115546408A (zh) 模型简化方法、装置、存储介质、电子设备及产品
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质
CN111314627B (zh) 用于处理视频帧的方法和装置
CN113743283A (zh) 网状拓扑结构获取方法、装置、电子设备及存储介质
CN115830227A (zh) 三维建模方法、装置、存储介质、电子设备及产品
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置
CN116309538B (zh) 绘图考试评定方法、装置、计算机设备及存储介质
CN115497029A (zh) 视频处理方法、装置及计算机可读存储介质
CN115442634A (zh) 图像压缩方法、装置、存储介质、电子设备及产品
CN117036435A (zh) 深度图像生成方法、装置、计算机设备、存储介质和产品
CN116310245A (zh) 体积视频上挂载道具的方法、装置、介质、设备及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination