CN115115805A - 三维重建模型的训练方法、装置、设备及存储介质 - Google Patents

三维重建模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115115805A
CN115115805A CN202210869094.0A CN202210869094A CN115115805A CN 115115805 A CN115115805 A CN 115115805A CN 202210869094 A CN202210869094 A CN 202210869094A CN 115115805 A CN115115805 A CN 115115805A
Authority
CN
China
Prior art keywords
dimensional reconstruction
training
dimensional
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210869094.0A
Other languages
English (en)
Inventor
熊张洋
康頔
者雪飞
暴林超
韩晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Chinese University of Hong Kong Shenzhen
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Chinese University of Hong Kong Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd, Chinese University of Hong Kong Shenzhen filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN202210869094.0A priority Critical patent/CN115115805A/zh
Publication of CN115115805A publication Critical patent/CN115115805A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种三维重建模型的训练方法、装置、设备及存储介质，涉及人工智能技术领域。该方法包括：获取多个训练图像以及各个训练图像对应的三维重建标签；其中，多个训练图像包括至少一个真实训练图像和至少一个合成训练图像，真实训练图像是指对真实的目标对象进行拍摄得到的图像，合成训练图像是指根据合成的目标对象的三维模型生成的图像；通过三维重建模型根据训练图像，得到训练图像对应的三维重建信息，三维重建信息用于确定训练图像中的目标对象在三维空间中的三维几何构型；根据训练图像对应的三维重建信息和三维重建标签，对三维重建模型进行训练。通过真实图像和合成图像进行训练，有助于提高三维重建模型的泛化性和保真性。

Description

三维重建模型的训练方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能技术领域，特别涉及一种三维重建模型的训练方法、装置、设备及存储介质。
背景技术
通过从目标对象的二维图像获取与三维空间有关的信息，并生成目标对象对应的三维几何构型，有助于缩短三维几何构型的创建时间。
在相关技术中，可以通过三维重建模型得到图像中的目标对象对应的三维几何构型。在三维重建模型投入使用之前，需要对三维重建模型进行训练。一般是利用带真实标签的合成图像对三维重建模型进行训练，也即将模型的输出结果与合成图像的真实标签进行全监督的训练学习。
然而，使用这种方法对三维重建模型进行训练，由于受到训练图像过于单一等方面的限制，训练得到的三维重建模型在实际使用中的泛化性不足，保真性较差。
发明内容
本申请实施例提供了一种三维重建模型的训练方法、装置、设备及存储介质。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种三维重建模型方法，所述方法包括：
获取多个训练图像以及各个所述训练图像对应的三维重建标签；其中，所述多个训练图像包括至少一个真实训练图像和至少一个合成训练图像，所述真实训练图像是指对真实的目标对象进行拍摄得到的图像，所述合成训练图像是指根据合成的目标对象的三维模型生成的图像；
通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的三维重建信息，所述三维重建信息用于确定所述训练图像中的目标对象在三维空间中的三维几何构型；
根据所述训练图像对应的三维重建信息和三维重建标签，对所述三维重建模型进行训练。
根据本申请实施例的一个方面，提供了一种三维重建模型的训练装置，所述装置包括：
图像获取模块，用于获取多个训练图像以及各个所述训练图像对应的三维重建标签；其中，所述多个训练图像包括至少一个真实训练图像和至少一个合成训练图像，所述真实训练图像是指对真实的目标对象进行拍摄得到的图像，所述合成训练图像是指根据合成的目标对象的三维模型生成的图像；
信息生成模块，用于通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的三维重建信息，所述三维重建信息用于确定所述训练图像中的目标对象在三维空间中的三维几何构型；
模型训练模块，用于根据所述训练图像对应的三维重建信息和三维重建标签，对所述三维重建模型进行训练。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端设备执行上述方法。
本申请实施例提供的技术方案可以包括如下有益效果：
使用真实训练图像生成三维重建标识并与合成训练图像对三维重建模型进行半监督学习，一方面，由于真实训练图像能够提供更加丰富的图像细节，同时真实训练图像获取方便，将真实训练图像加入到模型的训练中，提升网络模型的泛化性，重建出高保真的三维几何构型。另一方面，由于真实训练图像对应的三维重建标签是通过预测得到的，而合成训练图像对应的三维重建标签是确定的，通过将真实训练图像和合成训练图像混合对三维重建模型进行训练，有助于克服两种训练样本各自的缺陷，提高训练完成的三维重建模型的重建性能。
附图说明
图1是本申请一个实施例提供的方案实施环境的示意图；
图2是本申请一个实施例提供的三维重建模型的应用场景的示意图；
图3是本申请一个实施例提供的三维重建模型的训练方法的流程图；
图4是本申请的一个示例性实施例提供的三维重建模型训练方法的示意图；
图5是本申请的一个示例性实施例提供的三维重建标签生成过程的示意图；
图6是本申请的一个示例性实施例提供的三维重建模型训练过程的示意图；
图7是本申请一个实施例提供的训练结果的示意图；
图8是本申请一个实施例提供的训练结果的示意图；
图9是本申请一个实施例提供的三维重建模型的训练装置的框图；
图10是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能穿戴设备、虚拟助理、智能营销、智能医疗、智能创建3D模型等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉等技术，具体通过如下实施例进行说明。
在介绍本申请实施例之前，为了便于理解本方案，对本方案中出现的名词作以下解释。
合成数据：本申请实施例中所述的合成数据可以认为不是基于真实存在的物体而获得的数据，是模拟真实世界的假数据。在可能的场景中，例如采集真实数据会比较危险的情况下，可以采用合成数据来训练模型，这样危险会相对降低很多。
真实数据：本申请实施例中所述的真实数据可以理解为基于真实存在的物体而获得的数据，例如给眼前的人拍张照片，则拍出来的这张照片可以认为是真实数据。
真实标签(Ground Truth Labeling)：标注数据的标签，根据合成数据渲染出来的标签。
伪标签(Pseudo Labeling)：指不是真正由人标记出来的标签，比如，可以是另一个训练好的模型预测的结果，作为训练时的监督信号使用。
正交投影变换：用一个长方体来取景，并把场景投影到这个长方体的前面。这个投影不会有透视收缩效果(远些的物体在图像平面上要小一些)，因为它保证平行线在变换后仍然保持平行，也就使得物体之间的相对距离在变换后保持不变。简单的说，正交投影变换忽略物体远近时的大小缩放变化，将物体以原比例投影到截面(如显示屏幕)上，实现这样效果的照相机叫做正交投影照相机，也称正交照相机。
透视投影变换：跟正交投影一样，也是把一个空间体(指的是以投影中心为顶点的透视四棱锥)投影到一个二维图像平面上。然而，它却有透视收缩效果：远些的物体在图像平面上的投影比近处相同大小的物体的投影要小一些。跟正交投影不同的是，透视投影并不保持距离和角度的相对大小不变，所以平行线的投影并不一定是平行的了。换言之，透视投影变换能够实现一个物体在玩家近距离比较大，远距离比较小，那么实现这样的效果的照相机就叫做远景照相机。远景照相机常用来开发三维游戏，它的工作原理是根据照相机和物体之间的距离缩放投影的比例(也就是截面的大小)。透视投影跟人的眼睛或相机镜头产生三维世界的图像的原理还是很接近的。两种投影法的本质区别在于透视投影的投影中心到投影面之间的距离是有限的，而平行投影的投影中心到投影面之间的距离是无限的。
深度图像(Depth Image)：也被称为距离影像(Range Image)，是指从图像采集器到场景中各点的距离(深度)作为像素的值，其直接反映了景物可见表面的几何形状。深度图像经过坐标转换可计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。深度图像中每一个像素点代表的是在深度感应器的视野中，该特定的对象在坐标处到离摄像头平面最近的部分对象到该平面的距离。
体素(Volume)：是体积元素(Volume Pixel)的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。一如其名，是数字数据于三维空间分割上的最小单位，体素用于三维成像、科学数据与医学影像等领域。概念上类似二维空间的最小单位——像素，像素用在二维计算机图像的影像数据上。有些真正的三维显示器运用体素来描述它们的分辨率，举例来说：可以显示512×512×512体素的显示器。
特征体素(Feature Volume)：与特征向量(Feature Vector)类似，三维空间中的每一个格子(即体素)，都有自己对应的特征向量。在本申请实施例中，特征向量是通过深度神经网络获得的。
多层感知机(Multilayer Perceptron，简称MLP)：是一种前向结构的人工神经网络，把一组输入向量映射到一组输出向量。
有向距离场：用于度量空间中集合Ω的有符号距离函数(或有向距离函数)确定给定点x与Ω边界的距离，其符号取决于x是否在Ω中。该函数在Ω内的点x处具有正值，随着x接近Ω的边界(符号距离函数为零)它的值减小，并且它在Ω之外取负值。
有向截断距离场(Truncated Signed Distance Function，简称TSDF)：截断的有向距离场，与有向距离场相比，该函数存在最大和最小值，当函数值超过或者小于某一特定值，该函数值将被替换。
三维几何构型：也可称为三维人体几何、三维人体网格。不带有纹理的三维人体模型，仅包含人体表面的几何信息，由点和三角网格表示人体曲面的几何拓扑信息。
请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括：终端设备10和服务器20。
终端设备10包括但不限于手机、平板电脑、智能语音交互设备、游戏主机、可穿戴设备、多媒体播放设备、PC(Personal Computer，个人计算机)、车载终端、智能家电等电子设备。终端设备10中可以安装目标应用程序的客户端。
在本申请实施例中，上述目标应用程序可以是任何能够提供图像处理功能的应用程序。典型地，该应用程序为图像处理应用程序。当然，除了图像处理类应用程序之外，其它类型的应用程序中也可以提供图像处理服务，例如，新闻类应用程序、购物类应用程序、社交类应用程序、互动娱乐类应用程序、浏览器应用程序、购物类应用程序、内容分享类应用程序、虚拟现实(Virtual Reality，VR)类应用程序、增强现实(Augmented Reality，AR)类应用程序等，本申请实施例对此不作限定。另外，对于不同的应用程序来说，其处理的图片类型可以不同，且相应的功能也会有所不同，这都可以根据实际需求预先进行配置，本申请实施例对此不作限定。可选地，终端设备10中运行上述应用程序的客户端。
服务器20用于为终端设备10中的目标应用程序的客户端提供后台服务。例如，服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。
服务器20至少具有数据接收和处理能力，使得终端设备10和服务器20之间可通过网络进行互相通信。该网络可以是有线网络，也可以是无线网络。服务器20接收终端设备10发送的待处理图像，并对待处理图像进行处理，得到图像中的对应的三维几何构型。
在一些实施例中，在使用三维重建模型生成图像对应的三维几何构型之前，需要对三维重建模型进行训练、本申请实施例提供的方法，各步骤的执行主体可以是计算机设备。计算机设备可以是任何具备数据的存储和处理能力的电子设备。例如，计算机设备可以是图2中的服务器20，可以是图2中的终端设备10，也可以是除终端设备10和服务器20以外的另一设备。
请参考图2，其示出了本申请一个实施例提供的三维重建模型的应用场景的示意图。
如图2所示，使用摄像头或相机拍摄真实的人体图像，利用本方法训练出来的模型快速高效地重建出高保真且带有衣物的三维人体几何。重建出来的三维人体几何有以下潜在的应用场景：元宇宙数字人的一键生成、虚拟衣服重建、一键换装和影视与动漫制作等等。
在3D影视与动漫制作过程中，需要建模师从无到有的构建3D人体模型，其中制作3D人体模型周期较长，成本也相应较高。根据本申请实施例提供的技术方案，仅需要简单的拍摄一张人体图像，就可以快速的得到3D人体几何，后续建模师仅需要对人体几何稍作调整，就可以得到高质量的3D人体模型，大大缩短了制作周期。随着相关技术的发展，许多大型3D游戏里面画质已逐渐接近于真实世界，该方法能够重建出高保真的三维人体几何，增加了将现实生活中的用户投影到虚拟的游戏世界中的可行性。
本申请实施例中，通过真实数据和合成数据混合对三维重建模型进行训练，一方面有助于克服仅仅通过合成数据对三维重建模型进行训练导致的三维重建模型的拟合性较差。另一方面，在对三维重建模型的训练过程中，还会使用合成数据，由于合成数据能够较为准确的标签数据，因此，使用真实数据和混合数据共同对三维重建模型进行训练，有助于提升通过训练后的三维重建模型得到三维人体几何的准确性。
在一些实施例中，是目标对象是穿着裙子的女人，倘若仅使用合成数据来模拟该女人的图像，则在裙摆的褶皱等多个细节方面是表征不足的，因为模拟人体和真实人体在细节上依然存在着出入，因此本申请实施例中，采用相机拍摄的真实数据，来获取三维人体网格，考虑到真实数据可以囊括无法被用合成数据表征的物体，同时真实数据可以更精准的表征目标对象，所说经过真实数据训练的网络模型(指本申请实施例中三维重建模型)，其泛化性、准确性都相对更好，经过网络模型得到的三维人体网格，其在细节方面相比于用合成数据训练的其他网络模型定然是更胜一筹的。
请参考图3，其示出了本申请一个实施例提供的三维重建模型的训练方法的流程图。该方法各步骤的执行主体可以是图1所示方案实施环境中的终端设备10，如各步骤的执行主体可以是目标应用程序的客户端，也可以是图1所示方案实施环境中的服务器20。在下文方法实施例中，为了便于描述，仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤(310-330)中的至少一个步骤：
步骤310，获取多个训练图像以及各个训练图像对应的三维重建标签；其中，多个训练图像包括至少一个真实训练图像和至少一个合成训练图像，真实训练图像是指对真实的目标对象进行拍摄得到的图像，合成训练图像是指根据合成的目标对象的三维模型生成的图像。
在一些实施例中，训练图像用于对三维重建模型进行训练，使得训练后的三维重建模型能够从图像中获得比较准确的三维几何结构。
在一些实施例中，训练图像的三维重建标签用于表征训练图像中的目标对象在三维空间中的几何构型的表面信息。通过三维重建标签能够评估训练过程中的三维重建模型的输出内容的偏差，以便对三维重建模型中的参数进行调整。
目标对象是真实世界中的任何物体，包括但不限于以下至少之一：人体、人脸、动物、景物、虚拟角色等。
在一些实施例中，不同训练图像中的目标对象不完全相同，不同的目标对象在三维空间中的几何构型不完全相同，因此具有不同目标对象的训练图像分别对应的三维重建标签之间存在差别。在一些实施例中，三维重建标签的获取方法与训练图像的类型有关。
在一些实施例中，真实训练图像是指通过拍摄手段得到的图像。例如，对现实环境中的人物进行拍摄得到真实训练图像，此时也可以称为真实人物图像。在一些实施例中，计算机设备可以通过外部输入获取真实训练图像，也可以通过下载服务器中存储图像作为真实训练图像。
在一些实施例中，不同的真实训练图像是通过不同的相机或者不同的相机参数拍摄得到的。使用不同拍摄手段得到的真实训练图像参与三维重建模型的训练过程中，有助于提高训练后的三维重建模型对不同拍摄角度的图像进行处理的能力，有助于提高训练后的三维重建模型的泛化性。
在一些实施例中，真实训练图像对应的三维重建标签对真实训练图像进行处理得到的。在一些实施例中，真实训练图像对应的三维重建标签是通过训练后的深度学习模型得到的，因为通过深度虚拟模型后的三维重建标签和真实训练图像中目标对象在三维空间中的表面存在差别。因此，真实训练图像对应的三维重建标签只能近似表征目标对象的三维几何构型。在一些实施例中，真实训练图像对应的三维重建标签称为伪标签。
真实训练图像对应的三维重建标签可以由计算机设备生成，例如，在计算机设备获取到真实训练图像之后，对真实练图像进行处理，得到真实训练图像对应的三维重建标签。有关该过程的具体内容，请参考下文实施例。通过上述方法在模型训练过程中，选择任意真实训练图像进行训练，有助于提升模型训练方法的完备性。
真实训练图像对应的三维重建标签也可以由其他设备生成。例如，其他设备对一个批次的真实训练图像进行处理，得到各个真实训练图像对应的三维重建标签，并将真实训练图像和对应的三维重建标签发送给计算机设备。通过上述方法有助减少计算机设备在模型训练过程中的计算步骤，加快对三维重建模型的训练速度。需要说明的是，生成真实训练图像的三维重建标签的执行主体，以及三维重建标签的生成时间根据实际情况确定，本申请在此不进行限定。
在一些实施例中，合成训练图像是指通过虚拟合成方法生成的图像。在一些实施例中，通过生成虚拟人体网格，并对虚拟人体网格进行渲染处理，可以得到合成训练图像。在一些上述中，合成训练图像对应的三维重建标签可以通过虚拟人体网格计算获得，有关该过程的具体内容请参考下文实施例中。在一些实施例中，合成训练图像对应的三维重建标签可以称为真实标签。
在一些实施例中，计算机设备通过合成图像生成设备获得合成训练图像以及合成训练图像对应的三维重建标签；其中，合成图像生成设备可以是计算机设备，也可以是其他设备。
步骤320，通过三维重建模型根据训练图像，得到训练图像对应的三维重建信息，三维重建信息用于确定训练图像中的目标对象在三维空间中的三维几何构型。
在一些实施例中，三维重建信息是指在三维空间中的信息，三维重建信息用于确定目标对象在三维空间中的三维几何构型。具体地，三维重建信息是三维重建模型预估的，目标对象在三维空间中表面(或者称为临界面)的分布情况。
可选地，三维重建信息包括三维空间中的点的坐标信息以及点到对象表面的距离信息，根据该距离信息，可以进一步确定目标对象在三维空间中的三维几何构型。在一些实施例中，计算机设备通过等值面提取算法，根据三维重建信息，提取出目标对象的表面，进而确定出三维几何构型。
在一些实施例中，三维重建信息和训练图像对应的三维重建标签具有相同的表示方式。例如三维重建信息和三维重建标签的表示方式包括但不限于以下至少之一，占用场、有向距离场、有向截断距离场中的形式表示。例如，三维重建信息和三维重建标签均采用占用场形式表示，又例如，三维重建信息和三维重建标签采用有向截断距离场形式表示。
在一些实施例中，三维重建模型能够根据训练图像中的二维信息估计目标对象在三维空间中的几何构型的表面信息。有关三维重建模型估计训练图像得到对应的三维重建信息的具体过程，请参考下文实施例。
步骤330，根据训练图像对应的三维重建信息和三维重建标签，对三维重建模型进行训练。
在一些实施例中，在生成训练图像对应的三维重建信息之后，通过计算训练图像对应的三维重建信息和三维重建标签之间的差别，对三维重建模型中的参数进行调整。在一些实施例中，计算机设备通过正则化约束尽量不断减小训练过程中得到的三维重建信息和对应的三维重建标签之间的差距。
在一些实施例中，在三维重建信息和三维重建标签之间的差距满足预设条件的情况下，完成对三维重建模型的训练过程。
在一些实施例中，计算机设备按照训练批次，对三维重建模型进行训练。在一些训练批次中，计算机设备选择将至少一个训练图像输入到三维重建模型中，并得到上述至少一个训练图像分别对应的三维重建信息。在一些实施例中，上述至少一个训练图像均为真实训练图像。在另一些实施例中，上述至少一个训练图像均为合成训练图像。在另一些实施例中，上述至少一个训练图像既包括真实训练图像和合成训练图像。有关该过程的具体内容请参考下文实施例。
图4是本申请的一个示例性实施例提供的三维重建模型的训练方法的示意图。计算机设备使用合成训练图像和真实训练图像混合对三维重建模型进行训练。在对三维重建模型进行训练之前，计算机设备获取至少一个训练图像以及训练图像分别对应的训练标签。例如，计算机设备可以同时获取不同类型的训练数据，也可以先后获取不同类型的训练数据，本申请对此不进行限定。在对三维重建模型进行训练的过程，计算机设备将至少一个训练图像输入三维重建模型，三维重建模型对训练图像进行处理，得到训练图像对应的三维重建信息。通过训练图像对应的三维重建信息和三维重建标签确定模型的训练损失，并通过模型的训练损失对三维重建模型进行调整。在训练图像对应的三维重建信息和三维重建标签满足训练条件的情况下，得到训练完成的三维重建模型。
在一些实施例中，完成训练的所述三维重建模型用于以下至少之一：根据人体的真实彩色图像，在三维虚拟场景中生成人体的三维几何构型；根据数字人的真实彩色图像，在三维虚拟场景中生成数字人的三维几何构型；根据衣服的真实彩色图像，在三维虚拟场景中生成衣服的三维几何构型；根据人脸的真实彩色图像，在三维虚拟场景中生成人脸的三维几何构型。
在一些实施例中，例如是人体仿真游戏中，需要将真实的人体投影在虚拟环境中，因此可以先对真实世界中的人体进行拍照，在对真实世界的人体拍照并且获取人体的深度图像之后，可以根据深度图像通过三维重建模型，生成人体的三维几何构型，也即在虚拟环境中生成和真实人体对应的人体的三维几何构型，使得用户的游戏体验感也能更好。
在一些实施例中，例如是元宇宙数字人场景，需要生成多个数字人，同样的可以根据数字人的真实图像，来对应的在虚拟场景中通过三维重建模型生成数字人的几何构型。
在一些实施例中，例如是更换服装等场景下，可以根据衣服的真实彩色图像，通过三维重建模型，生成衣服的三维几何构型，不同的衣服对应不同的三维几何构型，因此可以实现衣服的更换。
在一些实施例中，例如人工智能换脸技术中，也可以用真实人脸通过三维重建模型，获取人脸的三维几何构型，再应用到需要换脸的地方。
本申请实施例训练的三维重建模型，可以适用较多场景，将真实的目标对象，通过三维重建模型，可以生成目标对象对应的三维几何构型，可以广泛应用于游戏、动漫制作等多种场景，不仅可以提高生成的几何构型的精细程度，还可以提高用户的体验感。
综上所述，通过本申请提供的技术方案，使用真实训练图像生成三维重建标识并与合成训练图像对三维重建模型进行半监督学习，一方面，由于真实训练图像能够提供更加丰富的图像细节，同时真实训练图像获取方便，将真实训练图像加入到模型的训练中，提升网络模型的泛化性，重建出高保真的三维几何构型。另一方面，由于真实训练图像对应的三维重建标签是通过预测得到的，而合成训练图像对应的三维重建标签是确定的，通过将真实训练图像和合成训练图像混合对三维重建模型进行训练，有助于克服两种训练样本各自的缺陷，提高训练完成的三维重建模型的重建性能。
下面通过几个实施例中，对三维重建模型的训练过程进行介绍说明。
在一些实施例中，计算机设备根据训练图像对应的三维重建信息和三维重建标签，对三维重建模型进行训练，包括：计算机设备根据真实训练图像对应的三维重建信息和三维重建标签，计算得到第一训练损失，第一训练损失用于指示真实训练图像对应的三维重建信息和三维重建标签之间的差异度；计算机设备根据合成训练图像对应的三维重建信息和三维重建标签，计算得到第二训练损失，第二训练损失用于指示合成训练图像对应的三维重建信息和三维重建标签之间的差异度；计算机设备根据第一训练损失和第二训练损失，对三维重建模型的参数进行调整。
在一些实施例中，第一训练损失和第二训练损失的计算方法相似。在一些实施例中，第一训练损失和第二训练损失都可以称为训练损失，用于表示训练凸显的三维重建信息和三维重建标签之间的差异。
在一些实施例中，在一些实施例中，计算机设备根据训练图像对应的三维重建信息和三维重建标签，确定训练损失。可选地，在一些实施例中，计算机设备根据训练图像对应的三维重建信息和三维重建标签之间的均方误差或差的绝对值，来确定模型的训练损失。
在一些实施例中，利用正则化来约束训练图像对应的三维重建信息和三维重建标签。使用正则化来约束训练图像对应的三维重建信息和三维重建标签，可以有效提高泛化能力，同时防止过拟合。
在一些实施例中，计算机设备对训练图像对应的三维重建信息和三维重建标签进行正则化处理，确定训练损失。在一些实施例中，正则化处理包括但不限于：使用L1范数的正则化方法或者L2范数的正则化方法。L1正则化和L2正则化可以看作是损失函数的惩罚项。所谓惩罚是指对损失函数中的某些参数做一些限制。具体的L1范数的正则化方法或者L2范数的正则化方法，本申请在此不作赘述。基于本申请实施例提供的技术方案，L2范数的正则化方法对模型训练的结果略胜于L1范数的正则化方法对模型训练的结果。使用L1，L2范数计算模型损失，有助于加快模型的训练速度，提高三维重建模型达到收敛状态的耗时。
需要说明的是，本申请对于确定训练损失的函数不作限定，对于根据损失调整模型参数的方法不作限定。
在一些实施例中，计算机设备根据第一训练损失和第二训练损失，对三维重建模型的参数进行调整，包括：计算机设备对第一训练损失和第二训练损失进行加权求和，得到总训练损失；根据总训练损失对三维重建模型的参数进行调整。
在一些实施例中，由于真实训练图像和合成训练图像具有不同的图像特点。例如，真实训练图像的类型更多，更容易获得，真实训练图像中目标对象的细节更加丰富，例如，在目标对象为人物的情况下，通过拍摄得到的真实训练图像中，目标对象的服装的纹理细节更加真实。而合成训练图像中目标对象的细节可能较少，合成训练图像对应的三维重建标签通过计算得到的，因此合成训练图像对应的三维重建标签更加准确。因此，可以为真实训练训练图像和合成训练图像设置不同的加权权重。
在一些实施例中，第一训练损失和第二训练损失进行加权求和，得到总训练损失，包括确定真实训练图像对应的第一权重，以及合成训练图像对应的第二权重；其中，第一权重不等于第二权重通过第一权重对第一训练损失进行加权，通过得让权重对第二训练损失进行加权得到总训练损失。
在一些实施例中，三维重建标签和加权权重之间存在对应关系，计算机设备根据三维重建标签确定对应的加权权重。需要说明的是，第一权重和第二权重可以根据实际需要确定，本申请在此不进行限定。
在一些实施例中，计算机设备根据总训练损失，对三维重建模型的模型参数进行调整。在一些实施例中，第一权重和第二权重的数值和模型参数的调整程度有关。在一些实施例中，第一权重、第二权重与模型参数的调整程度成正相关，也即第一权重、第二权重的数值越大，模型参数的调整参数越大。第一权重、第二权重的数值越小，模型参数的调整参数越小。
通过使用不同的加权权重对第一训练损失和第二训练损失进行处理，使得不同类型的训练图像对模型参数的影响程度不同，在实际训练过程中，可以根据对完成训练后的三维重建模型的性能等方面的需求，对加权权重的数值进行设置，通过这种方法有助于提高三维重建模型训练过程中的灵活性。
在一些实施例中，三维重建信息和三维重建标签采用有向距离场形式表示，有向距离场用于表征至少一个空间点与目标对象对应的三维几何构型表面的距离；方法还包括：计算机设备根据采用有向距离场形式表示的三维重建信息和三维重建标签，得到采用占用场形式表示的三维重建信息和三维重建标签；其中，占用场用于表征对至少一个空间点与目标对象对应的三维几何构型表面的内外关系；计算机设备根据训练图像对应的三维重建信息和三维重建标签，对三维重建模型进行训练，包括：根据训练图像对应的采用有向距离场形式表示的三维重建信息和三维重建标签，以及训练图像对应的采用占用场形式表示的三维重建信息和三维重建标签，对三维重建模型进行训练。
在一些实施例中，三维重建信息和三维重建标签采用有向距离场形式表示，具体地，三维重建信息和三维重建标签采用有向截断距离场形式表示。在一些实施例中，有向距离场用于表征训练图像对应的三维空间中，至少一个空间点与目标对象的三维几何构型的表面(临界面)之间的距离。
在一些实施例中，可以这样理解有向距离场。以Ω表示目标对象在三维空间中的表面(临界面)，在Ω内的空间点x对应的距离值符号为正，随着空间点x接近Ω的边界空间点x的距离值减小。当空间点x处于Ω之外时，空间点的距离值的符号为负。在一些实施例中，空间点的距离值通过距离函数表示。
在三维重建信息和三维重建标签采用有向阶段距离场形式表示的情况下，在距离函数确定模型空点的距离超出距离范围的情况下，计算机设备更换距离函数，尽量保证距离函数能够较好的拟合各个空间点到目标对象的三维几何构型的表面的距离。在一些实施例中，将有向截断距离场的距离范围是为-0.8到0.8。本申请对于有向截断距离场的值不作限定。
在一些实施例中，对采用有向距离场形式表示的三维重建信息分别进行分类是指根据有向距离场形式的三维重建信息，对训练图像对应的三维空间中的至少一个空间点进行分类。在一些实施例中，按照与目标对象的三维几何构型的表面的位置关系对空间点进行分类。例如，对至少一个空间点进行布尔分类，将在目标对象的三维几何构型内部的空间点对应的分类值为0，在目标对象的三维几何构型外部的空间点对应的分类值为1。
在一些实施例中，通过上述分类方法得到的采用有向距离场形式表示的三维重建信息采用占用场形式表示的。需要说明的是，还可以采用其他分类方式对采用有向距离场形式表示的三维重建信息和三维重建标签进行分类，例如将将在目标对象的三维几何构型内部的空间点对应的分类值为-1，在目标对象的三维几何构型外部的空间点对应的分类值为1等，本申请对此不进行限定。
在一些实施例中，计算机设备根据训练图像对应的采用占用场形式表示的三维重建信息和三维重建标签，对三维重建模型进行训练的具体过程，请参考上文实施例，在此不进行赘述。
在一些实施例中，计算机设备通过有向距离场形式表示的三维重建信息和三维标签信息计算模型损失，根据模型损失对三维重建模型进行训练，具体过程请参考上文实施例。在这种情况下，训练图像的三维重建信息可以采用有向距离场形式表示。
在另一些实施例中，计算机设备通过占用形式表示的三维重建信息和三维标签信息计算模型损失，根据模型损失对三维重建模型进行训练，具体过程请参考上文实施例。在这种情况下，训练图像的三维重建信息可以采用占用场形式表示。也可以采用训练图像的三维重建信息可以采用有向距离场(或者有向截断距离场)形式表示。在三维重建信息可以采用有向距离场(或者有向截断距离场)形式表示的情况下，对三维重建信息进行分类处理，可以得到采用占用场形式表示的三维重建信息，三维重建标签同理，有关该部分的具体过程，请参考上文实施例，在此不进行赘述。
在另一些实施例中，为了提高训练质量，计算机设备在一个训练批次中，对三维重建模型的模型参数进行两次调整，以加快模型的训练速度。
例如第一次训练过程中，计算机设备根据训练图像对应的采用有向距离场形式表示的三维重建信息和三维重建标签，对三维重建模型进行训练。在第二次训练过程中，计算机设备采用训练图像对应的采用占用场形式表示的三维重建信息和三维重建标签，对三维重建模型进行训练。
又例如，第一次训练过程中，计算机设备根据训练图像对应的采用占用场形式表示的三维重建信息和三维重建标签，对三维重建模型进行训练。在第二次训练过程中，计算机设备采用训练图像对应的采用有向距离场形式表示的三维重建信息和三维重建标签，对三维重建模型进行训练。
在三维重建信息和三维重建标签采用有向(截断)距离场形式表示的情况下，第一次训练过程中，通过维三重建信息和三维重建标签之间的差异，计算训练损失，由于有向距离场中的距离符号。假设，三维重建信息中空间点A在的距离值为-0.2，三维重建标签中空间点A在的距离值为-0.1，则对于空间点A，三维重建信息和三维重建标签之间的差距为0.1，又假设存在一个空间点B，三维重建信息中空间点B在的距离值为-0.05，和三维重建标签中空间点B在的距离值为0.05，则对于空间点B，三维重建信息和三维重建标签之间的差距为0.1。
但是对于空间点A，无论在三维重建信息还是三维重建标签中，该空间点A都在目标对象的三维几何构型的表面之外，而对于空间点B在三维重建信息中，该点处于目标对象的三维几何构型的表面之外；三维重建标签中，该点处目标对象的三维几何构型的表面之内。通过对三维重建信息和三维重建标签进行分类处理，有助于避免由于有向距离场表示形式中，数值的符号导致的损失计算缺陷，有助于提高三维重建模型的训练效果，提升训练完成的三维重建模型的生成的三维几何构型的准确性。
下面通过几个实施例对训练图像及训练图像对应的三维重建标签获取过程进行介绍说明。
首先，介绍一种真实训练图像对应的三维重建标签的获取过程。通过上文内容可知，真实训练图像是对真实的目标对象进行拍摄得到的图像，因此，需要对真实训练图像进行处理，获得真实训练图像对应的三维重建标签。
在一些实施例中，计算机设备通过获取多个训练图像以及各个训练图像对应的三维重建标签，包括：计算机设备对于真实训练图像，采用深度图预测模型生成真实训练图像对应的预测深度图像；计算机设备对预测深度图像进行空间转换，得到真实训练图像对应的三维点云数据；其中，空间转换用于实现二维空间到三维空间的转换；计算机设备对三维点云数据进行采样，得到真实训练图像对应的三维重建标签。
可选地，真实训练图像是RGB图像，图像中包含每个像素点的位置信息以及颜色信息。
在一些实施例中，深度图预测模型是指能够对输入图像进行处理，生成输入图像对应的深度图的模型。在一些实施例中，深度图预测模型是机器学习模型。深度图预测模型包括：像素到像素(pixel2pixel)算法模型。
在一些实施例中，深度图预测模型中包括一个以上网络层。在一个实施例中，深度图预测模型中包括第一转换网络层和第二转换网络层；其中，第一转换网络层用于将真实训练图像转换成中间转换图像，第二转换网络层用于根据中间转换图像，得到预测深度图像。
在一些实施例中，中间转换图像用于表征真实训练图像中轮廓的法相信息。在一些实施例中，中间转换图像是真实训练图像对应的预测法相图。
在一些实施例中，第一转换网络层和第二转换网络层串行连接，也即第一转换网络层的输入作为第二转换网络层的输出。例如，计算机设备将真实训练图像输入深度图预测模型，通过第一转换网络层对真实训练图像进行处理，得到预测法相图，第一转换网络层将预测法相图传递给第二转换网络层，通过第二网路转换层对预测法相图和真实训练图像进行处理，得到预测深度图像。
在一些实施例中，预测深度图像用于表征真实训练图像中至少一个空间点的深度信息。例如，预测深度图像用于表示至少一个空间点与拍摄相机之间的距离信息。在一些实施例中，第一转换网络层和第二转换网络层也属于(pixel2pixel)算法的网络结构。
在一些实施例中，计算机设备采用深度图预测模型生成真实训练图像对应的预测深度图像之后，还包括：计算机设备对预测深度图像进行上采样，得到上采样后的预测深度图像；其中，在上采样过程中，保持对预测深度图像的边缘位置的像素的深度值；计算机设备对预测深度图像进行空间转换，得到真实训练图像对应的三维点云数据，包括：计算机设备对上采样后的预测深度图像进行空间转换，得到真实训练图像对应的三维点云数据。
在得到预测深度图像之后，通过预测深度图像进行上采样处理，提高预测深度图像的分辨率。上采样处理包括但不限于以下至少之一：插值法(如双线性插值法)、反卷积法和反池化法。
在一些实施例中，在上采样过程中，减少对预测深度图像边缘的像素点进行处理，以免对上采样后的预测深度图像边缘数据出现较大的误差。在一些实施例中，上采样后的预测深度图像后的分辨率高于预测深度图像的分辨率。
在一些实施例中，三维点云数据用于表征上采样后的预测深度图像中的各个像素点在正则化空间中对应的坐标信息。
在一些实施例中，计算机设备对上采样后的预测深度图像进行空间转换，得到真实训练图像对应的三维点云数据，包括：通过投影矩阵，对上采样后的预测深度图像中进行处理，得到三维点云数据；其中，投影矩阵用于确定采样后的预测深度图像中各个像素点分别对应的深度值。
在一个示例中，真实训练图像中的目标对象为人体(此时，真实训练图像可以称为真实人体图像)，通过以下几个步骤可以生成真实人体图像对应的三维重建标签的生成过程进行介绍说明。
图5是本申请的一个示例性实施例提供的三维重建标签生成过程的示意图。
步骤1：将人体图像输入到相关的深度学习算法模型中，得到人体深度图像，过程为：
M(I)→"D"
其中，M()表示通用的pixel2pixel算法模型，即输入一张图像生成另外一张图像的深度学习算法模型，这里输入一张人体图像，得到一张对应的人体深度图像。I表示输入的真实人体图像，D表示由M()估计得到的预测深度图像。
步骤2：使用上采样方法对步骤1中得到预测深度图像进行处理，得到上采样后的预测深度图像；通过投影矩阵将上采样后的预测深度图像转化成为三维点云数据，过程为：
UP Sampling(I)→Iup,；Projection(Iup)→PC；
其中，UP Sampling表示相干技术中使用的上采样算法，比如双线性差值，在上采样过程中需要固定预测深度图像的边缘的深度信息；Iup表示经过上采样方法后，得到的高分辨率深度图像；Projection表示投影矩阵的反投影操作，投影矩阵指的是图像空间与正则化空间之间的转换矩阵。二维图像上某一个点(n)的深度信息可表示成为(X，Y)与对应的深度值，即一个三维向量，通过投影矩阵的反投影操作，将得到一个新的三维向量，该向量表示n点在正则化空间中的坐标。PC表示深度图像中所有像素在正则化空间的坐标，称之为三维空间点云。
步骤3：对步骤2中获得的点云进行采样，得到用于训练的伪标签：
Sampling(PC)→Lpseudo
其中，Sampling表征自定义的空间采样算法，对于PC中的任意一点m(x,y,z),在其周围采样若干点mi(+Δx,y+Δy,z+Δz)，其中Δx＝α*Δz,Δy＝β*Δz，其中Δz为自定义参数，这里规定Δz∈(-2,2)，α，β为随机变量且满足0<α<0.2，0<β<0.2，这里上限0.2可以根据实际调整；Lpseudo表示真实人体图像对应的三维重建标签。
接着介绍一种合成训练数据对应的三维重建标签生成方法。
在一些实施例中，计算机设备获取多个训练图像以及各个训练图像对应的三维重建标签，包括：对于合成训练图像，计算机设备获取合成训练图像对应的虚拟几何构型；其中，虚拟几何构型是指合成的目标对象的三维几何构型；计算机设备对合成训练图像对应的虚拟几何构型进行渲染和采样处理，得到合成训练图像对应的三维重建标签。
在一些实施例中，虚拟几何构型是在软件中通过建模得到的。虚拟几何构型中包括纹理信息。通过对虚拟几何构型进行渲染和采样处理，能够得到合成训练图像以及合成训练图像对应的三维重建标签。
下面通过几个实施例中，对三维重建信息的生成方法进行介绍说明。
在一些实施例中，计算机设备通过三维重建模型根据训练图像，得到训练图像对应的三维重建信息，包括：计算机设备通过三维重建模型根据训练图像，得到训练图像对应的特征体素，特征体素包括训练图像中的目标对象对应的体素的特征信息；计算机设备通过三维重建模型根据特征体素，得到训练图像对应的三维重建信息。
在一些实施例中，计算机设备通过三维重建模型根据特征体素，得到训练图像对应的三维重建信息，包括：计算机设备对训练图像中的目标对象所在的三维空间中的点进行采样，得到多个采样点；计算机设备通过插值的方式，从特征体素中确定多个采样点分别对应的特征信息；计算机设备通过三维重建模型根据多个采样点分别对应的特征信息，得到训练图像对应的三维重建信息。
在一些实施例中，采样点是随机的，目标对象所在的空间中的任意一点。
在一些实施例中，根据特征体素的大小，对三维空间中的x轴和y轴进行归一化处理，也即将空间归一化到特征体素的长宽范围之内，在此空间内的点进行采样。
在一些实施例中，计算机设备根据特征体素，确定采样点在空间中的特征信息。特征信息是指空间点对应的坐标，以及该空间点对应的深度信息。
在一些实施例中，在不同方向上对体素的特征信息进行线性插值，确定多个采样点分别对应的特征信息。在一些实施例中，对于x轴以及y轴的特征体素，进行双线性采样，得到采样点的特征向量。
本申请实施例所说的插值的方式可以是空间双线性插值方法，本申请对于插值的具体方式不作限定，凡是根据特征体素而确定出采样点在空间中的特征信息的方式均纳入本申请的保护范围之内。
在一些实施例中，三维重建模型包括：特征体素提取子模型和三维重建子模型；特征体素提取子模型用于根据训练图像，得到训练图像对应的特征体素；三维重建子模型用于根据特征体素，得到训练图像对应的三维重建信息。
在一些实施例中，特征体素提取子模型是卷积神经网络中的编码(encode)模型，可以用于提取深度图像对应的特征体素。在一些实施例中，三维重建子模型是多层感知机，可选地，多层感知机中包括全连接层，可以将基于特征体素得到的空间中的采样点的特征向量对应到空间中的有向距离场，也即三维重建信息。
本申请实施例提供的技术方案，通过特征体素提取子模型来提取特征体素，通过三维重建子模型来获取三维重建信息。隐式场函数可以认为是包括体征体素提取子模型以及三维重建子模型，在一些实施例中，隐式场函数可以认为是包括体征体素提取子模型以及多层感知机。
图6是本申请的一个示例性实施例提供的三维重建模型训练过程的示意图。
步骤1：混合输入真实与合成的人体图像到深度学习算法模型中，得到对应的特征体素，过程为：
M1(I)→FV；
其中，即输入一张图像生成另外一张图像的深度学习算法模型。M1()表示特征体素提取模型,即输入一张图像通过模型得到对应的特征体素，需要额外说明，M1中可以包含多个通用的pixel2pixel算法模型，每个pixel2pixel算法模型可以生成法向图或者深度图，再由法向图或者深度图或者输入的人体图像得到特征体素。I表示输入的人体图像，FV表示由M1()预测的特征体素。一般图像由RGB三通道构成，可以表示为三维数组，其中第一维和第二维分别表示图像的长和宽，第三维表示RGB。
步骤2：使用空间抽样插值方法从步骤1中得到的特征体素中得到整个空间的特征向量，每一个空间采样点都会有对应的特征向量，并用多层感知机预测空间中每一个采样点对应的有向截断距离场，得到整个空间的有向截断距离场，过程为：
Interpolation(FV，Pi)→Fi,M2(Fs)→F；
其中,Pi表示空间中的待采样点，Fi表示空间中每一个待采样点对应的特征向量,FS整个空间的特征向量，M2()表示多层感知机，F表示整个空间的有向截断距离场，Interpolation表示空间双线性插值方法。
步骤3：通过正则化约束步骤2中预测的有向截断距离场与混合标签之间的差值，进而优化步骤1中的特征体素提取模型M1和步骤2中的多层感知机M2的待优化参数PM1和PM2：
PM1,M2((λ1 or λ2)*L(F,TSDF(LGT or Lpseudo)))；
其中，λ1和λ2分别表示真实标签与伪标签的权重，其数值与模型参数的变化量成正比，L表示L1范数的正则化约束，也可以使用L2范数或者类似范数进行约束，PM1,M2表示特征体素提取模型M1和多层感知机M2中的待优化参数,TSDF(LGT or Lpseudo)表示将混合标签转换成为近似的有向截断距离场，LGT表示与合成人体图像对应的真实标签，Lpseudo表示与制作出来与真实人体图像对应的伪标签，当输入为真实数据，使用λ1与Lpseudo；当输入为合成数据时，使用λ2与LGT。
步骤4：将混合标签与有向截断距离场分别转换成为占用场形式，使用正则化约束转换后两者之间的差值，进一步优化步骤1中的特征体素提取模型M1和步骤2中的多层感知机M2的待优化参数PM1和PM2：
PM1,M2((λ3 or λ4)*L(OCC(F),OCC(TSDF(LGT or Lpseudo))))；
λ3和λ4分别表示真实标签与伪标签的权重，其数值与模型参数的变化量成正比，L表示L1范数的正则化约束，也可以使用L2范数，由于占用场仅含有0与1，这里L包含BCE约束，即二分类交叉熵损失函数(Binary Cross Entropy)，OCC()表示将有向截断距离场转换成为占用场。
步骤5：使用优化后的特征体素提取模型和多层感知机，获取有向截断距离场，并用Marching Cube算法得到出人体三维几何：
MC(F)→S
其中，S表示根据输入的人体图像重建出人体三维几何，MC表示Marching Cube算法。整个空间的有向截断距离场中包含有三维人体网格，需要MC算法，将三维人体网格单独提取出来。
通过上述方法，通过对空间中的点进行采样，基于特征体素得到采样点对应的特征向量，也即通过特征体素将二维的平面图像，转换为三维的点的数据信息，通过三维的点的数据信息可以勾划目标对象的三维几何构型。
此外，还将三维重建模型分为特征体素提取子模型和三维重建子模型，对于模型进行分层设计，可以有效的在模型遇到差错时，及时准确的找到对应的出错位置。同时，对于模型的训练也是同时训练特征体素提取子模型和三维重建子模型，两个子模型的同时训练，可以使得最终的训练精度进一步得到提高。
图7是本申请一个实施例提供的训练结果的示意图，对比了本方法和相关方。相关方法与本方法局部细节对比如图4，第一列为真实世界拍摄的人体图像，第二列和第三列分别表示相关方法重建出来的三维人体网格和局部区域放大图；第四列和第五列分别表示本方法重建出来的三维人体网格和局部区域放大图。从结果可以看出，本方法重建出来的人体三维几何拥有更加真实的细节，更加接近于真实的世界。
图8是本申请一个实施例提供的训练结果的示意图..相关方法与本方法整体完整度对比如图5，第一列为真实世界拍摄的人体图像，第二列表示相关方法重建出来的三维人体网格；第三列表示本方法重建出来的三维人体网格。从结果可以看出，本方法重建出来的人体三维几何整体更加完整，不会出现“缺损”，更加接近于网络输入的真实图片。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图9，其示出了本申请一个实施例提供的三维重建模型的训练装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图9所示，该装置900可以包括：图像获取模块910、信息生成模块920和模型训练模块930。
图像获取模块910，用于获取多个训练图像以及各个所述训练图像对应的三维重建标签；其中，所述多个训练图像包括至少一个真实训练图像和至少一个合成训练图像，所述真实训练图像是指对真实的目标对象进行拍摄得到的图像，所述合成训练图像是指根据合成的目标对象的三维模型生成的图像。
信息生成模块920，用于通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的三维重建信息，所述三维重建信息用于确定所述训练图像中的目标对象在三维空间中的三维几何构型。
模型训练模块930，用于根据所述训练图像对应的三维重建信息和三维重建标签，对所述三维重建模型进行训练。
在一些实施例中，模型训练模块930，包括：损失计算单元，用于根据所述真实训练图像对应的三维重建信息和三维重建标签，计算得到第一训练损失，所述第一训练损失用于指示所述真实训练图像对应的三维重建信息和三维重建标签之间的差异度；根据所述合成训练图像对应的三维重建信息和三维重建标签，计算得到第二训练损失，所述第二训练损失用于指示所述合成训练图像对应的三维重建信息和三维重建标签之间的差异度；总损失确定单元，用于根据所述第一训练损失和所述第二训练损失，对所述三维重建模型的参数进行调整。
在一些实施例中，所述总损失确定单元，包括：对所述第一训练损失和所述第二训练损失进行加权求和，得到总训练损失；根据所述总训练损失对所述三维重建模型的参数进行调整。
在一些实施例中，所述三维重建信息和三维重建标签采用有向距离场形式表示，所述有向距离场用于表征至少一个空间点与目标对象对应的三维几何构型表面的距离；所述装置900还包括：信息分类模型，用于根据采用所述有向距离场形式表示的所述三维重建信息和三维重建标签，得到采用占用场形式表示的所述三维重建信息和三维重建标签；其中，所述占用场用于表征对至少一个空间点与目标对象和三维几何构型表面的内外关系；
所述模型训练模块930，用于根据所述训练图像对应的采用所述有向距离场形式表示的所述三维重建信息和三维重建标签，以及所述训练图像对应的采用所述占用场形式表示的所述三维重建信息和三维重建标签，对所述三维重建模型进行训练。
在一些实施例中，所述图像获取模块910，包括：深度预测单元，用于对于所述真实训练图像，采用深度图预测模型生成所述真实训练图像对应的预测深度图像；空间转换模块，用于对所述预测深度图像进行空间转换，得到所述真实训练图像对应的三维点云数据；其中，所述空间转换用于实现二维空间到三维空间的转换；点云采样模块，用于对所述三维点云数据进行采样，得到所述真实训练图像对应的三维重建标签。
在一些实施例中，所述装置900，还包括像素采样模块，用于对所述预测深度图像进行上采样，得到上采样后的所述预测深度图像；其中，在上采样过程中，保持所述预测深度图像的边缘位置的像素的深度值；所述点云采样模块，用于对上采样后的所述预测深度图像进行空间转换，得到所述真实训练图像对应的三维点云数据。
在一些实施例中，所述图像获取模块910，包括：构型获取单元，用于获取所述合成训练图像对应的虚拟几何构型；其中，所述虚拟几何构型是指所述合成的目标对象对应的三维几何构型；标签生成单元，用于对所述合成训练图像对应的虚拟几何构型进行渲染和采样处理，得到所述合成训练图像对应的三维重建标签。
在一些实施例中，所述信息生成模块920，包括：体素生成单元，用于通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的特征体素，所述特征体素包括所述训练图像中的目标对象对应的体素的特征信息；信息生成单元，用于通过所述三维重建模型根据所述特征体素，得到所述训练图像对应的三维重建信息。
在一些实施例中，所述信息生成单元，用于对所述训练图像中的目标对象所在的三维空间中的点进行采样，得到多个采样点；通过插值的方式，从所述特征体素中确定所述多个采样点分别对应的特征信息；通过所述三维重建模型根据所述多个采样点分别对应的特征信息，得到所述训练图像对应的三维重建信息。
在一些实施例中，所述三维重建模型包括：特征体素提取子模型和三维重建子模型；所述特征体素提取子模型用于根据所述训练图像，得到所述训练图像对应的特征体素；所述三维重建子模型用于根据所述特征体素，得到所述训练图像对应的三维重建信息。
在一些实施例中，完成训练的所述三维重建模型用于以下至少之一：根据人体的真实彩色图像，在三维虚拟场景中生成所述人体的三维几何构型；根据数字人的真实彩色图像，在三维虚拟场景中生成所述数字人的三维几何构型；根据衣服的真实彩色图像，在三维虚拟场景中生成所述衣服的三维几何构型；根据人脸的真实彩色图像，在三维虚拟场景中生成所述人脸的三维几何构型。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图10，其示出了本申请一个实施例提供的计算机设备1000的结构框图。
通常，计算机设备1000包括有：处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储计算机程序，所述计算机程序经配置以由一个或者一个以上处理器执行，以实现上述三维重建模型的训练方法。
本领域技术人员可以理解，图10中示出的结构并不构成对计算机设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被处理器执行时以实现上三维重建模型的训练方法。
可选地，该计算机可读存储介质可以包括：ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取存储器可以包括ReRAM(Resistance Random Access Memory，电阻式随机存取存储器)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中。终端设备的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述终端设备执行上述三维重建模型的训练方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种三维重建模型的训练方法，其特征在于，所述方法包括：
获取多个训练图像以及各个所述训练图像对应的三维重建标签；其中，所述多个训练图像包括至少一个真实训练图像和至少一个合成训练图像，所述真实训练图像是指对真实的目标对象进行拍摄得到的图像，所述合成训练图像是指根据合成的目标对象的三维模型生成的图像；
通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的三维重建信息，所述三维重建信息用于确定所述训练图像中的目标对象在三维空间中的三维几何构型；
根据所述训练图像对应的三维重建信息和三维重建标签，对所述三维重建模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练图像对应的三维重建信息和三维重建标签，对所述三维重建模型进行训练，包括：
根据所述真实训练图像对应的三维重建信息和三维重建标签，计算得到第一训练损失，所述第一训练损失用于指示所述真实训练图像对应的三维重建信息和三维重建标签之间的差异度；
根据所述合成训练图像对应的三维重建信息和三维重建标签，计算得到第二训练损失，所述第二训练损失用于指示所述合成训练图像对应的三维重建信息和三维重建标签之间的差异度；
根据所述第一训练损失和所述第二训练损失，对所述三维重建模型的参数进行调整。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一训练损失和所述第二训练损失，对所述三维重建模型的参数进行调整，包括：
对所述第一训练损失和所述第二训练损失进行加权求和，得到总训练损失；
根据所述总训练损失对所述三维重建模型的参数进行调整。
4.根据权利要求1所述的方法，其特征在于，所述三维重建信息和三维重建标签采用有向距离场形式表示，所述有向距离场用于表征至少一个空间点与目标对象对应的三维几何构型表面的距离；
所述方法还包括：
根据采用所述有向距离场形式表示的所述三维重建信息和三维重建标签，得到采用占用场形式表示的所述三维重建信息和三维重建标签；其中，所述占用场用于表征至少一个空间点与目标对象对应的三维几何构型表面的内外关系；
所述根据所述训练图像对应的三维重建信息和三维重建标签，对所述三维重建模型进行训练，包括：
根据所述训练图像对应的采用所述有向距离场形式表示的所述三维重建信息和三维重建标签，以及所述训练图像对应的采用所述占用场形式表示的所述三维重建信息和三维重建标签，对所述三维重建模型进行训练。
5.根据权利要求1所述的方法，其特征在于，所述获取多个训练图像以及各个所述训练图像对应的三维重建标签，包括：
对于所述真实训练图像，采用深度图预测模型生成所述真实训练图像对应的预测深度图像；
对所述预测深度图像进行空间转换，得到所述真实训练图像对应的三维点云数据；其中，所述空间转换用于实现二维空间到三维空间的转换；
对所述三维点云数据进行采样，得到所述真实训练图像对应的三维重建标签。
6.根据权利要求5所述的方法，其特征在于，所述采用深度图预测模型生成所述真实训练图像对应的预测深度图像之后，还包括：
对所述预测深度图像进行上采样，得到上采样后的所述预测深度图像；其中，在上采样过程中，保持所述预测深度图像的边缘位置像素的深度值；
所述对所述预测深度图像进行空间转换，得到所述真实训练图像对应的三维点云数据，包括：
对上采样后的所述预测深度图像进行空间转换，得到所述真实训练图像对应的三维点云数据。
7.根据权利要求1所述的方法，其特征在于，所述获取多个训练图像以及各个所述训练图像对应的三维重建标签，包括：
对于所述合成训练图像，获取所述合成训练图像对应的虚拟几何构型；其中，所述虚拟几何构型是指所述合成的目标对象的三维几何构型；
对所述合成训练图像对应的虚拟几何构型进行渲染和采样处理，得到所述合成训练图像对应的三维重建标签。
8.根据权利要求1所述的方法，其特征在于，所述通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的三维重建信息，包括：
通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的特征体素，所述特征体素包括所述训练图像中的目标对象对应的体素的特征信息；
通过所述三维重建模型根据所述特征体素，得到所述训练图像对应的三维重建信息。
9.根据权利要求8所述的方法，其特征在于，所述通过所述三维重建模型根据所述特征体素，得到所述训练图像对应的三维重建信息，包括：
对所述训练图像中的目标对象所在的三维空间中的点进行采样，得到多个采样点；
通过插值的方式，从所述特征体素中确定所述多个采样点分别对应的特征信息；
通过所述三维重建模型根据所述多个采样点分别对应的特征信息，得到所述训练图像对应的三维重建信息。
10.根据权利要求8所述的方法，其特征在于，所述三维重建模型包括：特征体素提取子模型和三维重建子模型；
所述特征体素提取子模型用于根据所述训练图像，得到所述训练图像对应的特征体素；
所述三维重建子模型用于根据所述特征体素，得到所述训练图像对应的三维重建信息。
11.根据权利要求1至10任一项所述的方法，其特征在于，完成训练的所述三维重建模型用于以下至少之一：
根据人体的真实彩色图像，在三维虚拟场景中生成所述人体的三维几何构型；
根据数字人的真实彩色图像，在三维虚拟场景中生成所述数字人的三维几何构型；
根据衣服的真实彩色图像，在三维虚拟场景中生成所述衣服的三维几何构型；
根据人脸的真实彩色图像，在三维虚拟场景中生成所述人脸的三维几何构型。
12.一种三维重建模型的训练装置，其特征在于，所述装置包括：
图像获取模块，用于获取多个训练图像以及各个所述训练图像对应的三维重建标签；其中，所述多个训练图像包括至少一个真实训练图像和至少一个合成训练图像，所述真实训练图像是指对真实的目标对象进行拍摄得到的图像，所述合成训练图像是指根据合成的目标对象的三维模型生成的图像；
信息生成模块，用于通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的三维重建信息，所述三维重建信息用于确定所述训练图像中的目标对象在三维空间中的三维几何构型；
模型训练模块，用于根据所述训练图像对应的三维重建信息和三维重建标签，对所述三维重建模型进行训练。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述权利要求1至11任一项所述的方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机指令，以实现如权利要求1至11任一项所述的方法。
CN202210869094.0A 2022-07-21 2022-07-21 三维重建模型的训练方法、装置、设备及存储介质 Pending CN115115805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210869094.0A CN115115805A (zh) 2022-07-21 2022-07-21 三维重建模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210869094.0A CN115115805A (zh) 2022-07-21 2022-07-21 三维重建模型的训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115115805A true CN115115805A (zh) 2022-09-27

Family

ID=83335042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210869094.0A Pending CN115115805A (zh) 2022-07-21 2022-07-21 三维重建模型的训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115115805A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861572A (zh) * 2023-02-24 2023-03-28 腾讯科技（深圳）有限公司 一种三维建模方法、装置、设备及存储介质
CN116228994A (zh) * 2023-05-09 2023-06-06 腾讯科技（深圳）有限公司 三维模型获取方法、装置、设备及存储介质
CN116385667A (zh) * 2023-06-02 2023-07-04 腾讯科技（深圳）有限公司 三维模型的重建方法、纹理重构模型的训练方法以及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861572A (zh) * 2023-02-24 2023-03-28 腾讯科技（深圳）有限公司 一种三维建模方法、装置、设备及存储介质
CN116228994A (zh) * 2023-05-09 2023-06-06 腾讯科技（深圳）有限公司 三维模型获取方法、装置、设备及存储介质
CN116228994B (zh) * 2023-05-09 2023-08-01 腾讯科技（深圳）有限公司 三维模型获取方法、装置、设备及存储介质
CN116385667A (zh) * 2023-06-02 2023-07-04 腾讯科技（深圳）有限公司 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN116385667B (zh) * 2023-06-02 2023-08-11 腾讯科技（深圳）有限公司 三维模型的重建方法、纹理重构模型的训练方法以及装置

Similar Documents

Publication Publication Date Title
Li et al. Monocular real-time volumetric performance capture
Mihajlovic et al. KeypointNeRF: Generalizing image-based volumetric avatars using relative spatial encoding of keypoints
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
Wang et al. High-resolution image synthesis and semantic manipulation with conditional gans
CN113012282B (zh) 三维人体重建方法、装置、设备及存储介质
Matsuyama et al. Real-time dynamic 3-D object shape reconstruction and high-fidelity texture mapping for 3-D video
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
US20150054825A1 (en) Method for image and video virtual hairstyle modeling
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
Liu et al. A general differentiable mesh renderer for image-based 3D reasoning
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN112950769A (zh) 三维人体重建方法、装置、设备及存储介质
Li et al. Detailed 3D human body reconstruction from multi-view images combining voxel super-resolution and learned implicit representation
CN113313828B (zh) 基于单图片本征图像分解的三维重建方法与系统
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
KR20230028253A (ko) 얼굴 이미지 처리 방법, 얼굴 이미지 처리 모델 훈련 방법, 장치, 디바이스, 저장 매체 및 프로그램 제품
Hani et al. Continuous object representation networks: Novel view synthesis without target view supervision
CN114723884A (zh) 三维人脸重建方法、装置、计算机设备及存储介质
CN115272608A (zh) 一种人手重建方法及设备
CN111862278A (zh) 一种动画获得方法、装置、电子设备及存储介质
CN114758070A (zh) 基于跨域多任务的单张图像三维人体精细重建方法
Wu et al. [Retracted] 3D Film Animation Image Acquisition and Feature Processing Based on the Latest Virtual Reconstruction Technology
CN117218300B (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
Jiang et al. 3d points splatting for real-time dynamic hand reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination