CN111968165A - 动态人体三维模型补全方法、装置、设备和介质 - Google Patents

动态人体三维模型补全方法、装置、设备和介质 Download PDF

Info

Publication number
CN111968165A
CN111968165A CN202010838890.9A CN202010838890A CN111968165A CN 111968165 A CN111968165 A CN 111968165A CN 202010838890 A CN202010838890 A CN 202010838890A CN 111968165 A CN111968165 A CN 111968165A
Authority
CN
China
Prior art keywords
dimensional model
complete
model
partial
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010838890.9A
Other languages
English (en)
Other versions
CN111968165B (zh
Inventor
方璐
苏卓
许岚
温建伟
袁潮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202010838890.9A priority Critical patent/CN111968165B/zh
Publication of CN111968165A publication Critical patent/CN111968165A/zh
Application granted granted Critical
Publication of CN111968165B publication Critical patent/CN111968165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种动态人体三维模型补全方法、装置、设备和介质，涉及计算机视觉、计算机图形学、三维重建、虚拟现实及增强现实等技术领域。具体实施方案为：利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型；对所述部分三维模型和所述完整三维模型进行配准；融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。根据本发明得技术实现了利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。

Description

动态人体三维模型补全方法、装置、设备和介质
技术领域
本发明实施例涉及计算机视觉、计算机图形学、三维重建、虚拟现实及增强现实等技术领域。尤其涉及一种动态人体三维模型补全方法、装置、设备和介质。
背景技术
在计算机视觉和计算机图形学中，从静态场景的重建、渲染问题到运动物体(尤其是人)的跟踪和表面重建，重建一直是两个学科的重要研究问题。
目前的单视角动态重建方法为：基于RGBD的单视角动态重建方法。该方法基于单RGBD单视角动态重建可以通过融合时序信息，将动态重建分为物体运动场估计与参考帧下表面融合这两部分，解决了单帧无法观测到完整模型的问题。
然而这种单视角方法依赖于精心设计或者小心谨慎的人体自扫描过程，往往需要人体在相机前转一周。该操作极大限制了其应用范围，对用户不够友好。
发明内容
本发明提供一种动态人体三维模型补全方法、装置、设备和介质，以实现利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。
第一方面，本发明实施例提供了动态人体三维模型补全方法，该方法包括：
利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；
根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；
将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；
对所述部分三维模型和所述完整三维模型进行配准；
融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。
第二方面，本发明实施例还提供了动态人体三维模型补全装置，该装置包括：
图像采集模块，用于利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；
模型重建模块，用于根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；
完整模型确定模块，用于将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；
模型配准模块，用于对所述部分三维模型和所述完整三维模型进行配准；
模型融合模块，用于融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型
第三方面，本发明实施例还提供了一种电子设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的动态人体三维模型补全方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例中任一所述的动态人体三维模型补全方法。
本发明通过根据单视角采集的深度图像和RGB图像，确定目标人体的部分三维模型和完整三维模型；配准部分三维模型和完整三维模型；融合配准后的部分三维模型和完整三维模型，从而实现利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。
附图说明
图1为本发明实施例一提供的一种动态人体三维模型补全方法的流程图；
图2是本申请实施例二提供的一种动态人体三维模型补全方法的流程图；
图3是本申请实施例三提供的一种动态人体三维模型补全方法的流程图；
图4是本申请实施例四提供的一种动态人体三维模型补全方法的流程图；
图5是本申请实施例五提供的一种动态人体三维模型补全方法的流程图；
图6是本申请实施例五提供的一种人体三维重建的效果示意图；
图7是本申请实施例六提供的一种动态人体三维模型补全装置的结构示意图；
图8为本发明实施例七提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种动态人体三维模型补全方法的流程图。本实施例可适用于利用单视角对人体进行完整动态重建的情况。该方法可以由一种动态人体三维模型补全装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本申请实施例提供的动态人体三维模型补全方法包括：
S110、利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像。
其中，至少一个深度图像采集设备的数量可以是一个、两个或多个，该设备的采集视角也可以是一个、两个或多个。因为采集不同视角的图像越多，重建出的人体三维模型越完整。所以此处深度图像采集设备的数量和采集视角可以根据实际需要确定，本实施例对此并不进行限定。
目标人体是指待重建三维模型的人体。
至少一张深度图像的数量也可以是一张、两张或多张，具体可以根据实际需要确定，本实施例对此也不进行限定。
典型地，可以利用一个深度图像采集设备，采集目标人体正面视角的多张深度图像，以进行目标人体的三维重建。
S120、根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型。
其中，部分三维模型是根据上述至少一张深度图像重建出的不完整的三维模型。
因为上述至少一张深度图像的数量和采集视角有限，所以基于上述至少一张深度图像重建出的三维模型通常是不完整的。
部分三维模型的重建算法可以现有技术中任一中重建算法。
在一个实施例中，该重建算法可以是：利用单视角非刚性动态重建技术(EDnode-graph based)融合多帧深度图得到当前帧的人体几何模型，该模型用TSDF(TruncatedSigned Distance Function，截断符号距离函数)进行体素化模型表征；
将融合得到的人体几何模型作为上述部分三维模型。
S130、将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型。
其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像。
上述神经网络模型通过利用多张RGB图像和多张RGB图像对应的完整人体三维模型训练得到。
完整三维模型是指能完整描述目标人体表面的模型。
因为完整三维模型是基于神经网络在已经学习到的重建数据的基础上，根据输入的RGB图像重建得到的，而部分三维模型是利用深度图像重建得到的，所以通常完整三维模型的准确率低于部分三维模型的准确率。
S140、对所述部分三维模型和所述完整三维模型进行配准。
在一个实施例中，可以基于部分三维模型和完整三维模型之间的刚性运动信息，对部分三维模型和完整三维模型进行配准。
S150、融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。
其中，最终三维模型包括几何细节的完整人体模型。该模型的准确率大于上述完整三维模型的准确率。
本申请实施例的技术方案，通过根据单视角采集的深度图像和RGB图像，确定目标人体的部分三维模型和完整三维模型；配准部分三维模型和完整三维模型；融合配准后的部分三维模型和完整三维模型，从而实现利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。
实施例二
图2是本申请实施例二提供的一种动态人体三维模型补全方法的流程图。本实施例是在上述实施例的基础上，对上述步骤“对所述部分三维模型和所述完整三维模型进行配准”的具体优化。参见图2，本申请实施例提供的动态人体三维模型补全方法包括：
S210、利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像。
S220、根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型。
S230、将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像。
S240、计算所述部分三维模型与所述完整三维模型之间的非刚性变形信息。
其中，非刚性变形信息是指不是由单一骨骼的运动来控制，而是由许多骨头的共同运作的结果来支配的形变信息。
具体地，非刚性变形信息包括：依赖关节的局部变形，骨架驱动变形，交叉轮廓变形获得的信息。
典型地，通过联合求解如下优化方程，确定所述非刚性变形信息，
Ecomp(G0，β0，θ0)＝λvdEvdata+λmdEmdata+λbindEbind+λpriorEprior
其中，G0为从所述部分三维模型到所述完整三维模型的非刚性变形模型，该模型为node graph模型，β0为所述部分三维模型对应拟合的SMPL(Skinned Multi-PersonLinear，参数化人体)模型的形状参数，θ0为所述部分三维模型对应拟合的SMPL模型的姿态参数，Evdata为体素的能量约束项，用于描述所述SMPL模型和所述部分三维模型之间的误差，Emdata为相互作用约束项，用于描述所述部分三维模型与所述完整三维模型之间的误差，以及所述SMPL模型与所述完整三维模型之间的误差，Ebind为捆绑约束项，表征非刚性变形前后的模型误差，Eprior为人体先验运动约束项，用于惩罚人体运动过程中产生的不自然的人体姿态，λvd、λmd、λbind和λprior是对应各约束项的权值系数。
典型地，node graph模型为ED node graph模型。
S250、根据计算的非刚性变形信息，对所述部分三维模型和所述完整三维模型进行配准。
S260、融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。
本申请实施例的技术方案，通过计算部分三维模型与完整三维模型之间的非刚性变形信息，根据计算的非刚性变形信息，对部分三维模型和完整三维模型进行配准，从而提高配准的准确率。
实施例三
图3是本申请实施例三提供的一种动态人体三维模型补全方法的流程图。本实施例是在上述实施例的基础上，对步骤“将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像”的具体优化。参见图3，本申请实施例提供的动态人体三维模型补全方法包括：
S310、利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像。
S320、根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型。
S330、将所述目标深度图像、所述目标深度图像关联的RGB图像以及该RGB图像中人体各个部分的分割图，输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像。
示例性地，人体各个部分的分割图包括，目标人体脚部的分割图、腿部的分割图、身体和手臂的分割图、手的分割图以及头部的分割图。
人体各部分的分割图的确定可以包括：
将包括人体的RGB图像输入预先训练的神经网络模型，输出人体各部分的分割图。
S340、对所述部分三维模型和所述完整三维模型进行配准。
S350、融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。
本申请实施例的技术方案，通过根据目标深度图像、所述目标深度图像关联的RGB图像以及该RGB图像中人体各个部分的分割图，确定目标人体的完整三维模型，从而提高完整三维模型的准确率。
实施例四
图4是本申请实施例四提供的一种动态人体三维模型补全方法的流程图。本实施例是在上述实施例的基础上，对步骤“融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标对象的最终三维模型”的具体优化。参见图4，本申请实施例提供的动态人体三维模型补全方法，包括：
S410、利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像。
S420、根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型。
S430、将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像。
S440、对所述部分三维模型和所述完整三维模型进行配准。
S450、确定配准后的所述部分三维模型的TSDF体素化模型表征中，每个部分体素周围非空体素的数量。
其中，非空体素是指有距离值和权重值的体素。距离值表示该体素距人体表面的最小值。权重用于描述该距离的可信度。
S460、根据所述每个部分体素周围非空体素的数量确定每个完整体素的权重。
其中，该权重与所述每个部分体素周围非空体素的数量负相关，所述每个完整体素是指配准后的所述完整三维模型的TSDF体素化模型表征中，与所述每个部分体素对应的体素。
具体地，依照如下公式确定所述每个完整体素的权重，
w(v)＝1/1+N(v))
其中，N(v)表示所述每个部分体素周围非空体素的数量。
依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的距离值，
Figure BDA0002640696090000101
其中，W(v)是所述每个部分体素的权重，d(v)是与所述每个部分体素对应的每个完整体素的距离值，ω(v)是与所述每个部分体素对应的每个完整体素的权重。
依据如下公式，确定与所述每个部分体素对应的每个完整体素的距离值，
Figure BDA0002640696090000102
其中，
Figure BDA0002640696090000103
表示所述每个部分体素通过非刚性变形后的位置，u是与
Figure BDA0002640696090000104
对应的在所述完整三维模型的三维点，sgn(.)是符号函数，用来判断d(v)取值的正负。
依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的权重，
W(v)←W(v)+w(v)
其中，ω(v)是与所述每个部分体素对应的每个完整体素的权重。
S470、根据所述每个部分体素的距离值和权重，以及所述每个完整体素的距离值和权重，融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标对象的最终三维模型。
本申请实施例的技术方案，通过根据所述每个部分体素周围非空体素的数量确定每个完整体素的权重，其中该权重与所述每个部分体素周围非空体素的数量负相关，从而使得针对非空的部分体素，融合完整体素的数据少些，针对空的部分体素，融合完整体素的数据多些，实现在保证将高准确率的部分体素融合进来的基础上，从部分体素到完整体素的渐进过渡，实现了二者的无缝融合。
实施例五
图5是本申请实施例五提供的一种动态人体三维模型补全方法的流程图。本实施例是在上述实施例的基础上，提供的一种可选方案。参见图5，本申请实施例提供的动态人体三维模型补全方法包括：
第一步：预处理
重建具有高质量几何细节的部分三维模型：利用单视角非刚性动态重建技术(EDnode-graph based)融合多帧深度图得到当前帧的人体几何模型(TSDF形式)，也即得到人体的部分三维模型。
确定人体的完整三维模型：一旦TSDF体的平均权重达到某个阈值(32，可调)，就触动当前帧过一个训练好的深度学习网络，得到一个完整的人体模型，也即完整三维模型。具体做法如下：
网络模型(Occupancy网络)由一个图像编码器和一个MLP构成。模型的输入不仅仅是RGB图像，还加入了深度图和human parsing(人体部分分割图)。这样的目的是能够得到尺度以及人体姿态和真实情况(也就是上述部分三维模型)更逼近的模型。训练数据集可以包括大量的3D人体模型，渲染得到深度图和RGB图，利用预先训练的神经网络模型进行人体部分分割得到的human parsing。利用训练数据集训练网络模型得到上述深度学习网络。
第二步：变形配准
在获得了上述两个模型后，要做的就是变形配准这两个模型，即通过学习的完整三维模型补全重建的部分三维模型，也即不完整模型，从而一起构成既有几何细节又完整的人体模型。具体如下：
通过联合求解如下优化方程，确定所述非刚性变形非刚性变形信息，
Ecomp(G0，β0，θ0)＝λvdEvdata+λmdEmdata+λbindEbind+λpriorEprior
其中，G0为从所述部分三维模型到所述完整三维模型的非刚性变形模型，该模型为node graph图模型，β0为所述部分三维模型对应拟合的SMPL参数化人体模型的形状参数，θ0为所述部分三维模型对应拟合的SMPL模型的姿态参数，Evdata为体素的能量约束项，用于描述所述SMPL模型和所述部分三维模型之间的误差，Emdata为相互作用约束项，用于描述所述部分三维模型与所述完整三维模型之间的误差，以及所述SMPL模型与所述完整三维模型之间的误差，Ebind为捆绑约束项，表征非刚性变形前后的模型误差，Eprior为人体先验运动约束项，用于惩罚人体运动过程中产生的不自然的人体姿态，λvd、λmd、λbind和λprior是对应各约束项的权值系数。
Evdata定义如下：
Figure BDA0002640696090000121
其中，D(.)的输入为一个点坐标，输出为这个点坐标在TSDF体里面的双线性插值的SDF值(也即距离值)，该值越小表明离人体表面越近。ψ(.)表示robust Geman-McClure惩罚函数。
Figure BDA0002640696090000122
是统一模板，T(β,θ)是通过形状和姿态参数变形后的模板，对于任顶点
Figure BDA0002640696090000131
Figure BDA0002640696090000132
是通过变形后的3D坐标位置。
Emdata定义如下：
Figure BDA0002640696090000133
其中，C为SMPL上的点
Figure BDA0002640696090000134
和完整三维模型上的点u的最近点对集合，P为部分三维模型的顶点
Figure BDA0002640696090000135
和完整三维模型上的点u最近点对集合。
Eprior定义如下：
Figure BDA0002640696090000136
其中，j表示第j个正态分布模型，ωj为混合权值，μj为混合均值，δj为混合方差。
Ebind定义如下:
Figure BDA0002640696090000137
其中，Ls表示人体表面节点的索引集合,xi表示根据LBS蒙皮得到的节点位置，T(xi)表示xi节点的非刚性变形矩阵。
总之，求解上述优化方程,利用的是Iterative Closest Point(ICP)算法框架，具体通过GPU上的Preconditioned Conjugate Gradient(PCG)求解器使用LevenbergMarquardt(LM)求解这个非线性最小二乘问题，得到待优化的变量。
第三步：基于TSDF的模型融合
经过配准后，两个模型如图6配准前后所示的效果，只是在空间上配准了。为了得到最终三维模型，还需要对二者进行融合操作，在TSDF域下进行融合。
对每个3D体素v，
Figure BDA0002640696090000138
表示它通过ED非刚性变形后的位置，N(v)表示这个体素周围非空体素的数量。这个数量越大表示该部分观测越多，越可靠。随着部分三维模型的一点点融合，从中间到边缘这个数量越来越小，所以用它的反比表示融合权重可以达到无缝融合的效果。
D(v)表示v的TSDF值，W(v)表示的则是他的当前累积的权重。按照如下公式计算完整三维模型对应的当前帧的SDF值d(v)(也即距离值)和权重：
Figure BDA0002640696090000141
这里，u是与
Figure BDA0002640696090000142
(体素)对应的在完整上的模型的三维点,nu是它的法向量。sgn(.)是符号函数，用来判断SDF值得正负。通过上述新的SDF值和权重，按照TSDF融合策略融合，具体融合公式如下：
Figure BDA0002640696090000143
W(v)←W(v)+w(v)
然后通过marching cubes算法即可从TSDF体中得到一个完整并且有几何细节的网格模型。
本实施例的关键点在于：
(1)通过单视角RGBD图像获取完整的、姿态、尺度准确的完整三维模型，具体做法是改进现有方法，通过增加深度图和人体各个部分分割图的输入，用已有3D人体模型监督训练得到可以预测人体完整三维模型的深度网络模型。
(2)准确配准从单帧RGBD和人体分割学到的完整三维模型与基于非刚性重建得到的具有几何细节的部分三维模型。
(3)无缝融合非刚性重建的部分三维模型和基于学习算法得到的完整三维模型，得到完整且具有几何细节的最终三维模型。
本实施例的技术效果为：本发明通过设计算法实现适用于基于RGBD相机的动态重建或者人体自画像的人体模型补全。具体实现了利用RGBD相机(RGB+深度图像)即可实现快速的、完整的、准确的、高质量的人体3D模型。具体包括：(1)通过单视角RGBD图像获取完整的、姿态、尺度准确的完整三维模；(2)准确配准完整三维模型与具有几何细节的部分三维模型；(3)无缝融合二者得到完整且具有几何细节的最终三维模型。继续参见图2，本发明实现了从基于动态重建产生的部分三维模型和基于学习算法产生的完整三维模型后进行配准和融合操作，最终得到完整并且具有几何细节的最终三维模型。
需要说明的是，基于上述实施例的技术教导，本领域技术人员有动机将上述实施方式进行组合，以实现利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。
实施例六
图7是本申请实施例六提供的一种动态人体三维模型补全装置的结构示意图。参见图7本申请实施例提供的动态人体三维模型补全装置，包括：图像采集模块701、模型重建模块702、完整模型确定模块703、模型配准模块704和模型融合模块705。
其中，图像采集模块701，用于利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；
模型重建模块702，用于根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；
完整模型确定模块703，用于将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；
模型配准模块704，用于对所述部分三维模型和所述完整三维模型进行配准；
模型融合模块705，用于融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。
本申请实施例的技术方案，通过根据单视角采集的深度图像和RGB图像，确定目标人体的部分三维模型和完整三维模型；配准部分三维模型和完整三维模型；融合配准后的部分三维模型和完整三维模型，从而实现利用单视角对人体的完整动态重建，得到既有几何细节，又完整的人体模型。
进一步地，所述模型配准模块，包括：
计算信息单元，用于计算所述部分三维模型与所述完整三维模型之间的非刚性变形信息；
模型配准单元，用于根据计算的非刚性变形信息，对所述部分三维模型和所述完整三维模型进行配准。
进一步地，通过联合求解如下优化方程，确定所述非刚性变形信息，
Ecomp(G0，β0，θ0)＝λvdEvdata+λmdEmdata+λbindEbind+λpriorEprior
其中，G0为从所述部分三维模型到所述完整三维模型的非刚性变形模型，该模型为node graph图模型，β0为所述部分三维模型对应拟合的SMPL参数化人体模型的形状参数，θ0为所述部分三维模型对应拟合的SMPL模型的姿态参数，Evdata为体素的能量约束项，用于描述所述SMPL模型和所述部分三维模型之间的误差，Emdata为相互作用约束项，用于描述所述部分三维模型与所述完整三维模型之间的误差，以及所述SMPL模型与所述完整三维模型之间的误差，Ebind为捆绑约束项，表征非刚性变形前后的模型误差，Eprior为人体先验运动约束项，用于惩罚人体运动过程中产生的不自然的人体姿态，λvd、λmd、λbind和λprior是对应各约束项的权值系数。
进一步地，所述完整模型确定模块，包括：
完整模型确定单元，用于将所述目标深度图像、所述目标深度图像关联的RGB图像以及该RGB图像中人体各个部分的分割图，输入预先训练的神经网络模型，输出所述目标人体的完整三维模型；
其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；
进一步地，所述模型融合模块，包括：
数量确定单元，用于确定配准后的所述部分三维模型的TSDF截断符号距离函数体素化模型表征中，每个部分体素周围非空体素的数量；
权重确定单元，用于根据所述每个部分体素周围非空体素的数量确定每个完整体素的权重，其中该权重与所述每个部分体素周围非空体素的数量负相关，所述每个完整体素是指配准后的所述完整三维模型的TSDF体素化模型表征中，与所述每个部分体素对应的体素；
模型融合单元，用于根据所述每个部分体素的距离值和权重，以及所述每个完整体素的距离值和权重，融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标对象的最终三维模型。
进一步地，依照如下公式确定所述每个完整体素的权重，
w(v)＝1/(1+N(v))
其中，N(v)表示所述每个部分体素周围非空体素的数量。
进一步地，依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的距离值，
Figure BDA0002640696090000171
其中，W(v)是所述每个部分体素的权重，d(v)是与所述每个部分体素对应的每个完整体素的距离值，ω(v)是与所述每个部分体素对应的每个完整体素的权重。
进一步地，依据如下公式，确定与所述每个部分体素对应的每个完整体素的距离值，
Figure BDA0002640696090000181
其中，
Figure BDA0002640696090000182
表示所述每个部分体素通过非刚性变形后的位置，u是与
Figure BDA0002640696090000183
对应的在所述完整三维模型的三维点，sgn(.)是符号函数，用来判断d(v)取值的正负。
进一步地，依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的权重，
W(v)←W(v)+w(v)
其中，ω(v)是与所述每个部分体素对应的每个完整体素的权重。
本发明实施例所提供的动态人体三维模型补全装置可执行本发明任意实施例所提供的动态人体三维模型补全方法，具备执行方法相应的功能模块和有益效果。
实施例七
图8为本发明实施例七提供的一种设备的结构示意图，如图8所示，该设备包括处理器80、存储器81、输入装置82和输出装置83；设备中处理器80的数量可以是一个或多个，图8中以一个处理器80为例；设备中的处理器80、存储器81、输入装置82和输出装置83可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器81作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的动态人体三维模型补全方法对应的程序指令/模块(例如，动态人体三维模型补全装置中的图像采集模块701、模型重建模块702、完整模型确定模块703、模型配准模块704和模型融合模块705)。处理器80通过运行存储在存储器81中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的动态人体三维模型补全方法。
存储器81可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器81可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器81可进一步包括相对于处理器80远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置82可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置83可包括显示屏等显示设备。
实施例八
本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种动态人体三维模型补全方法，该方法包括：
利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；
根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；
将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；
对所述部分三维模型和所述完整三维模型进行配准；
融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的动态人体三维模型补全方法中的相关操作.
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (20)

1.一种动态人体三维模型补全方法，其特征在于，包括：
利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；
根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；
将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；
对所述部分三维模型和所述完整三维模型进行配准；
融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述部分三维模型和所述完整三维模型进行配准，包括：
计算所述部分三维模型与所述完整三维模型之间的非刚性变形信息；
根据计算的非刚性变形信息，对所述部分三维模型和所述完整三维模型进行配准。
3.根据权利要求2所述的方法，其特征在于，通过联合求解如下优化方程，确定所述非刚性变形信息，
Ecomp(G0，β0，θ0)＝λvdEvdata+λmdEmdata+λbindEbind+λpriorEprior
其中，G0为从所述部分三维模型到所述完整三维模型的非刚性变形模型，该模型为nodegraph图模型，β0为所述部分三维模型对应拟合的SMPL参数化人体模型的形状参数，θ0为所述部分三维模型对应拟合的SMPL模型的姿态参数，Evdata为体素的能量约束项，用于描述所述SMPL模型和所述部分三维模型之间的误差，Emdata为相互作用约束项，用于描述所述部分三维模型与所述完整三维模型之间的误差，以及所述SMPL模型与所述完整三维模型之间的误差，Ebind为捆绑约束项，表征非刚性变形前后的模型误差，Eprior为人体先验运动约束项，用于惩罚人体运动过程中产生的不自然的人体姿态，λvd、λmd、λbind和λprior是对应各约束项的权值系数。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像，包括：
将所述目标深度图像、所述目标深度图像关联的RGB图像以及该RGB图像中人体各个部分的分割图，输入预先训练的神经网络模型，输出所述目标人体的完整三维模型；
其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像。
5.根据权利要求1-3中任一所述的方法，其特征在于，所述融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标对象的最终三维模型，包括：
确定配准后的所述部分三维模型的TSDF截断符号距离函数体素化模型表征中，每个部分体素周围非空体素的数量；
根据所述每个部分体素周围非空体素的数量确定每个完整体素的权重，其中该权重与所述每个部分体素周围非空体素的数量负相关，所述每个完整体素是指配准后的所述完整三维模型的TSDF体素化模型表征中，与所述每个部分体素对应的体素；
根据所述每个部分体素的距离值和权重，以及所述每个完整体素的距离值和权重，融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标对象的最终三维模型。
6.根据权利要求5所述的方法，其特征在于，依照如下公式确定所述每个完整体素的权重，
w(v)＝1/(1+N(v))
其中，N(v)表示所述每个部分体素周围非空体素的数量。
7.根据权利要求5所述的方法，其特征在于，依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的距离值，
Figure FDA0002640696080000031
其中，W(v)是所述每个部分体素的权重，d(v)是与所述每个部分体素对应的每个完整体素的距离值，ω(v)是与所述每个部分体素对应的每个完整体素的权重。
8.根据权利要求7所述的方法，其特征在于，依据如下公式，确定与所述每个部分体素对应的每个完整体素的距离值，
Figure FDA0002640696080000032
其中，
Figure FDA0002640696080000033
表示所述每个部分体素通过非刚性变形后的位置，u是与
Figure FDA0002640696080000034
对应的在所述完整三维模型的三维点，sgn(.)是符号函数，用来判断d(v)取值的正负。
9.根据权利要求5所述的方法，其特征在于，依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的权重，
W(v)←W(v)+ω(v)
其中，ω(v)是与所述每个部分体素对应的每个完整体素的权重。
10.一种动态人体三维模型补全装置，包括：
图像采集模块，用于利用至少一个深度图像采集设备，采集包括目标人体的至少一张深度图像；
模型重建模块，用于根据所述至少一张深度图像重建所述目标人体的三维模型，得到所述目标人体的部分三维模型；
完整模型确定模块，用于将目标深度图像关联的RGB图像输入预先训练的神经网络模型，输出所述目标人体的完整三维模型，其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像；
模型配准模块，用于对所述部分三维模型和所述完整三维模型进行配准；
模型融合模块，用于融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标人体的最终三维模型。
11.根据权利要求10所述的装置，其中，所述模型配准模块，包括：
计算信息单元，用于计算所述部分三维模型与所述完整三维模型之间的非刚性变形信息；
模型配准单元，用于根据计算的非刚性变形信息，对所述部分三维模型和所述完整三维模型进行配准。
12.根据权利要求11所述的装置，其中，通过联合求解如下优化方程，确定所述非刚性变形信息，
Ecomp(G0，β0，θ0)＝λvdEvdata+λmdEmdata+λbindEbind+λpriorEprior
其中，G0为从所述部分三维模型到所述完整三维模型的非刚性变形模型，该模型为nodegraph图模型，β0为所述部分三维模型对应拟合的SMPL参数化人体模型的形状参数，θ0为所述部分三维模型对应拟合的SMPL模型的姿态参数，Evdata为体素的能量约束项，用于描述所述SMPL模型和所述部分三维模型之间的误差，Emdata为相互作用约束项，用于描述所述部分三维模型与所述完整三维模型之间的误差，以及所述SMPL模型与所述完整三维模型之间的误差，Ebind为捆绑约束项，表征非刚性变形前后的模型误差，Eprior为人体先验运动约束项，用于惩罚人体运动过程中产生的不自然的人体姿态，λvd、λmd、λbind和λprior是对应各约束项的权值系数。
13.根据权利要求10-12中任一所述的装置，其中，所述完整模型确定模块，包括：
完整模型确定单元，用于将所述目标深度图像、所述目标深度图像关联的RGB图像以及该RGB图像中人体各个部分的分割图，输入预先训练的神经网络模型，输出所述目标人体的完整三维模型；
其中所述目标深度图像为所述至少一张深度图像中的最后一帧图像。
14.根据权利要求10-12中任一所述的装置，其中，所述模型融合模块，包括：
数量确定单元，用于确定配准后的所述部分三维模型的TSDF截断符号距离函数体素化模型表征中，每个部分体素周围非空体素的数量；
权重确定单元，用于根据所述每个部分体素周围非空体素的数量确定每个完整体素的权重，其中该权重与所述每个部分体素周围非空体素的数量负相关，所述每个完整体素是指配准后的所述完整三维模型的TSDF体素化模型表征中，与所述每个部分体素对应的体素；
模型融合单元，用于根据所述每个部分体素的距离值和权重，以及所述每个完整体素的距离值和权重，融合配准后的所述部分三维模型和所述完整三维模型，得到所述目标对象的最终三维模型。
15.根据权利要求14所述的装置，其中，依照如下公式确定所述每个完整体素的权重，
w(v)＝1/(1+N(v))
其中，N(v)表示所述每个部分体素周围非空体素的数量。
16.根据权利要求14所述的装置，其中，依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的距离值，
Figure FDA0002640696080000061
其中，W(v)是所述每个部分体素的权重，d(v)是与所述每个部分体素对应的每个完整体素的距离值，ω(v)是与所述每个部分体素对应的每个完整体素的权重。
17.根据权利要求16所述的装置，其中，依据如下公式，确定与所述每个部分体素对应的每个完整体素的距离值，
Figure FDA0002640696080000062
其中，
Figure FDA0002640696080000063
表示所述每个部分体素通过非刚性变形后的位置，u是与
Figure FDA0002640696080000064
对应的在所述完整三维模型的三维点，sgn(.)是符号函数，用来判断d(v)取值的正负。
18.根据权利要求14所述的装置，其中，依照如下公式，确定所述最终三维模型的TSDF体素化模型表征中体素的权重，
W(v)←W(v)+ω(v)
其中，ω(v)是与所述每个部分体素对应的每个完整体素的权重。
19.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的动态人体三维模型补全方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的动态人体三维模型补全方法。
CN202010838890.9A 2020-08-19 2020-08-19 动态人体三维模型补全方法、装置、设备和介质 Active CN111968165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010838890.9A CN111968165B (zh) 2020-08-19 2020-08-19 动态人体三维模型补全方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010838890.9A CN111968165B (zh) 2020-08-19 2020-08-19 动态人体三维模型补全方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111968165A true CN111968165A (zh) 2020-11-20
CN111968165B CN111968165B (zh) 2024-01-23

Family

ID=73389394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010838890.9A Active CN111968165B (zh) 2020-08-19 2020-08-19 动态人体三维模型补全方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111968165B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669431A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质以及程序产品
CN112884638A (zh) * 2021-02-02 2021-06-01 北京东方国信科技股份有限公司 虚拟试衣方法及装置
CN113139983A (zh) * 2021-05-17 2021-07-20 北京华捷艾米科技有限公司 一种基于rgbd的人像分割方法及装置
CN113538667A (zh) * 2021-09-17 2021-10-22 清华大学 动态场景光场重建方法及装置
CN113538663A (zh) * 2021-07-12 2021-10-22 华东师范大学 一种基于深度特征解耦的可控人体形状补全方法
CN113763559A (zh) * 2021-07-01 2021-12-07 清华大学 一种拟合深度图像的几何运动细节重建方法及装置
CN114998514A (zh) * 2022-05-16 2022-09-02 聚好看科技股份有限公司 一种虚拟角色的生成方法及设备
WO2023184278A1 (en) * 2022-03-30 2023-10-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for semantic map building, server, terminal device and storage medium

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959747A (zh) * 2017-02-14 2017-07-18 深圳奥比中光科技有限公司 三维人体测量方法及其设备
CN108154551A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 实时动态重建三维人体模型的方法及系统
US20180253909A1 (en) * 2017-03-06 2018-09-06 Sony Corporation Information processing apparatus, information processing method and user equipment
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN110070605A (zh) * 2019-03-28 2019-07-30 东南大学 一种实时人体无标记动作捕获方法
CN110335343A (zh) * 2019-06-13 2019-10-15 清华大学 基于rgbd单视角图像人体三维重建方法及装置
CN110599535A (zh) * 2019-08-05 2019-12-20 清华大学 基于哈希表的高分辨率人体实时动态重建方法及装置
US20200074747A1 (en) * 2018-08-30 2020-03-05 Qualcomm Incorporated Systems and methods for reconstructing a moving three-dimensional object
CN110874864A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN111161364A (zh) * 2019-12-24 2020-05-15 东南大学 一种针对单视角深度图的实时形状补全和姿态估计方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959747A (zh) * 2017-02-14 2017-07-18 深圳奥比中光科技有限公司 三维人体测量方法及其设备
US20180253909A1 (en) * 2017-03-06 2018-09-06 Sony Corporation Information processing apparatus, information processing method and user equipment
CN108154551A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 实时动态重建三维人体模型的方法及系统
US20200074747A1 (en) * 2018-08-30 2020-03-05 Qualcomm Incorporated Systems and methods for reconstructing a moving three-dimensional object
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN110070605A (zh) * 2019-03-28 2019-07-30 东南大学 一种实时人体无标记动作捕获方法
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN110335343A (zh) * 2019-06-13 2019-10-15 清华大学 基于rgbd单视角图像人体三维重建方法及装置
CN110599535A (zh) * 2019-08-05 2019-12-20 清华大学 基于哈希表的高分辨率人体实时动态重建方法及装置
CN110874864A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN111161364A (zh) * 2019-12-24 2020-05-15 东南大学 一种针对单视角深度图的实时形状补全和姿态估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI CHENG 等: ""iHuman3D: Intelligent Human Body 3D Reconstruction using a Single Flying Camera"", 《SESSION: SYSTEM-2 (SMART MULTIMEDIA SYSTEMS)》, pages 1733 - 1741 *
朱江涛: ""基于Kinect的人体三维重建与尺寸测量"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, vol. 2015, no. 6, pages 138 - 643 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669431A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质以及程序产品
CN112669431B (zh) * 2020-12-30 2023-10-20 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质以及程序产品
CN112884638A (zh) * 2021-02-02 2021-06-01 北京东方国信科技股份有限公司 虚拟试衣方法及装置
CN113139983A (zh) * 2021-05-17 2021-07-20 北京华捷艾米科技有限公司 一种基于rgbd的人像分割方法及装置
CN113763559A (zh) * 2021-07-01 2021-12-07 清华大学 一种拟合深度图像的几何运动细节重建方法及装置
CN113763559B (zh) * 2021-07-01 2024-04-09 清华大学 一种拟合深度图像的几何运动细节重建方法
CN113538663A (zh) * 2021-07-12 2021-10-22 华东师范大学 一种基于深度特征解耦的可控人体形状补全方法
CN113538663B (zh) * 2021-07-12 2022-04-05 华东师范大学 一种基于深度特征解耦的可控人体形状补全方法
CN113538667A (zh) * 2021-09-17 2021-10-22 清华大学 动态场景光场重建方法及装置
WO2023184278A1 (en) * 2022-03-30 2023-10-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for semantic map building, server, terminal device and storage medium
CN114998514A (zh) * 2022-05-16 2022-09-02 聚好看科技股份有限公司 一种虚拟角色的生成方法及设备

Also Published As

Publication number Publication date
CN111968165B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN111968165B (zh) 动态人体三维模型补全方法、装置、设备和介质
CN111968169B (zh) 动态人体三维重建方法、装置、设备和介质
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
CN109840940B (zh) 动态三维重建方法、装置、设备、介质和系统
Atapour-Abarghouei et al. Real-time monocular depth estimation using synthetic data with domain adaptation via image style transfer
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
WO2024103890A1 (zh) 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN116310066A (zh) 一种单图像三维人体形态估计方法及应用
CN115761117A (zh) 一种基于star模型的三维人体重建方法及系统
CN115760807A (zh) 一种视网膜眼底图像配准方法及系统
CN114170290A (zh) 图像的处理方法及相关设备
CN114972634A (zh) 基于特征体素融合的多视角三维可变形人脸重建方法
Alhamazani et al. 3DCascade-GAN: Shape completion from single-view depth images
CN113886510A (zh) 一种终端交互方法、装置、设备及存储介质
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
CN117218713A (zh) 动作解算方法、装置、设备及存储介质
CN116863044A (zh) 人脸模型的生成方法、装置、电子设备及可读存储介质
CN116452715A (zh) 动态人手渲染方法、装置及存储介质
CN115731344A (zh) 图像处理模型训练方法以及三维对象模型构建方法
CN113592021B (zh) 一种基于可变形和深度可分离卷积的立体匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant