CN113822982A - 一种人体三维模型构建方法、装置、电子设备及存储介质 - Google Patents

一种人体三维模型构建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113822982A
CN113822982A CN202010565641.7A CN202010565641A CN113822982A CN 113822982 A CN113822982 A CN 113822982A CN 202010565641 A CN202010565641 A CN 202010565641A CN 113822982 A CN113822982 A CN 113822982A
Authority
CN
China
Prior art keywords
human body
dimensional
vertex
model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010565641.7A
Other languages
English (en)
Other versions
CN113822982B (zh
Inventor
曹炎培
赵培尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010565641.7A priority Critical patent/CN113822982B/zh
Priority to JP2022557941A priority patent/JP2023518584A/ja
Priority to PCT/CN2020/139594 priority patent/WO2021253788A1/zh
Publication of CN113822982A publication Critical patent/CN113822982A/zh
Priority to US18/049,975 priority patent/US20230073340A1/en
Application granted granted Critical
Publication of CN113822982B publication Critical patent/CN113822982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本公开关于一种人体三维模型构建方法、装置、电子设备及存储介质，用以提高构建人体三维模型的效率，减小计算量，该方法包括获取包含人体区域的待检测图像，并将待检测图像输入特征提取网络，得到人体区域的图像特征信息；将所述图像特征信息输入全连接顶点重建网络，得到第一人体三维网格顶点位置；并根据第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建人体三维模型。本公开实施例中，全连接顶点重建网络的计算量小，可提高计算效率，并且在训练过程中全连接顶点重建网络与高精度图卷积神经网络进行一致性约束训练，全连接顶点重建网络得到的第一人体三维网格顶点位置准确度较高，高效精准的构建人体三维模型。

Description

一种人体三维模型构建方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种人体三维模型构建方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的发展，根据图像数据重建人体三维模型是机器视觉算法的一个重要应用方向。从图像中重建人体三维模型后，得到人体三维模型可广泛应用于影视文娱、医疗健康及教育等领域。
目前，根据图像数据重建人体三维模型的方法大多依赖多视角多采集设备或可穿戴设备系统采集到的多张图像进行。例如，基于深度图像采集设备采集的深度图像构建人体三维模型，通过多个深度图像采集设备拍摄被采集对象，利用采集到的深度图像或转化后的三维点云数据重建人体表面，并通过优化的方法与预制人体参数化模型进行注册对准，从而得到人体三维模型。根据深度图像采集设备采集多张深度图像构建人体三维模型重建的方法需要在特定场景进行拍摄，限制条件较多，构建过程复杂，所需计算量大，导致构建人体三维模型的效率较低。
发明内容
本公开提供一种人体三维模型构建方法、装置、电子设备及存储介质，用以提高构建人体三维模型的效率，减小计算量。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种人体三维模型构建方法，包括：
获取包含人体区域的待检测图像，并将所述待检测图像输入三维重建模型中的特征提取网络，得到所述人体区域的图像特征信息；
将所述人体区域的图像特征信息输入所述三维重建模型中的全连接顶点重建网络，得到所述人体区域对应的第一人体三维网格顶点位置；其中，所述全连接顶点重建网络是根据训练过程中位于所述三维重建模型中的图卷积神经网络进行一致性约束训练得到的；
根据所述第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建所述人体区域对应的人体三维模型。
在一种可能的实现方式中，根据下列方式对所述三维重建模型中的特征提取网络、全连接顶点重建网络以及图卷积神经网络进行联合训练：
将包含样本人体区域的样本图像输入初始特征提取网络，得到所述初始特征提取网络输出的所述样本人体区域的图像特征信息；
将所述样本人体区域的图像特征信息以及预定义的人体模型网格拓扑结构输入初始图卷积神经网络，得到所述样本人体区域对应的人体三维网格模型；以及将所述样本人体区域的图像特征信息输入初始全连接顶点重建网络，得到所述样本人体区域对应的第二人体三维网格顶点位置；
根据所述人体三维网格模型、所述第二人体三维网格顶点位置以及预先标注的所述样本图像中人体顶点位置，对所述特征提取网络、全连接顶点重建网络以及图卷积神经网络的模型参数进行调整，得到训练后的特征提取网络、全连接顶点重建网络和图卷积神经网络。
在一种可能的实现方式中，在得到训练后的特征提取网络、全连接顶点重建网络和图卷积神经网络之后，还包括：
将所述三维重建模型中的图卷积神经网络删除，得到训练后的三维重建模型。
在一种可能的实现方式中，所述根据所述人体三维网格模型、所述第二人体三维网格顶点位置以及预先标注的所述样本图像中人体顶点位置，对所述特征提取网络、全连接顶点重建网络以及图卷积神经网络的模型参数进行调整，包括：
根据所述人体三维网格模型对应的第三人体三维网格顶点位置、所述预先标注的人体顶点位置第一损失值；其中所述预先标注的人体顶点位置为顶点投影坐标或三维网格顶点坐标；
根据所述第三人体三维网格顶点位置、所述第二人体三维网格顶点位置、以及所述预先标注的人体顶点位置确定第二损失值；
根据所述第一损失值对所述初始图卷积神经网络的模型参数进行调整，根据所述第二损失值对所述初始全连接顶点重建网络的模型参数进行调整，以及根据所述第一损失值和所述第二损失值对所述初始特征提取网络的模型参数进行调整，直到确定出的第一损失值在第一预设范围内且确定出的第二损失值在第二预设范围内。
在一种可能的实现方式中，所述根据所述第三人体三维网格顶点位置、所述第二人体三维网格顶点位置、以及所述预先标注的人体顶点位置确定第二损失值，包括：
根据所述第二人体三维网格顶点位置、所述第三人体三维网格顶点位置和一致性损失函数确定一致性损失值；其中，所述一致性损失值表示所述全连接顶点重建网络与所述初始图卷积神经网络输出的人体三维网格顶点位置的重合程度；
根据所述第二人体三维网格顶点位置、所述预先标注的人体顶点位置和预测损失函数确定预测损失值；其中，所述预测损失值表示所述全连接顶点重建网络输出的人体三维网格顶点位置的准确程度；
将所述一致性损失值、预测损失值进行加权平均运算得到所述第二损失值。
在一种可能的实现方式中，所述将所述一致性损失值、预测损失值进行加权平均运算得到所述第二损失值，包括：
将所述一致性损失值、预测损失值以及平滑性损失值进行加权平均运算得到所述第二损失值；
其中，所述平滑性损失值表示根据所述全连接顶点重建网络输出的人体三维网格顶点位置构建出的人体三维模型的平滑程度，且所述平滑性损失值是根据所述第二人体三维网格顶点位置和平滑性损失函数确定的。
在一种可能的实现方式中，在根据所述人体区域对应的第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建所述人体区域对应的人体三维模型之后，还包括：
将所述人体三维模型输入至已训练的人体参数回归网络，得到所述人体三维模型对应的人体形态参数；其中，所述人体形态参数用于表示所述人体三维模型的人体形体和/或人体位姿。
根据本公开实施例的第二方面，提供一种人体三维模型构建装置，包括：
特征提取单元，被配置为执行获取包含人体区域的待检测图像，将所述待检测图像输入三维重建模型中的特征提取网络，得到所述人体区域的图像特征信息；
位置获取单元，被配置为执行将所述人体区域的图像特征信息输入所述三维重建模型中的全连接顶点重建网络，得到所述人体区域对应的第一人体三维网格顶点位置；其中，所述全连接顶点重建网络是根据训练过程中位于所述三维重建模型中的图卷积神经网络进行一致性约束训练得到的；
模型构建单元，被配置为执行根据所述第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建所述人体区域对应的人体三维模型。
在一种可能的实现方式中，该装置还包括训练单元；
所述训练单元具体被配置为执行根据下列方式对所述三维重建模型中的特征提取网络、全连接顶点重建网络以及图卷积神经网络进行联合训练：
将包含样本人体区域的样本图像输入初始特征提取网络，得到所述初始特征提取网络输出的所述样本人体区域的图像特征信息；
将所述样本人体区域的图像特征信息以及预定义的人体模型网格拓扑结构输入初始图卷积神经网络，得到所述样本人体区域对应的人体三维网格模型；以及将所述样本人体区域的图像特征信息输入初始全连接顶点重建网络，得到所述样本人体区域对应的第二人体三维网格顶点位置；
根据所述人体三维网格模型、所述第二人体三维网格顶点位置以及预先标注的所述样本图像中人体顶点位置，对所述特征提取网络、全连接顶点重建网络以及图卷积神经网络的模型参数进行调整，得到训练后的特征提取网络、全连接顶点重建网络和图卷积神经网络。
在一种可能的实现方式中，所述训练单元还被配置为执行将所述三维重建模型中的图卷积神经网络删除，得到训练后的三维重建模型。
在一种可能的实现方式中，所述训练单元具体被配置为执行：
根据所述人体三维网格模型对应的第三人体三维网格顶点位置、所述预先标注的人体顶点位置确定第一损失值；其中所述预先标注的人体顶点位置为顶点投影坐标或三维网格顶点坐标；
根据所述第三人体三维网格顶点位置、所述第二人体三维网格顶点位置、以及所述预先标注的人体顶点位置确定第二损失值；
根据所述第一损失值对所述初始图卷积神经网络的模型参数进行调整，根据所述第二损失值对所述初始全连接顶点重建网络的模型参数进行调整，以及根据所述第一损失值和所述第二损失值对所述初始特征提取网络的模型参数进行调整，直到确定出的第一损失值在第一预设范围内且确定出的第二损失值在第二预设范围内。
在一种可能的实现方式中，所述训练单元具体被配置为执行：
根据所述第二人体三维网格顶点位置、所述第三人体三维网格顶点位置和一致性损失函数确定一致性损失值；其中，所述一致性损失值表示所述全连接顶点重建网络与所述初始图卷积神经网络输出的人体三维网格顶点位置的重合程度；
根据所述第二人体三维网格顶点位置、所述预先标注的人体顶点位置和预测损失函数确定预测损失值；其中，所述预测损失值表示所述全连接顶点重建网络输出的人体三维网格顶点位置的准确程度；
将所述一致性损失值、预测损失值进行加权平均运算得到所述第二损失值。
在一种可能的实现方式中，所述训练单元具体被配置为执行：
将所述一致性损失值、预测损失值以及平滑性损失值进行加权平均运算得到所述第二损失值；
其中，所述平滑性损失值表示根据所述全连接顶点重建网络输出的人体三维网格顶点位置构建出的人体三维模型的平滑程度，且所述平滑性损失值是根据所述第二人体三维网格顶点位置和平滑性损失函数确定的。
在一种可能的实现方式中，该装置还包括人体形态参数获取单元；
所述人体形态参数获取单元具体被配置为执行将所述人体三维模型输入至已训练的人体参数回归网络，得到所述人体三维模型对应的人体形态参数；其中，所述人体形态参数用于表示所述人体三维模型的人体形体和/或人体位姿。
根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，用于存储可执行指令；
处理器，用于读取并执行所述存储器中存储的可执行指令，以实现如本公开实施例第一方面中任一项所述的人体三维模型构建方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由人体三维模型构建装置的处理器执行时，使得人体三维模型构建装置能够执行本公开实施例第一方面中所述的人体三维模型构建方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例公开的一种人体三维模型构建方法，对包含人体区域的待检测图像进行特征提取，确定待检测图像中人体区域的图像特征信息，并通过三维重建模型中的全连接顶点重建网络，对图像特征信息进行解码得到待检测图像中人体区域对应的第一人体三维网格顶点位置，以及通过第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系构建人体三维模型。本公开实施例提供的人体三维模型构建方法，基于单张包含人体区域的待检测图像就可以构建人体三维模型，构建过程成本较低；并且通过将待检测图像的图像特征信息输入全连接顶点重建网络确定待检测图像中第一人体三维网格顶点位置，根据第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系构建人体三维模型，从而提高构建人体三维模型的效率；以及，全连接顶点重建网络的计算量小，可提高计算效率，并且在训练过程中全连接顶点重建网络与图卷积神经网络进行一致性约束训练，因此全连接顶点重建网络得到第一人体三维网格顶点位置准确度较高，实现高效精准的构建人体三维模型。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种人体三维模型构建方法流程图；
图2是根据一示例性实施例示出的一种应用场景示意图；
图3是根据一示例性实施例示出的一种特征提取网络的结构示意图；
图4是根据一示例性实施例示出的一种全连接顶点重建网络的结构示意图；
图5是根据一示例性实施例示出的一种全连接顶点重建网络隐藏层节点的结构示意图；
图6是根据一示例性实施例示出的人体三维模型的部分结构示意图；
图7是根据一示例性实施例示出的一种训练过程的示意图；
图8是根据一示例性实施例示出的一种人体三维模型构建装置框图；
图9是根据一示例性实施例示出的另一种人体三维模型构建装置框图；
图10是根据一示例性实施例示出的另一种人体三维模型构建装置框图；
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
以下，对本公开实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)本公开实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
(2)本公开实施例中术语“终端设备”是指可以安装各类应用程序，并且能够将已安装的应用程序中提供的对象进行显示的设备，该终端设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digitalassistant，PDA)、销售终端(point of sales，POS)或其它能够实现上述功能的终端设备等。
(3)本公开实施例中术语“卷积神经网络”是指一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一，具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)。
(4)本公开实施例中术语“机器学习”是指一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
随着图像处理技术的发展，根据图像数据构建人体三维模型从而重现图像中的人体是机器视觉算法的一个重要应用方向。大量的应用场景需要应用根据人体三维模型得到的人体数据，例如应用在影视文娱领域，根据人体三维模型得到的人体数据驱动三维动画人物，自动生成动画；或者应用在医疗健康领域，根据人体三维模型得到的人体数据对被拍摄人体的肢体运动以及肌肉用力行为进行分析等。
目前，根据图像数据构建人体三维模型的方法大多依赖多视角多采集设备或可穿戴设备系统采集到的多张深度图像进行，根据深度图像采集设备采集多张深度图像构建人体三维模型重建的方法需要在特定场景进行拍摄，限制条件较多，构建过程复杂，导致构建人体三维模型的效率较低，此外，深度图像采集设备价格昂贵，构建人体三维模型的成本很高。
本公开实施例提供一种人体三维模型构建方法，基于普通图像采集设备采集到的单张图像，基于机器学习实现构建人体三维模型，用于解决现有技术中根据多视角多采集设备构建人体三维模型造成的采集成本高、构建过程复杂造成构建效率较低等问题，降低构建人体三维模型的复杂度，提高构建人体三维模型的效率。
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
下面对本公开实施例作进一步详细描述。
图1是根据一示例性实施例示出的一种人体三维模型构建方法流程图，如图1所示，包括以下步骤：
在步骤S11中、获取包含人体区域的待检测图像，将待检测图像输入三维重建模型中的特征提取网络，得到人体区域的图像特征信息；
在步骤S12中、将人体区域的图像特征信息输入三维重建模型中的全连接顶点重建网络，得到人体区域对应的第一人体三维网格顶点位置；
其中，全连接顶点重建网络是根据训练过程中位于三维重建网络中的图卷积神经网络进行一致性约束训练得到的；
在步骤S13中、根据第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建人体区域对应的人体三维模型。
由上可见，本公开实施例公开的一种人体三维模型构建方法，对包含人体区域的待检测图像进行特征提取，确定待检测图像中人体区域的图像特征信息，并通过三维重建模型中的全连接顶点重建网络，对图像特征信息进行解码得到待检测图像中人体区域对应的第一人体三维网格顶点位置，以及通过第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系构建人体三维模型。本公开实施例提供的人体三维模型构建方法，基于单张包含人体区域的待检测图像就可以构建人体三维模型，构建过程成本较低；并且通过将待检测图像的图像特征信息输入全连接顶点重建网络确定待检测图像中第一人体三维网格顶点位置，根据第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系构建人体三维模型，从而提高构建人体三维模型的效率；以及，全连接顶点重建网络的计算量小，可提高计算效率，并且在训练过程中全连接顶点重建网络与图卷积神经网络进行一致性约束训练，因此全连接顶点重建网络得到第一人体三维网格顶点位置准确度较高，实现高效精准的构建人体三维模型。
一种可选的应用场景可以为如图2所示的示意图，终端设备21中安装图像采集设备，当用户20基于终端设备21的图像采集设备采集到包含人体区域的待检测图像时，一种可选的实施方式为，图像采集设备将采集到的待检测图像发送给服务器22。服务器22将待检测图像输入三维重建模型中的特征提取网络，特征提取网络对待检测图像进行特征提取得到人体区域的图像特征信息；服务器22将人体区域的图像特征信息输入三维重建模型中的全连接顶点重建网络，得到人体区域对应的第一人体三维网格顶点位置，并根据第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建人体区域对应的人体三维模型。服务器22将待检测图像中人体区域对应的人体三维模型发送给终端设备21中的图像采集设备，图像采集设备根据得到的人体三维模型进行相应的处理，例如，图像采集设备根据得到的人体三维模型得到人体数据，根据人体数据驱动三维动画人物等，并将动画人物展示给用户20。
需要说明的是，上述应用场景中，预设人体三维网格顶点之间的连接关系可以已经存储在服务器22中，或者在图像采集设备将待检测图像发送给服务器22的同时将预设人体三维网格顶点之间的连接关系一起发送给服务器22。上述应用场景仅是示例的，并不构成对本公开实施例保护范围的限定。
本公开实施例提供的人体三维模型构建方法，通过三维重建模型构建人体三维模型。本公开实施例中三维重建模型在训练过程中包括特征提取网络、全连接顶点重建网络以及图卷积神经网络，训练时，将全连接顶点重建网络与图卷积神经网络进行一致性约束训练，训练完成后将计算量存储量均较大的图卷积神经网络删除得到已训练的三维重建模型，已训练的三维重建模型中包含特征提取网络以及全连接顶点重建网络。
在通过已训练的三维重建模型构建人体三维模型时，在获取包含人体区域的待检测图像后，首先需要对待检测图像进行特征提取，得到待检测图像中人体区域的图像特征信息。
一种可选的实施方式为，将待检测图像输入三维重建模型中的特征提取网络中，得到人体区域的图像特征信息。
具体的，在调用已训练的特征提取网络之前，需要通过大量的包含人体区域的图像对特征提取网络进行训练，对特征提取网络进行训练时的训练样本包括包含人体区域的样本图像以及预先标注的样本图像中的人体顶点位置。将训练样本作为图像特征提取网络的输入，将样本图像的图像特征信息作为图像特征提取网络的输出，对图像特征提取网络进行训练。需要说明的是，本公开实施例中训练样本用于对本公开实施例中涉及到的多个神经网络进行联合训练，上述对特征提取网络训练过程的说明仅是示例的，对特征提取网络的详细训练过程在下文进行详细说明。
训练完成的特征提取网络具备提取包含图像中人体区域的图像特征信息的能力。
实施中，将待检测图像输入已训练的特征提取网络，已训练的特征提取网络会提取待检测图像中人体区域的图像特征信息，并将图像特征信息输出。
需要说明的是，本公开实施例中特征提取网络可以是卷积神经网络。
本公开实施例中，特征提取网络的结构如图3所示，包括至少一个卷积层31、池化层32以及输出层33；特征提取网络在对待检测图像进行特征提取时的处理过程如下：
通过至少一个卷积层31中多个用于提取人体区域特征的卷积核对待检测图像进行卷积操作，得到待检测图像对应的多个特征映射矩阵；
通过池化层32将多个特征映射矩阵进行平均运算，将平均运算得到的特征映射矩阵作为待检测图像对应的图像特征信息；
通过输出层将得到的待检测图像对应的图像特征信息输出。
具体的，本公开实施例中的特征提取网络包括至少一个卷积层、池化层以及输出层；
针对卷积层，特征提取网络包含至少一个卷积层，每个卷积层中包含多个卷积核，卷积核为用于提取待检测图像中人体区域特征的矩阵，输入特征提取网络的待检测图像为由像素值组成的图像矩阵，像素值可以是待检测图像中像素的灰度值，RGB值等；卷积层中多个卷积核对待检测图像进行卷积操作，卷积操作是指图像矩阵与卷积核矩阵进行矩阵的卷积运算；其中，图像矩阵经过一个卷积核的卷积操作后，得到了一个特征映射矩阵，多个卷积核对待检测图像进行卷积操作，可以得到待检测图像对应的多个特征映射矩阵，每个卷积核都可以提取特定的特征，不同的卷积核提取不同的特征。
本公开实施例中，卷积核可以是用于提取人体区域特征的卷积核，例如，提取人体顶点特征的卷积核，根据多个提取人体顶点特征的卷积核可以得到大量的待检测图像中人体顶点特征信息，这些信息可以表示待检测图像中人体顶点在待检测图像中的位置信息，进而确定待检测图像中的人体区域特征。
针对池化层，池化层将多个特征映射矩阵中相同位置的数值进行平均运算得到的一个特征映射矩阵即为待检测图像对应的图像特征信息。
例如，以得到的三个特征映射矩阵为例，说明本公开实施例中特征提取网络池化层的处理方法，假设特征映射矩阵为3×3的矩阵：
特征映射矩阵一：
Figure BDA0002547543440000131
特征映射矩阵二：
Figure BDA0002547543440000132
特征映射矩阵三：
Figure BDA0002547543440000133
则池化层对上述三个特征映射矩阵中相同位置的数值进行平均运算得到的特征映射矩阵为：
Figure BDA0002547543440000134
则上述映射矩阵为待检测图像的图像特征信息。需要说明的是，上述多个特征映射矩阵以及通过平均运算得到的特征映射矩阵的处理过程仅是示例的，并不构成对本公开保护范围的限定。
针对输出层，输出层将得到的待检测图像对应的图像特征信息输出。
需要说明的是，上述提取图像特征信息的过程本质上是通过多层卷积操作是将输入的待检测图像编码为高维的特征矩阵。本发明实施例中表示图像特征信息的特征矩阵的维度可以小于待检测图像的分辨率的维度。
得到待检测图像的图像特征信息后，基于全连接顶点重建网络确定待检测图像中人体区域的第一人体三维网格顶点位置。
一种可选的实施方式为，将人体区域的图像特征信息输入三维重建模型中的全连接顶点重建网络，得到全连接顶点重建网络输出的待检测图像中人体区域对应的第一人体三维网格顶点位置。
其中，已训练的全连接顶点重建网络是根据待检测图像的图像特征信息以及已训练的全连接顶点重建网络各层对应的权重矩阵，得到待检测图像中人体区域的第一人体三维网格顶点位置的。
具体的，在调用已训练的全连接顶点重建网络之前，需要通过特征提取网络输出的样本图像的图像特征信息对全连接顶点重建网络进行训练。将样本图像的图像特征信息作为全连接顶点重建网络的输入，将样本图像中人体区域对应的人体三维网格顶点位置作为全连接顶点重建网络的输出，对全连接顶点重建网络进行训练。需要说明的是，上述对全连接顶点重建网络训练过程的说明仅是示例的，对全连接顶点重建网络的详细训练过程在下文进行详细说明。
训练完成的全连接顶点重建网络具备确定待检测图像中人体区域对应的第一人体三维网格顶点位置的能力。
实施中，将待检测图像中人体区域的图像特征信息输入已训练的全连接顶点重建网络，已训练的全连接顶点重建网络会根据图像特征信息以及全连接顶点重建网络各层对应的权重矩阵，确定待检测图像中人体区域对应的第一人体三维网格顶点位置，并将第一人体三维网格顶点位置输出。
需要说明的是，本公开实施例中人体三维网格顶点可以为一些预先定义好的密集关键点，包含对人体表面较精细采样得到的三维关键点，可以包含五官及各关节附近的关键点，也可以在人体背部、腹部及四肢表面定义关键点等，实施中，可以预设1000个关键点，用以表达完整人体表面信息。其中人体三维网格顶点的个数可以小于提取到的图像特征信息中顶点的个数。
本公开实施例中，全连接顶点重建网络的结构如图4所示，包括输入层41、至少一个隐藏层42、以及输出层43；其中，全连接顶点重建网络各层节点的个数仅是示例的，并不构成对本公开实施例保护范围的限定。已训练的全连接顶点重建网络根据下列方式得到待检测图像中人体区域的第一人体三维网格顶点位置：
通过输入层41，对待检测图像的图像特征信息进行预处理得到输入特征向量；
通过至少一个隐藏层42，根据隐藏层对应的权重矩阵，对输入特征向量进行非线性变换得到待检测图像中人体区域的第一人体三维网格顶点位置；
通过输出层43，将待检测图像中人体区域的第一人体三维网格顶点位置输出。
具体的，本公开实施例中的全连接顶点重建网络包括至少一个输入层、至少一个隐藏层以及输出层；
以一个隐藏层为例说明本公开实施例中全连接顶点重建网络的结构，全连接顶点重建网络中输入层的每个节点与隐藏层的每个节点均相互连接，隐藏层的每个节点与输出层的每个节点之间均相互连接。针对输入层，全连接顶点重建网络通过输入层对输入的图像特征信息进行预处理，得到输入特征向量；在对图像特征信息进行预处理时，一种可选的实施方式为，将表示图像特征信息的特征矩阵中包含的数据转化成向量的形式，得到输入特征向量。
假设，图像特征信息如下所示：
Figure BDA0002547543440000161
则对图像特征信息进行预处理得到的输入特征向量可以是：
[4 2 1 2 0 0 1 -2 1]
上述图像特征信息与对图像特征信息的预处理过程仅是示例的，并不构成对本公开保护范围的限定。
需要说明的是，全连接顶点重建网络中节点的个数可以与输入特征向量中所包含的数据的个数相同。
针对隐藏层，全连接顶点重建网络的隐藏层根据隐藏层对应的权重矩阵，对输入特征向量进行非线性变换得到待检测图像中人体区域对应的第一人体三维网格顶点位置；隐藏层的每个节点的输出值，是根据输入层所有节点的输出值、当前节点与输入层所有节点的权值、当前节点的偏差值以及激活函数来确定的。
例如，根据下列公式确定隐藏层每个节点的输出值：
Figure BDA0002547543440000162
其中，Yk为隐藏层中节点k的输出值，Wik为隐藏层中节点k与上一层节点i之间的权重值，Xi为上一层节点i的输出值，Bk为节点k的偏差值，f()为激活函数。
在本公开实施例中，权重矩阵是由不同权重值构成的矩阵。激活函数可以选择RELU函数。
本公开实施例中，隐藏层中每个节点的结构可以如图5所示，包括全连接(FC)处理层、标准化(BN)处理层、激活函数(RELU)处理层；
其中，全连接处理层根据下列公式上一层节点的输出值、隐藏层中节点与上一层节点之间的权重值、以及隐藏层中节点的偏差值得到全连接处理之后的数值；标准化处理层用于对每个节点全连接处理之后的数值进行批标准化处理；激活函数处理层用于对归一化处理之后的值进行非线性变换处理，得到节点的输出值。
需要说明的是，本公开实施例中全连接顶点重建网络隐藏层的层数以及每层隐藏层中节点的个数可以根本领域技术人员的经验值设定，不做具体限定。针对输出层，全连接顶点重建网络的输出层将得到的待检测图像中人体区域对应的第一人体三维网格顶点位置输出。
需要说明的是，输出层每个节点的输出值的确定方式可以与隐藏层相同，即输出层的输出值，是根据隐藏层所有节点的输出值、输出层节点与隐藏层所有节点的权值以及激活函数来确定的。
本公开实施例中，输出层节点的个数可以是人体三维网格顶点个数的三倍，例如，假设人体三维网格顶点的个数为1000个，则输出层节点的个数为3000个。其中，输出层输出的向量可以按照每三个一组进行划分，构成第一人体三维网格顶点位置。例如，输出层输出的向量为：
[X1 Y1 Z1 X2 Y2 Z2 … Xi Yi Zi… X1000 Y1000 Z1000]
则(X1，Y1，Z1)为人体三维网格顶点1的位置；(Xi，Yi，Zi)为人体三维网格顶点i的位置。
需要说明的是，上述根据图像特征信息确定第一人体三维网格顶点位置的过程本质上是通过多层隐藏层对表示图像特征信息的高维特征矩阵进行解码之后得到人体三维网格顶点位置的过程。
本公开实施例中，基于全连接顶点重建网络获取待检测图像中人体区域的第一人体三维网格顶点位置后，根据第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建待检测图像中人体区域对应的人体三维模型。
具体的，根据全连接顶点重建网络输出的第一人体三维网格顶点位置确定人体三维网格顶点在三维空间中的坐标，按照预设人体三维网格顶点之间的连接关系，将空间中人体三维网格顶点进行连接，构建出待检测图像中人体区域对应的人体三维模型。
需要说明的是，本公开实施例中人体三维模型可以是三角网格模型，三角网格是由三角形组成的多边形网格，在图像学和建模过程中广泛应用，用于构建复杂物体的表面，如建筑、车辆、人体等的表面。
三角网格模型在存储时，以索引信息的形式存储，例如，图6所示为本公开实施例中人体三维模型的部分结构，其中，v1、v2、v3、v4、v5为五个人体三维网格顶点，在存储时对应的索引信息包括，如表1所示顶点位置索引列表、如表2所示的边索引列表以及如表3所示的三角形索引列表：
人体三维网格顶点 空间坐标
v1 (X1，Y1，Z1)
v2 (X2，Y2，Z2)
v3 (X3，Y3，Z3)
v4 (X4，Y4，Z4)
v5 (X5，Y5，Z5)
表1
边 边组成索引
e1 v1、v2
e2 v2、v3
e3 v3、v4
e4 v4、v5
e5 v5、v1
e6 v1、v4
e7 v2、v4
表2
Figure BDA0002547543440000181
Figure BDA0002547543440000191
表3
其中，表2，表3所示的索引信息表示预设人体关键点之间的连接关系，表1、表2、表3所示的数据仅是示例的，仅是本公开实施例中人体三维模型的部分人体三维网格顶点以及部分人体三维网格顶点之间的连接关系。实施中，人体三维网格顶点可以根据本领域技术人员的经验选取，以及，人体三维网格顶点的数量也可以根据本领域技术人员的经验设定的。
在获取第一人体三维网格顶点位置后，在空间中确定第一人体三维网格顶点的位置，并根据边索引列表以及三角形索引列表所示的连接关系，将空间中人体三维网格顶点进行连接，得到人体三维模型。
在构建待检测图像中人体区域对应的人体三维模型之后，可以根据人体三维模型进行相关领域的应用。
一种可选的实施方式为，将人体三维模型输入至已训练的人体参数回归网络，得到人体三维模型对应的人体形态参数。
其中，人体形态参数用于表示人体三维模型的人体形体和/或人体位姿。
具体的，根据人体三维模型可以得到待检测图像中人体的形态参数，包括表示人体形体的参数，例如，身高，三围，腿部长度等；以及标识人体位姿的参数，例如关节角度、人体姿势信息等。将该人体三维模型对应的人体形态参数应用于动画及影视行业中，用于生成三维动画等。
需要说明的是，将人体三维模型对应的人体形态参数应用于动画影视行业中仅是示例的，并不构成本公开保护范围的限定。得到的人体形态参数还可以应用于其他领域，例如运动、医疗领域等，根据待检测图像中人体对应的人体三维模型得到的人体形态参数，对待检测图像所拍摄的对象的肢体运动及肌肉用力行为进行分析等。
在确定人体三维模型对应的人体形态参数时，通过将人体三维模型输入已训练的人体参数回归网络，获取已训练的人体参数回归网络输出的人体三维模型对应的人体形态参数。其中，对人体参数回归网络进行训练时使用的训练样本包括人体三维模型样本、以及预先标注的人体三维模型样本对应的人体形态参数。
在调用人体参数回归网络之前，首先根据包括人体三维模型样本、以及预先标注的人体三维模型样本对应的人体形态参数的训练样本对人体参数回归网络进行训练，得到的人体参数回归网络具有根据人体三维模型得到人体形态参数的能力，在使用过程中，将根据待检测图像得到的人体三维模型输入已训练的人体参数回归网络中，人体参数回归网络输出人体三维模型对应的人体形态参数。
本公开实施例中，人体参数回归网络的性质可以是全连接神经网络、卷积神经网络等，本公开实施例不做具体限定，以及对人体参数回归网络的训练过程，本发明实施例不做具体限定。
本公开实施例还提供一种对三维重建模型中的特征提取网络、全连接顶点重建网络以及图卷积神经网络进行联合训练的方法，在联合训练的过程中，通过图卷积神经网络对全连接顶点重建网络进行一致性约束训练。
一种可选的实施方式为，将包含样本人体区域的样本图像输入初始特征提取网络，得到样本人体区域的图像特征信息；
将样本人体区域的图像特征信息以及预定义的人体模型网格拓扑结构输入初始图卷积神经网络，得到样本人体区域对应的人体三维网格模型；以及将样本人体区域的图像特征信息输入初始全连接顶点重建网络，得到样本人体区域对应的第二人体三维网格顶点位置；
根据人体三维网格模型、第二人体三维网格顶点位置以及预先标注的样本图像中人体顶点位置对特征提取网络、全连接顶点重建网络以及图卷积神经网络的模型参数进行调整，得到训练后的特征提取网络、全连接顶点重建网络和图卷积神经网络。
本公开实施例中提供的三维重建模型的训练方法中，三维重建模型中包括特征提取网络，全连接顶点重建网络以及图卷积神经网络，将特征提取网络提取的样本图像中样本人体区域的图像特征信息分别输入全连接顶点重建网络以及图卷积神经网络，全连接顶点重建网络的输出为第二人体三维网格顶点位置，图卷积神经网络的输入还包括预定义的人体模型网格拓扑结构，图卷积神经网络的输出为样本人体区域对应的人体三维网格模型，根据人体三维网格模型确定的第三人体三维网格顶点位置与全连接顶点重建网络输出的第二人体三维网格顶点位置对图卷积神经网络与全连接顶点重建网络进行一致性约束训练，训练后的全连接顶点重建网络与图卷积神经网络的获取人体三维网格顶点位置的能力相似，但是计算量远小于图卷积神经网络，实现高效准确的构建人体三维模型。
具体的，将样本图像以及预先标注的人体顶点位置输入三维重建模型，通过三维重建模型中的初始特征提取网络对样本图像进行特征提取，得到样本图像中样本人体区域的图像特征信息。
实施中，特征提取网络可以是卷积神经网络，特征提取网络对样本图像进行特征提取实质上是指，特征提取网络通过多层卷积操作将输入的样本图像编码为高维的特征矩阵，即为样本图像的图像特征信息。其中，特征提取网络对样本图像进行特征提取的过程与上述对待检测图像进行特征提取的过程相同，在此不再赘述。
将得到的样本图像的样本人体区域的图像特征信息分别输入至初始全连接顶点重建网络以及初始图卷积神经网络中。
初始全连接顶点重建网络根据样本图像中样本人体区域的图像特征信息以及初始全连接顶点重建网络各层对应的初始权重矩阵确定样本图像中第二人体三维网格顶点位置。
实施中，初始全连接顶点重建网络通过多个隐藏层对应的权重矩阵对表示图像特征信息的高维特征矩阵进行解码，得到样本图像中第二人体三维网格顶点位置。其中，全连接顶点重建网络根据样本图像的图像特征信息得到样本图像中第二人体三维网格顶点位置的过程，与全连接顶点重建网络根据待检测图像的图像特征信息得到待检测图像中第一人体三维网格顶点位置的过程相同，在此不再赘述。
假设，初始全连接顶点重建网络得到的样本图像中人体区域对应的第二人体三维网格顶点位置为(XQi，YQi，ZQi)，表示全连接顶点重建网络输出的第i个人体三维网格顶点在空间中的位置。
初始图卷积神经网络根据样本图像的图像特征信息以及输入初始图卷积神经网络的预定义的人体模型网格拓扑结构确定人体三维网格模型，并确定人体三维网格模型对应的第三人体三维网格顶点位置。
实施中，将初始特征提取网络输出的样本图像中样本人体区域对应的图像特征信息以及预定义的人体模型网格拓扑结构输入初始图卷积神经网络，其中预定义的人体模型网格拓扑结构可以为三角网格模型的存储信息，包括预设人体三维网格顶点对应的顶点位置索引列表、边索引列表以及三角形索引列表等；初始图卷积神经网络通过对表示图像特征信息的高维特征矩阵进行解码，得到样本图像中人体三维网格顶点对应的空间位置，并根据得到的人体三维网个顶点的空间位置对预先存储的顶点位置索引列表中人体三维网格顶点对应的空间位置进行调整，输出样本图像中所包含的样本人体区域对应的人体三维网格模型，通过输出的人体三维网格模型对应的调整后的顶点位置索引列表确定第三人体三维网格顶点位置。
假设，初始图卷积神经网络得到的样本图像中样本人体区域对应的第三人体三维网格顶点位置为(XTi，YTi，ZTi)，表示图卷积神经网络输出的第i个人体三维网格顶点在空间中的位置。
需要说明的是，本公开实施例中，第一人体三维网格顶点位置、第二人体三维网格顶点位置以及第三人体三维网格顶点位置所涉及的人体三维网格顶点可以相同，第一、第二、第三用于区分不同的情况下得到的人体三维网格顶点的位置，例如针对同一人体三维网格顶点，假设表示左眼中心点的人体三维网格顶点，第一人体三维网格顶点位置表示训练后的全连接顶点重建网络得到的待检测图像中人体区域左眼中心点的位置；第二人体三维网格顶点位置表示训练过程中全连接顶点重建网络得到的样本图像中样本人体区域左眼中心点的位置；第三人体网格顶点位置表示训练过程中图卷积神经网络得到的样本图像中样本人体区域对应的人体三维网格模型的左眼中心点的位置。
在得到样本人体区域对应的人体三维网格模型以及第二人体三维网格顶点后，还需要对特征提取网络、全连接顶点重建网络以及图卷积神经网络的参数进行调整得到训练后的特征提取网络、全连接顶点重建网络以及图卷积神经网络。
一种可选的实施方式为根据人体三维网格模型对应的第三人体三维网格顶点位置、预先标注的人体顶点位置确定第一损失值；根据第三人体三维网格顶点位置、第二人体三维网格顶点位置、以及预先标注的人体顶点位置确定第二损失值；
根据第一损失值对初始图卷积神经网络的模型参数进行调整，根据第二损失值对初始全连接顶点重建网络的模型参数进行调整，以及根据第一损失值和第二损失值对初始特征提取网络的模型参数进行调整，直到确定出的第一损失值在第一预设范围内且确定出的第二损失值在第二预设范围内。
本公开实施例中对三维重建模型的训练过程需要确定两个损失值，其中，根据第三人体三维网格顶点位置与预先标注的人体顶点位置确定第一损失值；
实施中，预先标注的人体顶点位置可以是三维网格顶点坐标，或者顶点投影坐标，通过采集样本图像时使用的图像采集设备的参数矩阵可以对人体顶点对应的三维网格顶点坐标和顶点投影坐标进行转换。假设，预先标注的样本图像中人体顶点位置为顶点投影坐标(xBi，yBi)，表示预先标注的第i个人体顶点位置。
在确定第一损失值时，根据第三人体三维网格顶点位置以及采集样本图像时使用的图像采集设备的参数矩阵得到第三人体三维网格顶点位置对应的投影坐标为(xTi，yTi)，则第一损失值的确定公式为：
Figure BDA0002547543440000241
其中，S1表示第一损失值；i表示第i个人体顶点；n表示人体顶点的总个数；(xTi，yTi)表示第i个第三人体三维网格顶点位置对应的投影坐标；(xBi，yBi)表示预先标注的第i个人体顶点位置，为顶点投影坐标。
上述实施例仅是示例的，实施中，还可以根据预先标注的顶点投影坐标以及采集样本图像时使用的图像采集设备的参数矩阵得到对应的三维网格顶点坐标，根据三维网格顶点坐标与第三人体三维网格顶点位置确定第一损失值。
假设，预先标注的样本图像中人体顶点位置为三维网格顶点坐标(XBi，YBi，ZBi)，表示预先标注的第i个人体顶点位置。
在确定第一损失值时，根据第三人体三维网格顶点位置，以及预先标注的三维网格顶点确定第一损失值，则第一损失值的确定公式为：
Figure BDA0002547543440000242
其中，S1表示第一损失值；i表示第i个人体顶点；n表示人体顶点的总个数；(XTi，YTi，ZTi)表示第i个第三人体三维网格顶点位置；(XBi，YBi，ZBi)表示预先标注的第i个人体顶点位置，为三维网格顶点坐标。
还需要根据第三人体三维网格顶点位置、第二人体三维网格顶点位置与预先标注的人体顶点位置确定第二损失值。
一种可选的实施方式为，根据第二人体三维网格顶点位置、第三人体三维网格顶点位置和一致性损失函数确定一致性损失值；根据第二人体三维网格顶点位置、预先标注的人体顶点位置和预测损失函数确定预测损失值；以及，根据第二人体三维网格顶点位置和平滑性损失函数确定平滑性损失值；将一致性损失值、预测损失值、平滑性损失值进行加权平均运算得到第二损失值。
具体的，根据全连接顶点重建网络输出的第二人体三维网格顶点位置以及根据图卷积神经网络得到的第三人体三维网格顶点位置确定一致性损失值，表示全连接顶点重建网络与初始图卷积神经网络输出的人体三维网格顶点位置的重合程度，用于进行一致性约束训练；根据全连接顶点重建网络输出的第二人体三维网格顶点位置以及预先标注的人体顶点位置确定预测损失值，表示全连接顶点重建网络输出的人体三维网格顶点位置的准确程度；根据全连接顶点重建网络输出的第二人体三维网格顶点位置与平滑性损失函数确定平滑性损失值，表示根据所述全连接顶点重建网络输出的人体三维网格顶点位置构建出的人体三维模型的平滑程度，对根据全连接顶点重建网络输出的第二人体三维网格顶点位置进行平滑性约束。
实施中，第二人体三维网格顶点位置为全连接顶点重建网络输出的，第三人体三维网格顶点位置为根据图卷积神经网络输出的人体三维网格模型得到的，由于图卷积神经网络可以较为准确的得到人体三维网格顶点的位置，因此，在训练过程中，根据人体三维网格顶点对应的第二人体三维网格顶点位置和第三人体三维网格顶点位置以及一致性损失函数确定的一致性损失值越小，表示全连接顶点重建网络输出的第二人体三维网格顶点位置越接近于图卷积神经网络输出的第三人体三维网格顶点位置，已训练的全连接顶点重建网络在确定待检测图像中人体区域对应的第一人体三维网格顶点位置时更加准确，且全连接顶点重建网络相比与图卷积神经网络计算量与存储量都较小，可以提高构建人体三维模型的效率。
假设，全连接顶点重建网络输出的第二人体三维网格顶点位置为(XQi，YQi，ZQi)，图卷积神经网络得到的第三人体三维网格顶点位置为(XTi，YTi，ZTi)，则一致性损失值的确定公式为：
Figure BDA0002547543440000251
其中，a1表示一致性损失值；i表示第i个人体顶点；n表示人体顶点的总个数；(XTi，YTi，ZTi)表示第i个第三人体三维网格顶点位置；(XQi，YQi，ZQi)表示第i个第二人体三维网格顶点位置。
实施中，预先标注的人体顶点位置可以是三维网格顶点坐标，或者顶点投影坐标，通过采集样本图像时使用的图像采集设备的参数矩阵可以对人体顶点对应的三维网格顶点坐标和顶点投影坐标进行转换。假设，预先标注的样本图像中人体顶点位置为顶点投影坐标(xBi，yBi)，表示预先标注的第i个人体顶点位置。
在确定预测损失值时，根据第二人体三维网格顶点位置以及采集样本图像时使用的图像采集设备的参数矩阵得到第二人体三维网格顶点位置对应的投影坐标(xQi，yQi)，则预测损失值的确定公式为：
Figure BDA0002547543440000261
其中，a2表示预测损失值；i表示第i个人体顶点；n表示人体顶点的总个数；(xQi，yQi)表示第i个第三人体三维网格顶点位置对应的投影坐标；(xBi，yBi)表示预先标注的第i个人体顶点位置，为顶点投影坐标。
上述实施例仅是示例的，实施中，还可以根据预先标注的顶点投影坐标以及采集样本图像时使用的图像采集设备的参数矩阵得到对应的三维网格顶点坐标，根据三维网格顶点坐标与第二人体三维网格顶点位置确定预测损失值。
假设，预先标注的样本图像中人体顶点位置为三维网格顶点坐标(XBi，YBi，ZBi)，表示预先标注的第i个人体顶点位置。
在确定预测损失值时，根据第二人体三维网格顶点位置，以及预先标注的三维网格顶点确定预测损失值，则预测损失值的确定公式为：
Figure BDA0002547543440000262
其中，a2表示预测损失值；i表示第i个人体顶点；n表示人体顶点的总个数；(XQi，YQi，ZQi)表示第i个第二人体三维网格顶点位置；(XBi，YBi，ZBi)表示预先标注的第i个人体顶点位置，为三维网格顶点坐标。
实施中，在确定平滑性损失值时，平滑性损失函数可以是拉普拉斯函数，将全连接顶点重建网络输出的样本图像中样本人体区域对应的第二人体三维网格顶点位置输入拉普拉斯函数中得到平滑性损失值，其中，平滑性损失值越大，在根据第二人体三维网格顶点位置构建人体三维模型时，得到的人体三维模型表面越不平滑，反之，人体三维模型表面越平滑。
平滑性损失值的确定公式为：
a3＝‖(L)‖
其中，a3表示平滑性损失值；L为根据第二人体三维网格顶点位置确定的拉普拉斯矩阵。
在得到一致性损失值、预测损失值、平滑性损失值之后，根据得到的一致性损失值、预测损失值、平滑性损失值进行加权平均运算得到第二损失值。
第二损失值的确定公式为：
Figure BDA0002547543440000271
其中，S2表示第二损失值；m1表示一致性损失值对应的权重；a1表示一致性损失值；m2表示预测损失值对应的权重；a2表示预测损失值；m3表示平滑性损失值对应的权重；a3表示平滑性损失值。
需要说明的是，一致性损失值、预测损失值、平滑性损失值对应的权重值可以是本领域技术人员的经验数值，本公开实施例中不做具体限定。
本公开实施例中，在确定第二损失值时考虑平滑性损失值对全连接顶点重建网络的训练进行了平滑性约束，使根据全连接顶点重建网络输出的人体三维网格顶点位置构建的人体三维模型更加平滑。实施中，第二损失值还可以仅根据一致性损失值预计预测损失值确定，假设，第二损失值的确定公式为：
Figure BDA0002547543440000272
其中，S2表示第二损失值；m1表示一致性损失值对应的权重；a1表示一致性损失值；m2表示预测损失值对应的权重；a2表示预测损失值。
确定第一损失值以及第二损失值之后，根据第一损失值对初始图卷积神经网络的模型参数进行调整，根据第二损失值对初始全连接顶点重建网络的模型参数进行调整，以及根据第一损失值和第二损失值对初始特征提取网络的模型参数进行调整，直到确定出的第一损失值在第一预设范围内且确定出的第二损失值在第二预设范围内，得到训练后的特征提取网络、全连接顶点重建网络以及图卷积神经网络。其中，第一预设范围与第二预设范围可以有本领域技术人员根据经验数值设定，本公开实施例不做具体限定。
如图7所示，为本公开实施例提供的一种训练过程的示意图，将样本图像以及预先标注的人体顶点位置输入至特征提取网络，特征提取网络对样本图像进行特征提取得到样本图像中样本人体区域的图像特征信息；特征提取网络将样本人体区域的图像特征信息分别输入至图卷积神经网络以及全连接顶点重建网络；得到全连接顶点重建网络输出的第二人体三维网格顶点位置，以及将预定义的人体模型网格拓扑结构输入图卷积神经网络，得到图卷积神经网络输出的人体三维网格模型，并确定人体三维网格模型对应的第三人体三维网格顶点位置；根据第二人体三维网格顶点位置以及预先标注的人体顶点位置确定第一损失值，以及根据第三人体三维网格顶点位置、第二人体三维网格顶点位置以及预先标注的人体顶点位置确定第二损失值；根据第一损失值对图卷积神经网络的模型参数进行调整，根据第二损失值对全连接顶点重建网络的模型参数进行调整，以及根据第一损失值、第二损失值对特征提取网络的模型参数进行调整，得到训练后的特征提取网络、全连接顶点重建网络以及图卷积神经网络。
本公开实施例中，在得到训练后的特征提取网络、全连接顶点重建网络和图卷积神经网络之后，将三维重建模型中的图卷积神经网络删除，得到训练后的三维重建模型。训练后的三维重建模型中可以包含特征提取网络以及全连接顶点重建网络。
本公开实施例中还提供了一种人体三维模型构建装置，由于该装置对应的是本公开实施例人体三维模型构建方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图8是根据一示例性实施例示出的一种人体三维模型构建装置框图。参照图8，该装置包括特征提取单元800，位置获取单元801和，模型构建单元802。
特征提取单元800，被配置为执行获取包含人体区域的待检测图像，将所述待检测图像输入三维重建模型中的特征提取网络，得到所述人体区域的图像特征信息；
位置获取单元801，被配置为执行将所述人体区域的图像特征信息输入所述三维重建模型中的全连接顶点重建网络，得到所述人体区域对应的第一人体三维网格顶点位置；其中，所述全连接顶点重建网络是根据训练过程中位于所述三维重建模型中的图卷积神经网络进行一致性约束训练得到的；
模型构建单元802，被配置为执行根据所述第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建所述人体区域对应的人体三维模型。
图9是根据一示例性实施例示出的另一种人体三维模型构建装置框图。参照图9，该装置还包括训练单元803；
所述训练单元803具体被配置为执行根据下列方式对所述三维重建模型中的特征提取网络、全连接顶点重建网络以及图卷积神经网络进行联合训练：
将包含样本人体区域的样本图像输入初始特征提取网络，得到所述初始特征提取网络输出的所述样本人体区域的图像特征信息；
将所述样本人体区域的图像特征信息以及预定义的人体模型网格拓扑结构输入初始图卷积神经网络，得到所述样本人体区域对应的人体三维网格模型；以及将所述样本人体区域的图像特征信息输入初始全连接顶点重建网络，得到所述样本人体区域对应的第二人体三维网格顶点位置；
根据所述人体三维网格模型、所述第二人体三维网格顶点位置以及预先标注的所述样本图像中人体顶点位置，对所述特征提取网络、全连接顶点重建网络以及图卷积神经网络的模型参数进行调整，得到训练后的特征提取网络、全连接顶点重建网络和图卷积神经网络。
在一种可能的实现方式中，所述训练单元803还被配置为执行将所述三维重建模型中的图卷积神经网络删除，得到训练后的三维重建模型。
在一种可能的实现方式中，所述训练单元具体803被配置为执行：
根据所述人体三维网格模型对应的第三人体三维网格顶点位置、所述预先标注的人体顶点位置确定第一损失值；其中所述预先标注的人体顶点位置为顶点投影坐标或三维网格顶点坐标；
根据所述第三人体三维网格顶点位置、所述第二人体三维网格顶点位置、以及所述预先标注的人体顶点位置确定第二损失值；
根据所述第一损失值对所述初始图卷积神经网络的模型参数进行调整，根据所述第二损失值对所述初始全连接顶点重建网络的模型参数进行调整，以及根据所述第一损失值和所述第二损失值对所述初始特征提取网络的模型参数进行调整，直到确定出的第一损失值在第一预设范围内且确定出的第二损失值在第二预设范围内。
在一种可能的实现方式中，所述训练单元803具体被配置为执行：
根据所述第二人体三维网格顶点位置、所述第三人体三维网格顶点位置和一致性损失函数确定一致性损失值；其中，所述一致性损失值表示所述全连接顶点重建网络与所述初始图卷积神经网络输出的人体三维网格顶点位置的重合程度；
根据所述第二人体三维网格顶点位置、所述预先标注的人体顶点位置和预测损失函数确定预测损失值；其中，所述预测损失值表示所述全连接顶点重建网络输出的人体三维网格顶点位置的准确程度；
将所述一致性损失值、预测损失值进行加权平均运算得到所述第二损失值。
在一种可能的实现方式中，所述训练单元803具体被配置为执行：
将所述一致性损失值、预测损失值以及平滑性损失值进行加权平均运算得到所述第二损失值；
其中，所述平滑性损失值表示根据所述全连接顶点重建网络输出的人体三维网格顶点位置构建出的人体三维模型的平滑程度，且所述平滑性损失值是根据所述第二人体三维网格顶点位置和平滑性损失函数确定的。
图10是根据一示例性实施例示出的另一种人体三维模型构建装置框图。参照图10，该装置还包括人体形态参数获取单元804；
所述人体形态参数获取单元804具体被配置为执行将所述人体三维模型输入至已训练的人体参数回归网络，得到所述人体三维模型对应的人体形态参数；其中，所述人体形态参数用于表示所述人体三维模型的人体形体和/或人体位姿。
关于上述实施例中的装置，其中各个单元执行请求的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图11是根据一示例性实施例示出的一种电子设备1100的框图，该电子设备包括：
处理器1110；
用于存储所述处理器1110可执行指令的存储器1120；
其中，所述处理器1110被配置为执行所述指令，以实现本公开实施例中的人体三维模型构建方法。
在示例性实施例中，还提供了一种包括指令的非易失性存储介质，例如包括指令的存储器1120，上述指令可由电子设备1100的处理器1110执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述任意一项人体三维模型构建方法或任意一项人体三维模型构建方法任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人体三维模型构建方法，其特征在于，该方法包括：
获取包含人体区域的待检测图像，将所述待检测图像输入三维重建模型中的特征提取网络，得到所述人体区域的图像特征信息；
将所述人体区域的图像特征信息输入所述三维重建模型中的全连接顶点重建网络，得到所述人体区域对应的第一人体三维网格顶点位置；其中，所述全连接顶点重建网络是根据训练过程中位于所述三维重建模型中的图卷积神经网络进行一致性约束训练得到的；
根据所述第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建所述人体区域对应的人体三维模型。
2.如权利要求1所述的方法，其特征在于，根据下列方式对所述三维重建模型中的特征提取网络、全连接顶点重建网络以及图卷积神经网络进行联合训练：
将包含样本人体区域的样本图像输入初始特征提取网络，得到所述初始特征提取网络输出的所述样本人体区域的图像特征信息；
将所述样本人体区域的图像特征信息以及预定义的人体模型网格拓扑结构输入初始图卷积神经网络，得到所述样本人体区域对应的人体三维网格模型；以及将所述样本人体区域的图像特征信息输入初始全连接顶点重建网络，得到所述样本人体区域对应的第二人体三维网格顶点位置；
根据所述人体三维网格模型、所述第二人体三维网格顶点位置以及预先标注的所述样本图像中人体顶点位置，对所述特征提取网络、全连接顶点重建网络以及图卷积神经网络的模型参数进行调整，得到训练后的特征提取网络、全连接顶点重建网络和图卷积神经网络。
3.如权利要求2所述的方法，其特征在于，在得到训练后的特征提取网络、全连接顶点重建网络和图卷积神经网络之后，还包括：
将所述三维重建模型中的图卷积神经网络删除，得到训练后的三维重建模型。
4.如权利要求2所述的方法，其特征在于，所述根据所述人体三维网格模型、所述第二人体三维网格顶点位置以及预先标注的所述样本图像中人体顶点位置，对所述特征提取网络、全连接顶点重建网络以及图卷积神经网络的模型参数进行调整，包括：
根据所述人体三维网格模型对应的第三人体三维网格顶点位置、所述预先标注的人体顶点位置确定第一损失值；其中所述预先标注的人体顶点位置为顶点投影坐标或三维网格顶点坐标；
根据所述第三人体三维网格顶点位置、所述第二人体三维网格顶点位置、以及所述预先标注的人体顶点位置确定第二损失值；
根据所述第一损失值对所述初始图卷积神经网络的模型参数进行调整，根据所述第二损失值对所述初始全连接顶点重建网络的模型参数进行调整，以及根据所述第一损失值和所述第二损失值对所述初始特征提取网络的模型参数进行调整，直到确定出的第一损失值在第一预设范围内且确定出的第二损失值在第二预设范围内。
5.如权利要求4所述的方法，其特征在于，所述根据所述第三人体三维网格顶点位置、所述第二人体三维网格顶点位置、以及所述预先标注的人体顶点位置确定第二损失值，包括：
根据所述第二人体三维网格顶点位置、所述第三人体三维网格顶点位置和一致性损失函数确定一致性损失值；其中，所述一致性损失值表示所述全连接顶点重建网络与所述初始图卷积神经网络输出的人体三维网格顶点位置的重合程度；
根据所述第二人体三维网格顶点位置、所述预先标注的人体顶点位置和预测损失函数确定预测损失值；其中，所述预测损失值表示所述全连接顶点重建网络输出的人体三维网格顶点位置的准确程度；
将所述一致性损失值、预测损失值进行加权平均运算得到所述第二损失值。
6.如权利要求5所述的方法，其特征在于，所述将所述一致性损失值、预测损失值进行加权平均运算得到所述第二损失值，包括：
将所述一致性损失值、预测损失值以及平滑性损失值进行加权平均运算得到所述第二损失值；
其中，所述平滑性损失值表示根据所述全连接顶点重建网络输出的人体三维网格顶点位置构建出的人体三维模型的平滑程度，且所述平滑性损失值是根据所述第二人体三维网格顶点位置和平滑性损失函数确定的。
7.如权利要求1～6任一项所述的方法，其特征在于，在根据所述人体区域对应的第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建所述人体区域对应的人体三维模型之后，还包括：
将所述人体三维模型输入至已训练的人体参数回归网络，得到所述人体三维模型对应的人体形态参数；其中，所述人体形态参数用于表示所述人体三维模型的人体形体和/或人体姿态。
8.一种人体三维模型构建装置，其特征在于，包括：
特征提取单元，被配置为执行获取包含人体区域的待检测图像，将所述待检测图像输入三维重建模型中的特征提取网络，得到所述人体区域的图像特征信息；
位置获取单元，被配置为执行将所述人体区域的图像特征信息输入所述三维重建模型中的全连接顶点重建网络，得到所述人体区域对应的第一人体三维网格顶点位置；其中，所述全连接顶点重建网络是根据训练过程中位于所述三维重建模型中的图卷积神经网络进行一致性约束训练得到的；
模型构建单元，被配置为执行根据所述第一人体三维网格顶点位置以及预设人体三维网格顶点之间的连接关系，构建所述人体区域对应的人体三维模型。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现根据权利要求1至权利要求7中任一项所述的人体三维模型构建方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据权利要求1至权利要求7中任一项所述的人体三维模型构建方法。
CN202010565641.7A 2020-06-19 2020-06-19 一种人体三维模型构建方法、装置、电子设备及存储介质 Active CN113822982B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010565641.7A CN113822982B (zh) 2020-06-19 2020-06-19 一种人体三维模型构建方法、装置、电子设备及存储介质
JP2022557941A JP2023518584A (ja) 2020-06-19 2020-12-25 ３次元人体モデル構築方法および電子機器
PCT/CN2020/139594 WO2021253788A1 (zh) 2020-06-19 2020-12-25 一种人体三维模型构建方法及装置
US18/049,975 US20230073340A1 (en) 2020-06-19 2022-10-26 Method for constructing three-dimensional human body model, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010565641.7A CN113822982B (zh) 2020-06-19 2020-06-19 一种人体三维模型构建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113822982A true CN113822982A (zh) 2021-12-21
CN113822982B CN113822982B (zh) 2023-10-27

Family

ID=78924310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010565641.7A Active CN113822982B (zh) 2020-06-19 2020-06-19 一种人体三维模型构建方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20230073340A1 (zh)
JP (1) JP2023518584A (zh)
CN (1) CN113822982B (zh)
WO (1) WO2021253788A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549765A (zh) * 2022-02-28 2022-05-27 北京京东尚科信息技术有限公司 三维重建方法及装置、计算机可存储介质
CN117315152A (zh) * 2023-09-27 2023-12-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统
CN117808976A (zh) * 2024-03-01 2024-04-02 之江实验室 一种三维模型构建方法、装置、存储介质及电子设备
WO2024198942A1 (zh) * 2023-03-31 2024-10-03 北京字跳网络技术有限公司 对象重建方法、装置、设备及介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024124485A1 (zh) * 2022-12-15 2024-06-20 中国科学院深圳先进技术研究院 三维人体重建方法、装置、设备及存储介质
CN115840507B (zh) * 2022-12-20 2024-05-24 北京帮威客科技有限公司 一种基于3d图像控制的大屏设备交互方法
CN115775300B (zh) * 2022-12-23 2024-06-11 北京百度网讯科技有限公司 人体模型的重建方法、人体重建模型的训练方法及装置
CN116758202A (zh) * 2023-03-14 2023-09-15 中国科学院深圳先进技术研究院 人手图像合成方法、装置、电子设备及存储介质
CN116246026B (zh) * 2023-05-05 2023-08-08 北京百度网讯科技有限公司 三维重建模型的训练方法、三维场景渲染方法及装置
CN117392326B (zh) * 2023-11-09 2024-09-20 中国科学院自动化研究所 基于单张图像的三维人体重建方法及相关设备
CN117456144B (zh) * 2023-11-10 2024-05-07 中国人民解放军海军航空大学 基于可见光遥感图像的目标建筑物三维模型优化方法
CN117726907B (zh) * 2024-02-06 2024-04-30 之江实验室 一种建模模型的训练方法、三维人体建模的方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN110021069A (zh) * 2019-04-15 2019-07-16 武汉大学 一种基于网格形变的三维模型重建方法
CN110428493A (zh) * 2019-07-12 2019-11-08 清华大学 基于网格形变的单图像人体三维重建方法及系统
CN110458957A (zh) * 2019-07-31 2019-11-15 浙江工业大学 一种基于神经网络的图像三维模型构建方法及装置
US20200184721A1 (en) * 2018-12-05 2020-06-11 Snap Inc. 3d hand shape and pose estimation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010516B2 (en) * 2018-11-09 2021-05-18 Nvidia Corp. Deep learning based identification of difficult to test nodes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
US20200184721A1 (en) * 2018-12-05 2020-06-11 Snap Inc. 3d hand shape and pose estimation
CN110021069A (zh) * 2019-04-15 2019-07-16 武汉大学 一种基于网格形变的三维模型重建方法
CN110428493A (zh) * 2019-07-12 2019-11-08 清华大学 基于网格形变的单图像人体三维重建方法及系统
CN110458957A (zh) * 2019-07-31 2019-11-15 浙江工业大学 一种基于神经网络的图像三维模型构建方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549765A (zh) * 2022-02-28 2022-05-27 北京京东尚科信息技术有限公司 三维重建方法及装置、计算机可存储介质
WO2024198942A1 (zh) * 2023-03-31 2024-10-03 北京字跳网络技术有限公司 对象重建方法、装置、设备及介质
CN117315152A (zh) * 2023-09-27 2023-12-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统
CN117315152B (zh) * 2023-09-27 2024-03-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统
CN117808976A (zh) * 2024-03-01 2024-04-02 之江实验室 一种三维模型构建方法、装置、存储介质及电子设备
CN117808976B (zh) * 2024-03-01 2024-05-24 之江实验室 一种三维模型构建方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2021253788A1 (zh) 2021-12-23
JP2023518584A (ja) 2023-05-02
CN113822982B (zh) 2023-10-27
US20230073340A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
CN113822982B (zh) 一种人体三维模型构建方法、装置、电子设备及存储介质
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
Kobler et al. Variational networks: connecting variational methods and deep learning
Wu et al. Slotformer: Unsupervised visual dynamics simulation with object-centric models
WO2021175050A1 (zh) 三维重建方法和三维重建装置
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
JP2022513272A (ja) 訓練深層学習ネットワークの３ｄモデルから大量訓練データセットを自動的に生成する方法及びシステム
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
CN110827304B (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN114863037A (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN112132739A (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN113808277B (zh) 一种图像处理方法及相关装置
CN112085835A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
Caliskan et al. Multi-view consistency loss for improved single-image 3d reconstruction of clothed people
CN111862278A (zh) 一种动画获得方法、装置、电子设备及存储介质
CN117456128A (zh) 三维重建方法、装置、设备及存储介质
CN116363308A (zh) 人体三维重建模型训练方法、人体三维重建方法和设备
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant