CN113936090A - 三维人体重建的方法、装置、电子设备及存储介质 - Google Patents

三维人体重建的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113936090A
CN113936090A CN202110676130.7A CN202110676130A CN113936090A CN 113936090 A CN113936090 A CN 113936090A CN 202110676130 A CN202110676130 A CN 202110676130A CN 113936090 A CN113936090 A CN 113936090A
Authority
CN
China
Prior art keywords
human body
model
image
dimensional
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110676130.7A
Other languages
English (en)
Inventor
雷震
朱翔昱
廖婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110676130.7A priority Critical patent/CN113936090A/zh
Publication of CN113936090A publication Critical patent/CN113936090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了三维人体重建的方法、装置、电子设备及存储介质，包括：获取人体图像；将人体图像输入至训练好的三维人体重建模型，得到人体图像的三维重建结果；其中，训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。本发明通过提取点云的全局特征和局部特征为点云提供了语义信息与强约束，使得三维人体重建模型能够学习到全局的姿态信息以及局部的细节信息，通过参数化人体模型获取三维语义特征，为模型提供了强约束，提高三维人体重建模型的细节的准确度真实度，同时提高了对人体姿态的鲁棒性。

Description

三维人体重建的方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及三维人体重建的方法、装置、电子设备及存储介质。
背景技术
目前，三维人体重建广泛应用于虚拟现实、游戏体验、虚拟试穿等领域。
在三维人体重建模型中，基于像素对齐的隐式表达方法占主导地位，该方法将三维人体隐式地表示为三维空间中的占据场，将三维空间中采样的点与二维图像进行对齐判断其是否在人体占据场内部，一方面，该方法忽略了点之间的空间几何依赖关系，导致局部重建细节比如衣服褶皱，面部皱纹等不够真实。另一方面，由于场景多样性、人体姿态的复杂性等因素，现有方法对人体姿态的鲁棒性较差。
综上，目前亟需一种三维人体重建的技术，用于解决上述现有技术存在的问题。
发明内容
由于现有方法存在上述问题，本发明提出三维人体重建的方法、装置、电子设备及存储介质。
第一方面，本发明提供了一种三维人体重建的方法，包括：
获取人体图像；
将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果；
其中，所述训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。
进一步地，在所述将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果之前，还包括：
获取背景图像、人体扫描模型以及所述人体扫描模型对应的相机投影参数；
根据所述人体扫描模型、所述相机投影参数以及所述背景图像生成图像训练集、剪影图、深度图和法向量图；所述图像训练集由所述人体扫描模型渲染到所述背景图像中得到；
在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点对应的标签；所述标签用于指示所述点云中各个点与所述人体扫描模型的空间关系；
提取所述点云对应的图像特征、全局特征以及局部特征；
根据所述图像特征、所述全局特征以及所述局部特征确定所述点云在人体内部的概率集合；
根据所述点云在人体内部的概率集合确定第一损失以及第二损失；
将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的参数，得到训练好的三维人体重建模型。
进一步地，所述在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点对应的标签，包括：
在所述人体扫描模型上采样N个点并给每个点的坐标增加噪声；
在所述人体扫描模型所处的三维空间中采样M个点；
将所述N个点和所述M个点的集合作为点云；其中，N、M均为正整数，N大于M。
进一步地，所述提取所述点云对应的图像特征、全局特征以及局部特征，包括：
根据所述图像训练集确定所述人体扫描模型的姿态信息、形体信息；
根据所述姿态信息、所述形体信息得到参数化人体模型；
根据所述参数化人体模型确定所述点云的全局特征；
根据所述参数化人体模型以及所述点云确定所述点云的局部特征。
进一步地，所述根据所述参数化人体模型以及所述点云确定所述点云的局部特征，包括：
针对所述点云中每个点，计算每个点到所述参数化人体模型表面的点的距离；
连接所述参数化人体模型表面的点中所述距离小于预设阈值的点；
通过局部特征提取模型提取所述点云的局部特征。
进一步地，所述根据所述点云在人体内部的概率集合确定第一损失以及第二损失，包括：
根据所述点云在人体内部的概率集合、所述点云中各个点对应的标签确定第一损失；
根据所述剪影图、所述深度图、所述法向量图分别计算第一剪影值、第一深度值、第一法向量值；
根据所述点云在人体内部的概率集合确定第二剪影值、第二深度值、第二法向量值；
根据所述第一剪影值、所述第一深度值、所述第一法向量值、所述第二剪影值、所述第二深度值、所述第二法向量值确定第二损失。
进一步地，所述将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的参数，得到训练好的三维人体重建模型，包括：
将所述第一损失和所述第二损失进行加权计算后得到训练损失；
当所述训练损失收敛时停止训练，得到所述训练好的三维人体重建模型。
第二方面，本发明提供了一种三维人体重建的装置，包括：
获取模块，用于获取人体图像；
处理模块，用于将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果；其中，所述训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。
进一步地，所述处理模块还用于：
在所述将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果之前，获取背景图像、人体扫描模型以及所述人体扫描模型对应的相机投影参数；
根据所述人体扫描模型、所述相机投影参数以及所述背景图像生成图像训练集、剪影图、深度图和法向量图；所述图像训练集由所述人体扫描模型渲染到所述背景图像中得到；
在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点对应的标签；所述标签用于指示所述点云中各个点与所述人体扫描模型的空间关系；
提取所述点云对应的图像特征、全局特征以及局部特征；
根据所述图像特征、所述全局特征以及所述局部特征确定所述点云在人体内部的概率集合；
根据所述点云在人体内部的概率集合确定第一损失以及第二损失；
将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的参数，得到训练好的三维人体重建模型。
进一步地，所述处理模块具体用于：
在所述人体扫描模型上采样N个点并给每个点的坐标增加噪声；
在所述人体扫描模型所处的三维空间中采样M个点；
将所述N个点和所述M个点的集合作为点云；其中，N、M均为正整数，N大于M。
进一步地，所述处理模块具体用于：
根据所述图像训练集确定所述人体扫描模型的姿态信息、形体信息；
根据所述姿态信息、所述形体信息得到参数化人体模型；
根据所述参数化人体模型确定所述点云的全局特征；
根据所述参数化人体模型以及所述点云确定所述点云的局部特征。
进一步地，所述处理模块具体用于：
针对所述点云中每个点，计算每个点到所述参数化人体模型表面的点的距离；
连接所述参数化人体模型表面的点中所述距离小于预设阈值的点；
通过局部特征提取模型提取所述点云的局部特征。
进一步地，所述处理模块具体用于：
根据所述点云在人体内部的概率集合、所述点云中各个点对应的标签确定第一损失；
根据所述剪影图、所述深度图、所述法向量图分别计算第一剪影值、第一深度值、第一法向量值；
根据所述点云在人体内部的概率集合确定第二剪影值、第二深度值、第二法向量值；
根据所述第一剪影值、所述第一深度值、所述第一法向量值、所述第二剪影值、所述第二深度值、所述第二法向量值确定第二损失。
进一步地，所述处理模块具体用于：
将所述第一损失和所述第二损失进行加权计算后得到训练损失；
当所述训练损失收敛时停止训练，得到所述训练好的三维人体重建模型。
第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的三维人体重建的方法。
第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的三维人体重建的方法。
由上述技术方案可知，本发明提供的三维人体重建的方法、装置、电子设备及存储介质，通过提取点云的全局特征和局部特征为点云提供了语义信息与强约束，使得三维人体重建模型能够学习到全局的姿态信息以及局部的细节信息，通过参数化人体模型获取三维语义特征，为模型提供了强约束，提高三维人体重建模型的细节的准确度真实度，同时提高了对人体姿态的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明提供的三维人体重建的方法的系统框架；
图2为本发明提供的三维人体重建的方法的流程示意图；
图3为本发明提供的三维人体重建的方法的流程示意图；
图4为本发明提供的三维人体重建的方法的流程示意图；
图5为本发明提供的三维人体重建的方法的流程示意图；
图6为本发明提供的三维人体重建的方法的流程示意图；
图7为本发明提供的三维人体重建的装置的结构示意图；
图8为本发明提供的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明实施例提供的三维人体重建的方法，可以适用于如图1所示的系统架构中，该系统架构包括相机100、三维人体重建模型200。
具体的，相机100用于获取人体图像。
三维人体重建模型200用于在相机100发送的人体图像输入后得到人体图像的三维重建结果。
需要说明的是，图1仅是本发明实施例系统架构的一种示例，本发明对此不做具体限定。
基于上述所示意的系统架构，图2为本发明实施例提供的一种三维人体重建的方法所对应的流程示意图，如图2所示，该方法包括：
步骤201，获取人体图像。
步骤202，将人体图像输入至训练好的三维人体重建模型，得到人体图像的三维重建结果。
需要说明的是，其中，训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。
上述方案，将待重建的人体图像输入至训练好的三维人体重建模型中，进行网络前向计算，得到三维空间中点云是在人体内部的概率集合，通过参数化人体模型获取三维语义特征，为模型提供了强约束，提高三维人体重建模型的细节的准确度真实度，同时提高了对人体姿态的鲁棒性。
本发明实施例在步骤202之前，步骤流程如图3所示，具体如下：
步骤301，获取背景图像、人体扫描模型以及人体扫描模型对应的相机投影参数。
具体的，人体扫描模型由扫描仪扫描三维人体得到。
需要说明的是，人体扫描模型的坐标系为世界坐标系，在将人体扫描模型渲染到背景图像的过程中生成相机投影参数，一张图像对应一个相机投影参数。
本发明实施例中，获取不同场景下真实图像作为背景图像，举例来说，获取游乐场场景下游乐设施的真实图像作为背景图像。
需要说明的是，获取的人体扫描模型必须是密闭的、无破孔的。
进一步地，为了让三维人体重建模型具有更好的泛化性，获取的背景图像要满足真实性、多样性，以适用于生活中常见场景。
步骤302，根据人体扫描模型、相机投影参数以及背景图像生成图像训练集、剪影图、深度图和法向量图。
需要说明的是，图像训练集由人体扫描模型渲染到背景图像中得到。
在一种可能的实施方式中，通过如下方式生成图像训练集：
将人体扫描模型进行归一化处理后，将其沿垂直于地平面的坐标轴比如y轴随机旋转、平移、放缩得到其对应的相机投影参数。
具体的，在图像库中任意选取一张背景图像，通过正交投影将变换后的人体扫描模型渲染到选取的背景图像中作为训练样本。
进一步地，通过渲染变换后的人体扫描模型得到人体扫描模型对应的剪影图、深度图和法向量图。
本发明实施例中，剪影图突出主体，表现人体外形姿态、轮廓。深度图是指将从图像采集器到场景中各点的深度作为像素值的图像，它反映了人体可见表面的几何形状。
需要说明的是，本发明实施例还可以通过透视投影等投影方式，本发明实施例对此不做具体限定。
举例来说，生成图像训练集的过程具体如下：
首先，选取背景图像，将背景图像进行裁剪、缩放到预定义尺寸，比如预定义尺寸为512×512。
进一步地，将人体扫描模型归一化。
具体的，将人体扫描模型平移到以零坐标为中心的位置，然后将人体扫描模型缩放到坐标轴[-1,1]的范围中，即将三维人体坐标除以人体身高方向坐标轴坐标范围的最大值，再将人体扫描模型随机平移、放缩、旋转到任意视角下，最后通过正交投影将人体扫描模型渲染到背景图像中。
步骤303，在人体扫描模型所处的三维空间中采样得到点云并生成点云中各个点对应的标签。
需要说明的是，标签用于指示点云中各个点与人体扫描模型的空间关系。
在一种可能的实施方式中，本发明实施例给在人体内部的点标注为1，给在人体外部的点标注为0。
需要说明的是，上述标注方式中一个点的标签为1表示该点在人体内部的概率为1，即该点在人体扫描模型上，一个点的标签为0表示该点在人体内部的概率为0，即该点在人体扫描模型外。
本发明实施例在步骤303中，方法流程如图4所示，具体步骤流程为：
步骤401，在人体扫描模型上采样N个点并给每个点的坐标增加噪声。
需要说明的是，本发明实施例在人体扫描模型的表面采样N个点，在给每个点的坐标增加噪声后，采样的N个点中一部分变成人体扫描模型内部的点或人体扫描模型外部的点。
在一种可能的实施方式中，给每个点的三维坐标增加一个正太分布噪声。
举例来说，给每个点的三维坐标增加一个均值为0、方差为0.05 的正太分布噪声扰动。
步骤402，在人体扫描模型所处的三维空间中采样M个点。
步骤403，将N个点和M个点的集合作为点云。
需要说明的是，其中，N、M均为正整数。
本发明实施例中，N大于M。
上述方案，由于三维空间中可以无限精度采样，单纯均匀采样方式十分低效，而在人体表面一定距离范围内采样可以使得三维人体重建模型更好地找到决策边界。
在一种可能的实施方式中，按比例在人体扫描模型表面附近和三维空间中均匀采样。
举例来说，N与M的比值为16:1。
上述方案，可以使得三维人体重建模型快速收敛的同时具有更好的泛化能力。
步骤304，提取点云对应的图像特征、全局特征以及局部特征。
在一种可能的实施方式中，将点云、图像训练集、相机投影参数输入到图像特征提取模型中得到点云对应的图像特征。
举例来说，通过基于Hourglass网络构建的图像特征提取模型获取特征图，根据相机投影参数，通过正交投影将采样得到的点云投影到特征图上，提取点云对应的图像特征。
本发明实施例在步骤304中，方法流程如图5所示，具体步骤流程为：
步骤501，根据图像训练集确定人体扫描模型的姿态信息、形体信息。
步骤502，根据姿态信息、形体信息得到参数化人体模型。
在一种可能的实施方式中，通过基于SPIN网络构建的三维人体重建模型获取参数化人体模型。
需要说明的是，还可以通过基于SMPL(Skinned Multi-Person Linear)网络构建的三维人体重建模型获取参数化人体模型，本发明实施例对此不做具体限定。
上述方案，通过构建参数化人体模型并以此作为先验知识，为三维空间中无约束的点提供语义信息。
步骤503，根据参数化人体模型确定点云的全局特征。
在一种可能的实施方式中，通过基于Pointnet网络构建的全局特征提取模型获取点云的全局特征。
上述方案，通过全局特征提取模型提取全局特征，全局特征隐含三维人体的姿态信息，提高了三维人体重建模型对姿态的鲁棒性。
进一步地，通过多层感知网络对参数化人体模型的点云进行特征提取，得到点云的特征集合。
在一种可能的实施方式中，利用最大池化函数得到点云的全局特征，具体如下：
Figure BDA0003121204480000111
其中，fg表示全局特征提取模型，V表示所述参数化三维人体模型的点云，h表示多层感知网络，
Figure BDA0003121204480000112
表示最大池化函数。
上述方案，最大池化函数的对称性使其对点云的乱序性、数据缺失、噪声和扰动具有不变性。
步骤504，根据参数化人体模型以及点云确定点云的局部特征。
具体的，将点云和参数化人体模型输入局部特征提取模型中，得到点云的局部特征。
在一种可能的实施方式中，通过基于图卷积神经网络构建的局部特征提取模型获取点云的局部特征。
本发明实施例中，针对点云中每个点，计算每个点到参数化人体模型表面的点的距离；
连接参数化人体模型表面的点中距离小于预设阈值的点；
通过局部特征提取模型提取点云的局部特征。
在一种可能的实施方式中，连接参数化人体模型表面的点中距离点云中任一采样点前K个距离最小的点。
具体的，对于点云中每个点，计算其到参数化人体模型表面的距离，即P2S(point-to-surface distance)距离，将其与参数化人体模型中前K个距离最近的点连接起来，通过基于图卷积神经网络(Graph Convolutional Network，GCN)构建的局部特征提取模型提取三维局部特征，具体方法为：
Figure BDA0003121204480000121
其中，p为点云中任意一点，V为参数化人体模型的点云，Vp表示V中距离p前K个最近的点的集合，h表示局部特征提取模型。
上述方案，通过局部特征提取模型提取局部特征，局部特征隐含细节信息，比如衣服的细褶皱等，提高了三维人体重建模型的精确度。
步骤305，根据图像特征、全局特征以及局部特征确定点云在人体内部的概率集合。
在一种可能的实施方式中，将点云的图像特征、全局特征和局部特征输入点云分类模型，得到点云在人体内部的概率集合。
在一种可能的实施方式中，通过基于多层感知网络(Multilayer Perceptron，MLP)构建的点云分类模型预测点云中各个点在人体内部的概率。
具体的，点云在人体内部的概率集合的计算方法如下；
F(p,I,V)＝H(Φ(p,I),fg(V),fl(p,V))
需要说明的是，其中，p表示点云中任意一点，I表示图像训练集， V表示参数化人体模型的点云；Φ表示图像特征提取模型，fg表示全局特征提取模型，fl表示局部特征提取模型，H表示点云分类模型。
从上述公式可以看出，将三组特征串联合并输入点云分类模型H 中得到每个点在人体内部的概率。
上述方案，全局特征和局部特征为三维点云提供了语义信息与强约束，使得三维人体重建模型能够同时学习到全局的姿态信息以及局部的细节信息。
步骤306，根据点云在人体内部的概率集合确定第一损失以及第二损失。
本发明实施例在步骤306中，方法流程如图6所示，具体步骤流程为：
步骤601，根据点云在人体内部的概率集合、点云中各个点对应的标签确定第一损失。
具体的，第一损失的具体计算公式如下：
Figure 2
其中，P表示点云中采样点的集合，F表示分类网络，F*表示点云中各个点对应的标签。
步骤602，根据剪影图、深度图、法向量图分别计算第一剪影值、第一深度值、第一法向量值。
具体的，第一剪影值的具体计算公式如下：
Figure BDA0003121204480000132
需要说明的是，其中，πk为相机投影参数，x为图像上二维坐标， c表示相机中心位置，r(πk,x)表示沿着相机位置穿过图像上点的射线方向，dj表示相机中心到每个采样点的距离，F表示分类网络，Ψ表示最大池化函数。
本发明实施例中，第一深度值的具体计算公式如下：
Figure BDA0003121204480000133
其中，σ表示决策阈值。
在一种可能的实施方式中，σ的取值为0.5。根据决策阈值0.5通过Marching Cubic算法将人体模型分割出来得到三维重建结果。
本发明实施例中，人体表面的深度值在区间(dj,dj+1)之中，之后用二分法精确计算第二深度值。
具体的，第一法向量值的具体计算公式如下：
Figure BDA0003121204480000141
其中，πk为相机投影参数，x为图像上二维坐标，pk为在视角k下沿着射线最接近三维人体表面的三维点坐标。
步骤603，根据点云在人体内部的概率集合确定第二剪影值、第二深度值、第二法向量值。
本发明实施例中，根据点云在人体内部的概率集合计算其在不同视角下的剪影值、深度值和法向量值。
举例来说，分别计算其在0度、90度、180度、270度视角下的 4个剪影值、4个深度值和4个法向量值，将这4个剪影值、4个深度值、4个法向量值分别求平均得到第二剪影值、第二深度值、第二法向量值。
步骤604，根据第一剪影值、第一深度值、第一法向量值、第二剪影值、第二深度值、第二法向量值确定第二损失。
需要说明的是，本发明实施例中第一剪影值、第一深度值、第一法向量值由真实的剪影图、深度图和法向量图得到，第二剪影值、第二深度值、第二法向量值由预测的剪影图、深度图和法向量图得到。
具体的，本发明实施例中，第二损失的具体计算式如下：
L2D＝Lsillhouett+Ldepth+Lnormal (公式1)
Figure BDA0003121204480000142
Figure BDA0003121204480000143
Figure BDA0003121204480000144
需要说明的是，其中，L2D表示第二损失，Lsillhouette表示剪影损失，Ldepth表示深度损失，Lnormal表示法向量损失；K表示K个预先设定的视角，πk表示视角k的相机投影参数，x表示图像坐标；S,D,N分别表示的预测的剪影图、深度图和法向量图，S*,D*,N*分别表示真实的剪影图、深度图和法向量图。
上述方案，通过多视角的可微渲染将三维重建结果渲染成深度图、剪影图和法向量图，利用第二损失对三维重建结果进行更精细的优化。
步骤307，将第一损失和第二损失进行加权计算后更新三维人体重建模型的参数，得到训练好的三维人体重建模型。
具体的，将第一损失和第二损失进行加权求和的计算如下：
Figure BDA0003121204480000151
其中，γ1和γ2表示权重参数，L3D表示第一损失，即每个点在三维人体内部的预测概率值与其标签的均方误差损失；L2D表示第二损失，即将三维人体重建结果渲染成二维图像计算的损失，θ表示三维人体重建模型的参数。
上述方案，通过基于光线追踪的可微渲染法将网络输出结果渲染到多个视角下，得到预测的剪影图、深度图和法向量图，然后与对应的真实的剪影图、深度图和法向量图计算损失，从而反向传导更新三维人体重建模型的参数。
进一步地，本发明实施例中，根据第一损失和第二损失的加权损失对可学习的模型参数θ进行优化，判断训练损失是否收敛，若收敛则终止训练，得到模型参数θ；否则重复上述方法，直至得到训练好的三维人体重建模型。
上述方案，通过提取点云的全局特征和局部特征为点云提供了语义信息与强约束，使得三维人体重建模型能够学习到全局的姿态信息以及局部的细节信息，通过参数化人体模型获取三维语义特征，为模型提供了强约束，提高三维人体重建模型的细节的准确度真实度，同时提高了对人体姿态的鲁棒性。
基于同一发明构思，图7示例性的示出了本发明实施例提供的一种三维人体重建的装置，该装置可以为一种三维人体重建的方法的流程。
所述装置，包括：
获取模块701，用于获取人体图像；
处理模块702，用于将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果；其中，所述训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。
进一步地，所述处理模块702还用于：
在所述将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果之前，获取背景图像、人体扫描模型以及所述人体扫描模型对应的相机投影参数；
根据所述人体扫描模型、所述相机投影参数以及所述背景图像生成图像训练集、剪影图、深度图和法向量图；所述图像训练集由所述人体扫描模型渲染到所述背景图像中得到；
在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点对应的标签；所述标签用于指示所述点云中各个点与所述人体扫描模型的空间关系；
提取所述点云对应的图像特征、全局特征以及局部特征；
根据所述图像特征、所述全局特征以及所述局部特征确定所述点云在人体内部的概率集合；
根据所述点云在人体内部的概率集合确定第一损失以及第二损失；
将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的参数，得到训练好的三维人体重建模型。
进一步地，所述处理模块702具体用于：
在所述人体扫描模型上采样N个点并给每个点的坐标增加噪声；
在所述人体扫描模型所处的三维空间中采样M个点；
将所述N个点和所述M个点的集合作为点云；其中，N、M均为正整数，N大于M。
进一步地，所述处理模块702具体用于：
根据所述图像训练集确定所述人体扫描模型的姿态信息、形体信息；
根据所述姿态信息、所述形体信息得到参数化人体模型；
根据所述参数化人体模型确定所述点云的全局特征；
根据所述参数化人体模型以及所述点云确定所述点云的局部特征。
进一步地，所述处理模块702具体用于：
针对所述点云中每个点，计算每个点到所述参数化人体模型表面的点的距离；
连接所述参数化人体模型表面的点中所述距离小于预设阈值的点；
通过局部特征提取模型提取所述点云的局部特征。
进一步地，所述处理模块702具体用于：
根据所述点云在人体内部的概率集合、所述点云中各个点对应的标签确定第一损失；
根据所述剪影图、所述深度图、所述法向量图分别计算第一剪影值、第一深度值、第一法向量值；
根据所述点云在人体内部的概率集合确定第二剪影值、第二深度值、第二法向量值；
根据所述第一剪影值、所述第一深度值、所述第一法向量值、所述第二剪影值、所述第二深度值、所述第二法向量值确定第二损失。
进一步地，所述处理模块702具体用于：
将所述第一损失和所述第二损失进行加权计算后得到训练损失；
当所述训练损失收敛时停止训练，得到所述训练好的三维人体重建模型。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图8，所述电子设备具体包括如下内容：处理器801、存储器802、通信接口803和通信总线804；
其中，所述处理器801、存储器802、通信接口803通过所述通信总线804完成相互间的通信；所述通信接口803用于实现各设备之间的信息传输；
所述处理器801用于调用所述存储器802中的计算机程序，所述处理器执行所述计算机程序时实现上述三维人体重建的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取人体图像；将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果；其中，所述训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述三维人体重建的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取人体图像；将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果；其中，所述训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，用户生活模式预测装置，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，用户生活模式预测装置，或者网络设备等)执行各个实施例或者实施例的某些部分所述的用户生活模式预测方法。
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维人体重建的方法，其特征在于，包括：
获取人体图像；
将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果；
其中，所述训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。
2.根据权利要求1所述的三维人体重建的方法，其特征在于，在所述将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果之前，还包括：
获取背景图像、人体扫描模型以及所述人体扫描模型对应的相机投影参数；
根据所述人体扫描模型、所述相机投影参数以及所述背景图像生成图像训练集、剪影图、深度图和法向量图；所述图像训练集由所述人体扫描模型渲染到所述背景图像中得到；
在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点对应的标签；所述标签用于指示所述点云中各个点与所述人体扫描模型的空间关系；
提取所述点云对应的图像特征、全局特征以及局部特征；
根据所述图像特征、所述全局特征以及所述局部特征确定所述点云在人体内部的概率集合；
根据所述点云在人体内部的概率集合确定第一损失以及第二损失；
将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的参数，得到训练好的三维人体重建模型。
3.根据权利要求2所述的三维人体重建的方法，其特征在于，所述在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点对应的标签，包括：
在所述人体扫描模型上采样N个点并给每个点的坐标增加噪声；
在所述人体扫描模型所处的三维空间中采样M个点；
将所述N个点和所述M个点的集合作为点云；其中，N、M均为正整数，N大于M。
4.根据权利要求2所述的三维人体重建的方法，其特征在于，所述提取所述点云对应的图像特征、全局特征以及局部特征，包括：
根据所述图像训练集确定所述人体扫描模型的姿态信息、形体信息；
根据所述姿态信息、所述形体信息得到参数化人体模型；
根据所述参数化人体模型确定所述点云的全局特征；
根据所述参数化人体模型以及所述点云确定所述点云的局部特征。
5.根据权利要求4所述的三维人体重建的方法，其特征在于，所述根据所述参数化人体模型以及所述点云确定所述点云的局部特征，包括：
针对所述点云中每个点，计算每个点到所述参数化人体模型表面的点的距离；
连接所述参数化人体模型表面的点中所述距离小于预设阈值的点；
通过局部特征提取模型提取所述点云的局部特征。
6.根据权利要求2所述的三维人体重建的方法，其特征在于，所述根据所述点云在人体内部的概率集合确定第一损失以及第二损失，包括：
根据所述点云在人体内部的概率集合、所述点云中各个点对应的标签确定第一损失；
根据所述剪影图、所述深度图、所述法向量图分别计算第一剪影值、第一深度值、第一法向量值；
根据所述点云在人体内部的概率集合确定第二剪影值、第二深度值、第二法向量值；
根据所述第一剪影值、所述第一深度值、所述第一法向量值、所述第二剪影值、所述第二深度值、所述第二法向量值确定第二损失。
7.根据权利要求2所述的三维人体重建的方法，其特征在于，所述将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的参数，得到训练好的三维人体重建模型，包括：
将所述第一损失和所述第二损失进行加权计算后得到训练损失；
当所述训练损失收敛时停止训练，得到所述训练好的三维人体重建模型。
8.一种三维人体重建的装置，其特征在于，包括：
获取模块，用于获取人体图像；
处理模块，用于将所述人体图像输入至训练好的三维人体重建模型，得到所述人体图像的三维重建结果；其中，所述训练好的三维人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后得到。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202110676130.7A 2021-06-18 2021-06-18 三维人体重建的方法、装置、电子设备及存储介质 Pending CN113936090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110676130.7A CN113936090A (zh) 2021-06-18 2021-06-18 三维人体重建的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110676130.7A CN113936090A (zh) 2021-06-18 2021-06-18 三维人体重建的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113936090A true CN113936090A (zh) 2022-01-14

Family

ID=79274293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110676130.7A Pending CN113936090A (zh) 2021-06-18 2021-06-18 三维人体重建的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113936090A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913287A (zh) * 2022-04-07 2022-08-16 北京拙河科技有限公司 一种三维人体模型重建方法及系统
CN114973422A (zh) * 2022-07-19 2022-08-30 南京应用数学中心 一种基于三维人体建模点云特征编码的步态识别方法
CN114998527A (zh) * 2022-06-27 2022-09-02 上海域圆信息科技有限公司 一种准确性高的三维人体表面重建系统
CN116797726A (zh) * 2023-05-20 2023-09-22 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN117392326A (zh) * 2023-11-09 2024-01-12 中国科学院自动化研究所 基于单张图像的三维人体重建方法及相关设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913287A (zh) * 2022-04-07 2022-08-16 北京拙河科技有限公司 一种三维人体模型重建方法及系统
CN114913287B (zh) * 2022-04-07 2023-08-22 北京拙河科技有限公司 一种三维人体模型重建方法及系统
CN114998527A (zh) * 2022-06-27 2022-09-02 上海域圆信息科技有限公司 一种准确性高的三维人体表面重建系统
CN114998527B (zh) * 2022-06-27 2024-05-03 上海域圆信息科技有限公司 一种准确性高的三维人体表面重建系统
CN114973422A (zh) * 2022-07-19 2022-08-30 南京应用数学中心 一种基于三维人体建模点云特征编码的步态识别方法
CN116797726A (zh) * 2023-05-20 2023-09-22 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN116797726B (zh) * 2023-05-20 2024-05-07 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN117392326A (zh) * 2023-11-09 2024-01-12 中国科学院自动化研究所 基于单张图像的三维人体重建方法及相关设备

Similar Documents

Publication Publication Date Title
CN113936090A (zh) 三维人体重建的方法、装置、电子设备及存储介质
CN108509848B (zh) 三维物体的实时检测方法及系统
Dinh et al. Reconstructing surfaces by volumetric regularization using radial basis functions
KR101608253B1 (ko) 이미지 기반 멀티 뷰 3d 얼굴 생성
CN111243093A (zh) 三维人脸网格的生成方法、装置、设备及存储介质
Kim et al. A fast ICP algorithm for 3-D human body motion tracking
US11645815B2 (en) Method, device, and storage medium for segmenting three-dimensional object
CN113366491B (zh) 眼球追踪方法、装置及存储介质
CN113096234A (zh) 利用多张彩色图片生成三维网格模型的方法及装置
CN111079565B (zh) 视图二维姿态模板的构建方法及识别方法、定位抓取系统
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
Zhang et al. Color-guided depth image recovery with adaptive data fidelity and transferred graph Laplacian regularization
CN110998671A (zh) 三维重建方法、装置、系统和存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN117036612A (zh) 一种基于神经辐射场的三维重建方法
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
GB2586157A (en) System and method for performing 3D imaging of an object
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
CN116993926B (zh) 单视图人体三维重建方法
Zhu et al. Cascaded normal filtering neural network for geometry-aware mesh denoising of measurement surfaces
Hyeon et al. Automatic spatial template generation for realistic 3d modeling of large-scale indoor spaces
CN116704029A (zh) 稠密物体语义地图构建方法、装置、存储介质及电子设备
CN113223137B (zh) 透视投影人脸点云图的生成方法、装置及电子设备
CN114723973A (zh) 大尺度变化鲁棒的图像特征匹配方法及装置
CN112184611A (zh) 图像生成模型训练方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination