CN116580164B - 一种面向单视角三维人体重建的着装特征学习方法 - Google Patents
一种面向单视角三维人体重建的着装特征学习方法 Download PDFInfo
- Publication number
- CN116580164B CN116580164B CN202310867466.0A CN202310867466A CN116580164B CN 116580164 B CN116580164 B CN 116580164B CN 202310867466 A CN202310867466 A CN 202310867466A CN 116580164 B CN116580164 B CN 116580164B
- Authority
- CN
- China
- Prior art keywords
- dressing
- human body
- dimensional
- feature
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005070 sampling Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims abstract description 16
- 230000037237 body shape Effects 0.000 claims abstract description 13
- 210000003414 extremity Anatomy 0.000 claims description 32
- 210000002414 leg Anatomy 0.000 claims description 18
- 210000000988 bone and bone Anatomy 0.000 claims description 13
- 210000003127 knee Anatomy 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000037303 wrinkles Effects 0.000 abstract description 4
- 230000036544 posture Effects 0.000 description 26
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及面向单视角三维人体重建的着装特征学习方法。首先对输入的着装人体图像集中的单视角图像进行着装姿态特征学习，得到着装姿态特征；再基于着装姿态特征，定义着装人体关节点采样空间的柔性形变损失函数，对输入三维数据集中的着装人体网格进行着装褶皱特征学习，得到着装褶皱特征；然后结合特征编解码器、特征图采样和姿态参数回归，构建联合着装人体像素和体素的人体形状特征学习模块，得到着装人体形状特征；最后，结合着装褶皱特征、着装人体形状特征和计算的三维采样空间，通过定义有向距离场进行三维人体重建，输出最终的着装人体模型。本发明能有效学习单视角三维人体重建的着装特征，生成具有复杂姿态和动态褶皱的着装人体模型。
Description
技术领域
本发明涉及一种面向单视角三维人体重建的着装特征学习方法，属于计算机视觉及图形图像领域。
背景技术
考虑到单视角图像易于获取，可降低重建的使用条件与硬件成本，单视角三维人体重建成为研究热点。单视角着装人体重建旨在建立单幅着装人体图像与人体形状间的映射，并恢复着装人体表面的高精度细节，目前广泛应用于虚拟现实、数字人体、服装辅助设计、虚拟试衣等领域。公知方法主要包括参数化、隐式重建和混合方法。其中，参数化有助于恢复准确的表面几何形状，例如Zheng（< IEEE/CVF International Conference onComputer Vision >7739-7749,2019）通过体积特征变换将不同尺度的图像特征融合到三维空间，使用多尺度体积特征变换来融合二维图像，进一步丰富几何细节。隐式函数更注重服装款式细节生成，例如Chan（<European Conference on Computer Vision (ECCV)>328-344,2022）通过将人类解析信息输入到像素对齐的隐式模型中，以更好实现人体部位形状和位置的理解。混合方法融合了隐式与参数化的优点，不仅具有丰富细节还能生成准确的人体结构，例如Zheng（<IEEE Transactions on Pattern Analysis and MachineIntelligence> 3170-3184,2021）利用参数模型的语义特征对自由形式的深度隐函数进行正则化，从而提高了在复杂姿势与多种服装拓扑场景下的泛化能力。Corona（< IEEE/CVFConference on Computer Vision and Pattern Recognition >11875-11885,2021）使用以SMPL人体参数为条件的隐式模型，可以统一表示不同的服装拓扑结构，同时控制服装的尺寸或松紧程度。以上公知方法侧重于对图像中获得的静态特征进行表达，而忽略了三维人体重建中由于姿态导致的柔性形变等动态着装特征。用于服装动画的方法可以直接从人体姿态预测相关的服装柔性形变，Moon（<European Conference on Computer Vision(ECCV)>184-200,2022）将服装数据与SMPL人体数据结合，优化了不同姿态下的动态细节表达，但只适用于经过训练的简单服装模板，无法处理复杂着装姿态。
由于单视角着装人体图像存在肢体交叠、遮挡，着装姿态复杂等问题，现有的公知方法仅能精确提取和表示着装人体图像中的视觉特征，未考虑由于复杂着装姿态引起的动态特征，如褶皱细节等，较难表示和学习单视角着装人体下的着装特征，生成具有复杂姿态和动态褶皱的着装人体模型；因此，本发明提出一种面向单视角三维人体重建的着装特征学习方法。
发明内容
本发明涉及一种面向单视角三维人体重建的着装特征学习方法，通过二维肢体特征表示和人体关节点深度值预测，对着装人体的着装姿态进行特征学习，解决重建结果存在人体姿态或形状不准确的问题；基于着装姿态特征，通过定义人体关节点采样空间的柔性形变损失函数，对重建结果进行褶皱细节特征表示，获得由着装姿态引起的动态褶皱细节信息，增强对着装人体各角度下动态细节的几何表达。通过学习着装人体的二维、三维着装特征，生成具有高精度的三维着装人体模型。
本发明的技术方案是：一种面向单视角三维人体重建的着装特征学习方法：包括如下步骤：
Step1、结合二维着装肢体特征表示和着装人体关节点深度值预测，对输入的着装人体图像集中的单视角图像进行着装姿态特征学习，得到着装姿态特征；
Step2、基于着装姿态特征，定义着装人体关节点采样空间的柔性形变损失函数，对输入三维数据集中的着装人体网格进行着装褶皱特征学习，得到着装褶皱特征；
Step3、结合特征编解码器、特征图采样和姿态参数回归，构建联合着装人体像素和体素的人体形状特征学习模块，得到着装人体形状特征；
Step4、结合着装褶皱特征、着装人体形状特征和计算的三维采样空间，通过定义有向距离场进行三维人体重建，输出最终的着装人体模型。
所述Step1具体如下：
首先，定义着装人体姿态中的柔性形变关节点集为，其中 、、、分别表示着装人
体的左肘、右肘、左膝、右膝，点集中的每个关节点由二维空间坐标位置表示，并基于
定义的对输入的着装人体图像集进行柔性形变关节点标注。
其次，根据柔性形变关节点集中每个关节点所在的着装肢体（包括左臂、右臂、
左腿、右腿），对单幅单视角着装人体图像，进行二维着装姿态特征聚类。其中，左肘和右肘分别与左臂和右臂进行联合聚类， 左膝和右膝分别与
左腿和右腿进行联合聚类，得到二维着装肢体特征表示；表示
左臂，表示右臂，表示左腿，表示右腿；
然后，定义二维着装肢体特征损失函数，其中为一个的
向量，为中各二维肢体特征中包含的特征个数，为输入图像二维姿态中着装肢体属
于的第个特征概率。结合二维着装肢体特征与定义的损失函数，对进行二维
着装姿态预测，获得与最为相近的预测结果，最后得到表示二维着装姿态的关节点坐
标集合，中的每个二维坐标点由二维空间坐标位置表示。
再采用残差网络，通过提取图像的鲁棒特征进行着装人体关节点深度值预
测，从中回归得到坐标点的深度值，将中的每个二维坐标点抬升为三维坐标点，并用
三维空间坐标位置进行表示。
最后，对与对应的关节点，通过定义损失函数
，其中为中的第个关节点，、为与相邻的前后关节点，对三维坐标点进行着
装人体比例修正，最终得到图像的着装姿态特征。
所述Step2具体如下：
首先，构建以每个着装人体关节点为中心，包含人体网格内部形变骨骼点和
网格表面顶点的着装褶皱采样空间，其中，对空间中的每个网格表面顶点进行姿态蒙皮加权，其中，表示权重，为该顶点关联的骨
骼数量；为初始化的；为处的骨骼变换矩阵。
再对空间中的每个网格表面顶点，定义柔性形变损失函数，其中为姿态相关的蒙皮权重更新函
数，，为采样空间中的剩余顶点，为该着装姿态特征下与相邻两处骨骼
所形成的夹角；为顶点的地面真值。
最后，基于Step 1中得到的着装姿态特征，结合定义的柔性形变损失函数
对着装褶皱采样空间中的每个网格顶点进行着装褶皱特征学习，得到着装褶皱特征。
所述Step3具体如下：
首先将单视角着装人体图像输入深度图像编码器，得到图像的特征图，定义为使用双线性插值在处对的值进行采样的采样函数，为空间中三维点在
特征图中的二维投影像素点；基于给定像素的局部图像特征，使用对三维点进行占据概率值估计，学习得到像素对齐特征；
然后，对着装姿态特征进行旋转平移矩阵计算，得到生成SMPL人体所需的姿态
参数与形状参数，采用得到SMPL人体网格，其中为姿态
参数与形状参数下的T-pose模板；代表人体骨骼，将SMPL人体网格经过网
格体素化后转换为占用体积，输入三维特征编码器得到特征空间，使用对空间
中三维点进行双线性插值，得到体素对齐特征；
最后，联合像素对齐特征与体素对齐特征，将空间占用概率定义为并
生成有向距离场，其中，，；的取值范围为，当时，代表三维点存在于模型内部；当时，代表三维点存在于
模型外部；当时，代表三维点存在于模型上；提取处的空间点集，得到
着装人体形状特征。
所述Step4具体如下：
首先，将着装褶皱特征中的顶点数量扩展至完整人体所需的顶点数量，得到扩
展至整体的着装褶皱特征，并将扩展顶点的权重设置为初始化值，使该顶点在经过权
重变换后位置不改变；
然后，将经过扩散的着装褶皱特征中各顶点权重，与着装人体形状特征的对
应顶点相乘，使产生各顶点权重下相应的着装褶皱柔性形变，得到形变后的着装人体形
状特征；
最后，对形变后的着装人体形状特征所在三维采样空间，进行空间占用概率的有向距离场采样，得到最终的三维人体模型。
本发明的有益效果是：
1、公知的方法采用特征提取以及编解码器预测单视角图像中人体的三维姿态，而由于单视角着装人体图像中肢体交叠、遮挡，着装姿态较为复杂，现有的公知方法无法正确表示着装人体在三维空间下的姿态特征，本发明结合二维肢体特征表示和人体关节点深度值预测，对输入的单视角图像进行着装姿态特征学习，得到准确的着装人体三维姿态，以解决单视角着装人体图像不易获得三维姿态特征的问题。
2、公知的方法能够正确表示从输入的单视角图像中提取的静态特征，但由于图像中与姿态相关的动态细节特征难以提取且不易表示，本发明基于着装姿态特征，定义柔性形变损失函数，通过构建以柔性形变关节点为中心的着装褶皱采样空间，对着装人体重建真值进行空间中网格表面顶点的蒙皮权重学习，能够预测着装姿态下产生的褶皱细节信息，提高人体模型的真实性，增强由着装姿态引起的着装人体模型各角度的动态细节表达。
附图说明
图1为本发明的流程图；
图2为本发明的着装姿态特征学习流程图；
图3为本发明的着装褶皱采样空间构建示例图；
图4为本发明的着装人体形状特征学习流程图；
图5为本发明的单视角三维人体重建结果实例图；
具体实施方式
实施例1：如图1-图5所示，一种面向单视角三维人体重建的着装特征学习方法，包括：
Step1、结合二维着装肢体特征表示和着装人体关节点深度值预测，对输入的着装人体图像集中的单视角图像进行着装姿态特征学习，得到着装姿态特征；
Step2、基于着装姿态特征，定义着装人体关节点采样空间的柔性形变损失函数，对输入三维数据集中的着装人体网格进行着装褶皱特征学习，得到着装褶皱特征；
Step3、结合特征编解码器、特征图采样和姿态参数回归，构建联合着装人体像素和体素的人体形状特征学习模块，得到着装人体形状特征；
Step4、结合着装褶皱特征、着装人体形状特征和计算的三维采样空间，通过定义有向距离场进行三维人体重建，输出最终的着装人体模型。
所述Step1具体如下：
首先，定义着装人体姿态中的柔性形变关节点集为，其中 、、、分别表示着装人
体的左肘、右肘、左膝、右膝，点集中的每个关节点由二维空间坐标位置表示，并基于
定义的对输入的着装人体图像集进行柔性形变关节点标注。
其次，根据柔性形变关节点集中每个关节点所在的着装肢体（包括左臂、右臂、
左腿、右腿），对单幅单视角着装人体图像，进行二维着装姿态特征聚类。其中，左肘和右肘分别与左臂和右臂进行联合聚类， 左膝和右膝分别与
左腿和右腿进行联合聚类，得到二维着装肢体特征表示。
然后，定义二维着装肢体特征损失函数，其中为一个的
向量，为中各二维肢体特征中包含的特征个数，为输入图像二维姿态中着装肢体属
于的第个特征概率。结合二维着装肢体特征与定义的损失函数，对进行二维
着装姿态预测，获得与最为相近的预测结果，最后得到表示二维着装姿态的关节点坐
标集合，中的每个二维坐标点由二维空间坐标位置表示。
再采用残差网络，通过提取图像的鲁棒特征进行着装人体关节点深度值预
测，从中回归得到坐标点的深度值，将中的每个二维坐标点抬升为三维坐标点，并用
三维空间坐标位置进行表示。
最后，对与对应的关节点，通过定义损失函数
，其中为中的第个关节点，、为与相邻的前后关节点，对三维坐标点进行着
装人体比例修正，最终得到图像的着装姿态特征。
所述Step2具体如下：
首先，构建以每个着装人体关节点为中心，包含人体网格内部形变骨骼点和
网格表面顶点的着装褶皱采样空间，其中，对空间中的每个网格表面顶点进行姿态蒙皮加权，其中，表示权重，为该顶点关联的骨
骼数量；为初始化的；为处的骨骼变换矩阵。
再对空间中的每个网格表面顶点，定义柔性形变损失函数，其中为姿态相关的蒙皮权重更新函
数，，为采样空间中的剩余顶点，为该着装姿态特征下与相邻两处骨骼
所形成的夹角；为顶点的地面真值。
最后，基于Step 1中得到的着装姿态特征，结合定义的柔性形变损失函数
对着装褶皱采样空间中的每个网格顶点进行着装褶皱特征学习，得到着装褶皱特征。
实施例2：如图1所示，一种面向单视角三维人体重建的着装特征学习方法，所述方法具体步骤如下：
Step1、首先，定义着装人体姿态中的柔性形变关节点集为，其中 、、、分别表示着装人
体的左肘、右肘、左膝、右膝，点集中的每个关节点由二维空间坐标位置表示，并基于
定义的对输入的着装人体图像集进行柔性形变关节点标注。
其次，根据柔性形变关节点集中每个关节点所在的着装肢体（包括左臂、右臂、
左腿、右腿），对单幅单视角着装人体图像，进行二维着装姿态特征聚类。其中，左肘和右肘分别与左臂和右臂进行联合聚类， 左膝和右膝分别与
左腿和右腿进行联合聚类，得到二维着装肢体特征表示，见图2。中各特征对应的所含关节点如表1所示。
表1
然后，定义二维着装肢体特征损失函数，其中为一个的
向量，为中各二维肢体特征中包含的特征个数，为输入图像二维姿态中着装肢体属
于的第个特征概率。定义二维肢体特征仿射变换矩阵，其中包含旋转角度、比例因
子、x轴平移、y轴平移、向左翻转与向右翻转六个变量。仿射变换矩阵使二维姿态预测结
果经过变换能够接近中各特征的坐标。通过计算中每个二维
肢体特征的得分，其中为每次的二维姿态预测结果，最后得到。结合二维着装肢体特征与定义的损失函数，对进行二维着装姿态
预测，获得与最为相近的预测结果，最后得到表示二维着装姿态的关节点坐标集合
，中的每个二维坐标点由二维空间坐标位置表示。
再采用残差网络，通过提取图像的鲁棒特征进行着装人体关节点深度值预
测，从中回归得到坐标点的深度值，将中的每个二维坐标点抬升为三维坐标点，并用
三维空间坐标位置进行表示。
最后，对与对应的关节点，通过定义损失函数
，其中为中的第个关节点，、为与相邻的前后关节点，对三维坐标点进行着
装人体比例修正，最终得到图像的着装姿态特征，见图5(b)。
Step2、如图3所示，首先构建以每个着装人体关节点为中心，包含人体网格内
部形变骨骼点和网格表面顶点的着装褶皱采样空间，其中。空间中点的
三维坐标取值范围由的三维坐标值确定，与对应的各维度取值范围计算规则如表
2所示。对空间中的每个网格表面顶点进行姿态蒙皮加权，其中，表示权重，为该顶点关联的骨骼数量；为初始化的；为处
的骨骼变换矩阵。
表2
再对空间中的每个网格表面顶点，定义柔性形变损失函数，其中为姿态相关的蒙皮权重
更新函数，为采样空间中的剩余顶点，为该着装姿态特征下与相邻两处骨骼
所形成的夹角；为顶点的地面真值。
最后，基于Step 1中得到的着装姿态特征，结合定义的柔性形变损失函数
对着装褶皱采样空间中的每个网格顶点进行着装褶皱特征学习。对于网格顶点，定
义表示网格顶点的位置，其中代表空间中网格顶点数量，其与T-pose模板中
的相应顶点一一对应。使用姿态编码器生成姿态相关的几何特征，再将几何特征输入到姿态解码器，可以得到每个网格顶
点处姿态相关褶皱的位移，使用损失函数更新位移，经过位移
后的各顶点的集合即着装褶皱特征。
Step3、如图4所示，首先将单视角着装人体图像输入深度图像编码器，得到图像的特征图，定义为使用双线性插值在处对的值进行采样的采样函数，为空间中三维点在特征图中的二维投影像素点。基于给定像素的局部图像特征，
使用对三维点进行占据概率值估计，学习得到像素对齐特征。
然后，对着装姿态特征进行旋转平移矩阵计算，得到生成SMPL人体所需的姿态
参数与形状参数，采用得到SMPL人体网格，如图5(c)所示，其
中为姿态参数与形状参数下的T-pose模板；代表人体骨骼。将SMPL人体网格经过网格体素化后转换为占用体积，输入三维特征编码器得到特征空间，使用对空间中三维点进行双线性插值，得到体素对齐特征。
最后，联合像素对齐特征与体素对齐特征，将空间占用概率定义为并
生成有向距离场，其中，，。的取值范围为，当时，代表三维点存在于模型内部；当时，代表三维点存在于
模型外部; 当时，代表三维点存在于模型上。提取处的空间点集，得到
着装人体形状特征。
Step4、首先，将着装褶皱特征中的顶点数量扩展至完整人体所需的顶点数量，
得到扩展至整体的着装褶皱特征，并将扩展顶点的权重设置为初始化值，使该顶点在
经过权重变换后位置不改变。
然后，将经过扩散的着装褶皱特征中各顶点权重，与着装人体形状特征的对
应顶点相乘，使产生各顶点权重下相应的着装褶皱柔性形变，得到形变后的着装人体形
状特征。
最后，如图5(d)所示，对形变后的着装人体形状特征所在三维采样空间，进行
空间占用概率的有向距离场采样，得到最终的三维人体模型。
综上，本发明方法能有效学习单视角三维人体重建的着装特征，生成具有复杂姿态和动态褶皱的着装人体模型。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (1)
1.一种面向单视角三维人体重建的着装特征学习方法，其特征在于：所述方法的具体步骤如下：
Step1、结合二维着装肢体特征表示和着装人体关节点深度值预测，对输入的着装人体图像集中的单视角图像进行着装姿态特征学习，得到着装姿态特征；
Step2、基于着装姿态特征，定义着装人体关节点采样空间的柔性形变损失函数，对输入三维数据集中的着装人体网格进行着装褶皱特征学习，得到着装褶皱特征；
Step3、结合特征编解码器、特征图采样和姿态参数回归，构建联合着装人体像素和体素的人体形状特征学习模块，得到着装人体形状特征；
Step4、结合着装褶皱特征、着装人体形状特征和计算的三维采样空间，通过定义有向距离场进行三维人体重建，输出最终的着装人体模型；
所述Step1具体如下：
首先，定义着装人体姿态中的柔性形变关节点集为，其中 />、/>、/>、/>分别表示着装人体的左肘、右肘、左膝、右膝，点集中的每个关节点由二维空间坐标位置/>表示，并基于定义的/>对输入的着装人体图像集进行柔性形变关节点标注；
其次，根据柔性形变关节点集中每个关节点所在的着装肢体，包括左臂、右臂、左腿、右腿，对单幅单视角着装人体图像/>，进行二维着装姿态特征聚类；其中，左肘/>和右肘/>分别与左臂和右臂进行联合聚类， 左膝/>和右膝/>分别与左腿和右腿进行联合聚类，得到二维着装肢体特征表示/>；/>表示左臂，表示右臂，/>表示左腿，/>表示右腿；
然后，定义二维着装肢体特征损失函数，其中/>为一个/>的向量，/>为/>中各二维肢体特征中包含的特征个数，/>为输入图像二维姿态中着装肢体属于的第/>个特征概率；结合二维着装肢体特征/>与定义的损失函数/>，对/>进行二维着装姿态预测，获得与/>最为相近的预测结果，最后得到表示/>二维着装姿态的关节点坐标集合/>，/>中的每个二维坐标点由二维空间坐标位置/>表示；
再采用残差网络，通过提取图像的鲁棒特征/>进行着装人体关节点深度值预测，从中回归得到坐标点的深度/>值，将/>中的每个二维坐标点抬升为三维坐标点，并用三维空间坐标位置/>进行表示；
最后，对与/>对应的关节点，通过定义损失函数/>，其中/>为/>中的第/>个关节点，/>、/>为与/>相邻的前后关节点，对三维坐标点进行着装人体比例修正，最终得到图像/>的着装姿态特征/>；
所述Step2具体如下：
首先，构建以每个着装人体关节点为中心，包含人体网格内部形变骨骼点/>和网格表面顶点/>的着装褶皱采样空间/>，其中/>，对空间/>中的每个网格表面顶点/>进行姿态蒙皮加权/>，其中，/>表示权重，/>为该顶点关联的骨骼数量；/>为初始化的/>；/>为/>处的骨骼变换矩阵；
再对空间中的每个网格表面顶点/>，定义柔性形变损失函数，其中/>为姿态相关的蒙皮权重更新函数，/>，/>为采样空间/>中的剩余顶点，/>为该着装姿态特征/>下与/>相邻两处骨骼所形成的夹角；/>为顶点/>的地面真值；
最后，基于Step 1中得到的着装姿态特征，符号记为，结合定义的柔性形变损失函数对着装褶皱采样空间/>中的每个网格顶点/>进行着装褶皱特征学习，得到着装褶皱特征/>；
所述Step3具体如下：
首先将单视角着装人体图像输入深度图像编码器，得到图像的特征图/>，定义/>为使用双线性插值在/>处对/>的值进行采样的采样函数，/>为空间中三维点/>在特征图/>中的二维投影像素点；基于给定像素的局部图像特征，使用/>对三维点/>进行占据概率值估计，学习得到像素对齐特征/>；
然后，对着装姿态特征进行旋转平移矩阵计算，得到生成SMPL人体所需的姿态参数与形状参数/>，采用/>得到SMPL人体网格，其中/>为姿态参数与形状参数/>下的T-pose模板；/>代表人体骨骼，将SMPL人体网格/>经过网格体素化后转换为占用体积，输入三维特征编码器得到特征空间/>，使用/>对空间中三维点/>进行双线性插值，得到体素对齐特征/>；
最后，联合像素对齐特征与体素对齐特征/>，将空间占用概率定义为/>并生成有向距离场，其中/>，/>，/>；/>的取值范围为/>，当/>时，代表三维点/>存在于模型内部；当/>时，代表三维点/>存在于模型外部；当/>时，代表三维点/>存在于模型上；提取/>处的空间点集，得到着装人体形状特征/>；
所述Step4具体如下：
首先，将着装褶皱特征中的顶点数量扩展至完整人体所需的顶点数量，得到扩展至整体的着装褶皱特征/>，并将扩展顶点的权重设置为初始化值/>，使该顶点在经过权重变换后位置不改变；
然后，将经过扩散的着装褶皱特征中各顶点权重，与着装人体形状特征/>的对应顶点相乘，使/>产生各顶点权重下相应的着装褶皱柔性形变，得到形变后的着装人体形状特征/>；
最后，对形变后的着装人体形状特征所在三维采样空间，进行空间占用概率的有向距离场采样，得到最终的三维人体模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310867466.0A CN116580164B (zh) | 2023-07-15 | 2023-07-15 | 一种面向单视角三维人体重建的着装特征学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310867466.0A CN116580164B (zh) | 2023-07-15 | 2023-07-15 | 一种面向单视角三维人体重建的着装特征学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116580164A CN116580164A (zh) | 2023-08-11 |
| CN116580164B true CN116580164B (zh) | 2023-10-17 |
Family
ID=87545768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310867466.0A Active CN116580164B (zh) | 2023-07-15 | 2023-07-15 | 一种面向单视角三维人体重建的着装特征学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116580164B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982578A (zh) * | 2012-10-31 | 2013-03-20 | 北京航空航天大学 | 单幅人物图像中着装人体三维模型估计方法 |
| CN106934688A (zh) * | 2017-02-20 | 2017-07-07 | 宁波大学 | 基于3d体态参数提取的服装加工方法 |
| CN114119908A (zh) * | 2020-08-27 | 2022-03-01 | 北京陌陌信息技术有限公司 | 一种服装模型驱动方法、设备和存储介质 |
| CN114782634A (zh) * | 2022-05-10 | 2022-07-22 | 中山大学 | 基于表面隐函数的单目图像着装人体重建方法与系统 |
| CN114972622A (zh) * | 2021-12-30 | 2022-08-30 | 昆明理工大学 | 一种针对民族服装图像的高精度三维重建方法 |
| KR20220124432A (ko) * | 2021-03-03 | 2022-09-14 | 엔에이치엔클라우드 주식회사 | 2차원 이미지에 기초한 3차원 가상 의류 착용방법 및 그 시스템 |
| WO2022256598A1 (en) * | 2021-06-03 | 2022-12-08 | Cornell University | Rapid generation of custom-fit garment patterns from 3d body scans |
| CN115564795A (zh) * | 2022-10-09 | 2023-01-03 | 杭州电子科技大学 | 一种基于多模态信息的三维人体姿态估计方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4473754B2 (ja) * | 2005-03-11 | 2010-06-02 | 株式会社東芝 | 仮想試着装置 |
| CN103473806B (zh) * | 2013-09-23 | 2016-03-16 | 北京航空航天大学 | 一种基于单幅图像的服装三维模型构建方法 |
| US10546433B2 (en) * | 2017-08-03 | 2020-01-28 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for modeling garments using single view images |
| EP3579196A1 (en) * | 2018-06-05 | 2019-12-11 | Cristian Sminchisescu | Human clothing transfer method, system and device |
| CN111598656B (zh) * | 2020-05-12 | 2023-05-23 | 宁波凯信服饰股份有限公司 | 一种基于样例的虚拟试衣方法 |
-
2023
- 2023-07-15 CN CN202310867466.0A patent/CN116580164B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982578A (zh) * | 2012-10-31 | 2013-03-20 | 北京航空航天大学 | 单幅人物图像中着装人体三维模型估计方法 |
| CN106934688A (zh) * | 2017-02-20 | 2017-07-07 | 宁波大学 | 基于3d体态参数提取的服装加工方法 |
| CN114119908A (zh) * | 2020-08-27 | 2022-03-01 | 北京陌陌信息技术有限公司 | 一种服装模型驱动方法、设备和存储介质 |
| KR20220124432A (ko) * | 2021-03-03 | 2022-09-14 | 엔에이치엔클라우드 주식회사 | 2차원 이미지에 기초한 3차원 가상 의류 착용방법 및 그 시스템 |
| WO2022256598A1 (en) * | 2021-06-03 | 2022-12-08 | Cornell University | Rapid generation of custom-fit garment patterns from 3d body scans |
| CN114972622A (zh) * | 2021-12-30 | 2022-08-30 | 昆明理工大学 | 一种针对民族服装图像的高精度三维重建方法 |
| CN114782634A (zh) * | 2022-05-10 | 2022-07-22 | 中山大学 | 基于表面隐函数的单目图像着装人体重建方法与系统 |
| CN115564795A (zh) * | 2022-10-09 | 2023-01-03 | 杭州电子科技大学 | 一种基于多模态信息的三维人体姿态估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 三维人体重建中的服装视觉信息表示;普骏程, 刘骊, 付晓东, 刘利军, 黄青松;计算机辅助设计与图形学学报;第34卷(第3期);352-363 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116580164A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Bcnet: Learning body and cloth shape from a single image | |
| US10529127B2 (en) | System and method for simulating realistic clothing | |
| Li et al. | Fitting 3D garment models onto individual human models | |
| Wang et al. | Virtual human modeling from photographs for garment industry | |
| CN111598656B (zh) | 一种基于样例的虚拟试衣方法 | |
| Su et al. | Deepcloth: Neural garment representation for shape and style editing | |
| Jiang et al. | Transferring and fitting fixed-sized garments onto bodies of various dimensions and postures | |
| CN112862956B (zh) | 基于HRBFs的人体与服装模型碰撞检测和处理方法 | |
| CN105427386A (zh) | 基于输入人体姿态实时生成的服装变形方法 | |
| CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
| JP2022544353A (ja) | 裸の身体の形状を身体の隠れているスキャン像から推定する方法 | |
| Liang et al. | Machine learning for digital try-on: Challenges and progress | |
| Shi et al. | Automatic 3D virtual fitting system based on skeleton driving | |
| CN116310066A (zh) | 一种单图像三维人体形态估计方法及应用 | |
| Lei et al. | A new approach to 3D pattern-making for the apparel industry: Graphic coding-based localization | |
| Li et al. | Remodeling of mannequins based on automatic binding of mesh to anthropometric parameters | |
| CN116580164B (zh) | 一种面向单视角三维人体重建的着装特征学习方法 | |
| Liu et al. | Modeling Realistic Clothing from a Single Image under Normal Guide | |
| CN108564618B (zh) | 基于多体素块的手几何运动重建方法及装置 | |
| Halimi et al. | Physgraph: Physics-based integration using graph neural networks | |
| CN115761143A (zh) | 一种基于2d图像的3d虚拟换装模型生成方法及装置 | |
| Oliveira et al. | Animating scanned human models | |
| CN112508776B (zh) | 动作迁移方法、装置和电子设备 | |
| Liu et al. | Robust and automatic clothing reconstruction based on a single RGB image | |
| Chen et al. | A data-driven approach to efficient character articulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |