CN115346000A - 三维人体重建方法、装置、计算机可读介质及电子设备 - Google Patents
三维人体重建方法、装置、计算机可读介质及电子设备 Download PDFInfo
- Publication number
- CN115346000A CN115346000A CN202211056471.5A CN202211056471A CN115346000A CN 115346000 A CN115346000 A CN 115346000A CN 202211056471 A CN202211056471 A CN 202211056471A CN 115346000 A CN115346000 A CN 115346000A
- Authority
- CN
- China
- Prior art keywords
- hand
- human body
- dimensional human
- head
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本申请属于三维重建技术领域，具体涉及一种三维人体重建方法、装置、计算机可读介质及电子设备。该方法包括获取二维人体图像；将二维人体图像输入姿态估计网络，得到二维人体关节信息，并将二维人体关节信息输入身体卷积网络，得到身体参数信息；基于二维人体关节信息，对二维人体图像进行分割得到手部图像和头部图像；将手部图像输入双手图卷积网络，得到手部参数信息，以及将头部图像输入头部图卷积网络，得到头部参数信息；将手部参数信息、头部参数信息以及身体参数信息进行整合，以重建得到三维人体模型。这样，对于手部或者头部被遮挡的情况下，通过对手部图像和头部图像进行重构，从而有利于准确重建出具有准确形态的三维人体模型。
Description
技术领域
本申请属于三维重建技术领域，具体涉及一种三维人体重建方法、装置、计算机可读介质及电子设备。
背景技术
三维人体建模是计算机视觉和图形学的研究核心问题之一，并且基于单视角的三维人体重建技术已经得到了一些应用。例如，服务机器人与人交互时，需要从自身的角度估计交互对象的三维人体模型；增强现实应用需要从自身角度估计目标人体的三维模型。由于单视图图像仅能够观察到正面人体表面，因此重建三维模型需要人体几何学的先验知识。
在进行三维人体重建时，相关技术方案中一般使用RGB-D相机从单一视角拍摄彩色图像和深度图像，然后将基于统计的参数人体模型拟合到RGB-D图片中，从而重建得到三维人体图像。但是该方式在有物体遮挡的情况下，无法可靠地实现单视图三维人体重建。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种三维人体重建方法、装置、计算机可读介质及电子设备，在一定程度上有利于准确重建出具有准确形态的三维人体模型。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种三维人体重建方法，所述方法包括：
获取二维人体图像；
将所述二维人体图像输入姿态估计网络，得到二维人体关节信息，并将所述二维人体关节信息输入身体卷积网络，得到身体参数信息；
基于所述二维人体关节信息，对所述二维人体图像进行分割得到手部图像和头部图像；
将所述手部图像输入双手图卷积网络，得到手部参数信息，以及将所述头部图像输入头部图卷积网络，得到头部参数信息；
将所述手部参数信息、所述头部参数信息以及所述身体参数信息进行整合，以重建得到三维人体模型。
根据本申请实施例的一个方面，提供一种三维人体重建装置，所述装置包括：
获取模块，用于获取二维人体图像；
预处理模块，用于将所述二维人体图像输入姿态估计网络，得到二维人体关节信息，并将所述二维人体关节信息输入身体卷积网络，得到身体参数信息；
分割模块，用于基于所述二维人体关节信息，对所述二维人体图像进行分割得到手部图像和头部图像；
处理模块，用于将所述手部图像输入双手图卷积网络，得到手部参数信息，以及将所述头部图像输入头部图卷积网络，得到头部参数信息；
重建模块，用于将所述手部参数信息、所述头部参数信息以及所述身体参数信息进行整合，以重建得到三维人体模型。
在本申请的一些实施例中，基于以上技术方案，所述处理模块，还用于获取标准手部模型，并将所述标准手部模型作为双手图卷积网络的模板网格；对所述手部图像进行特征提取，得到手部特征信息；将所述手部特征信息与所述模板网格中包含的顶点的位置信息进行结合，得到网格中每个顶点的手部特征向量；将所述手部特征向量输入所述双手图卷积网络，以得到所述手部参数信息。
在本申请的一些实施例中，基于以上技术方案，所述处理模块，还用于获取标准头部模型，并将所述标准头部模型作为头部图卷积网络的模板网格；对所述头部图像进行特征提取，得到头部特征信息；将所述头部特征信息与所述模板网格中包含的顶点的位置信息进行结合，得到网格中每个顶点的头部特征向量；将所述头部特征向量输入所述头部图卷积网络，以得到所述头部参数信息。
在本申请的一些实施例中，基于以上技术方案，所述预处理模块，还用于将所述二维人体关节信息输入身体图卷积网络，得到三维人体关节姿态信息；将所述三维人体关节姿态信息通过逆运动学求解得到人体生成模型的参数；将所述三维人体关节姿态信息进行运动链空间转换，得到运动链空间信息；根据所述运动链空间信息以及所述人体生成模型参数，得到目标人体模型。
在本申请的一些实施例中，基于以上技术方案，所述人体生成模型采用SMPL模型。
在本申请的一些实施例中，基于以上技术方案，所述双手图卷积网络包括输入层、线性连接层、组归一化层、激活层以及输出层。
在本申请的一些实施例中，基于以上技术方案，所述重建模块，还用于将所述手部参数信息、所述头部参数信息以及所述身体参数信息利用网格顶点对应关系进行整合；将进行整合时选中的特征关节经过旋转与平移变换，以重建得到所述三维人体模型。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的三维人体重建方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的三维人体重建方法。
根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的三维人体重建方法。
在本申请实施例提供的技术方案中，基于姿态估计网络输出的二维人体关节信息，对二维人体图像进行分割得到手部图像和头部图像，再将手部图像经过双手图卷积网络得到手部参数信息，将头部图像经过头部图卷积网络得到头部参数信息，最后再将手部参数信息、头部参数信息以及身体参数信息进行整合，以重建得到三维人体模型。这样，对于手部或者头部被遮挡的情况下，通过对手部图像和头部图像进行重构进行细节重现，从而有利于准确重建出具有准确形态的三维人体模型。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了本申请一实施例提供的三维人体重建方法步骤流程。
图2示意性地示出了应用本申请技术方案的示例性系统架构框图。
图3示意性地示出了本申请一实施例提供的将手部图像输入双手图卷积网络，得到手部参数信息的流程示意图。
图4示意性地示出了应用本申请技术方案的手部架构框图。
图5示意性地示出了本申请一实施例提供的将头部图像输入头部图卷积网络，得到头部参数信息的流程示意图。
图6示意性地示出了本申请一实施例提供的将二维人体关节信息输入身体卷积网络，得到身体参数信息的流程示意图。
图7示意性地示出了本申请一实施例提供的双手图卷积网络示意图。
图8示意性地示出了本申请实施例提供的三维人体重建装置的结构框图。
图9示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合具体实施方式对本申请提供的三维人体重建方法、装置、计算机可读介质及电子设备做出详细说明。
参见图1，图1示意性地示出了本申请一实施例提供的三维人体重建方法步骤流程。该三维人体重建方法可以由控制器来执行，主要可以包括如下步骤S101至步骤S105。
步骤S101，获取二维人体图像。
其中，二维人体图像可以为任意包括人像的二维图像，对于二维人体图像的来源例如可以通过图像拍摄装置采集人的图像作为二维人体图像。
步骤S102，将二维人体图像输入姿态估计网络，得到二维人体关节信息，并将二维人体关节信息输入身体卷积网络，得到身体参数信息。
其中，姿态估计网络通过如下方式得到，具体地，通过采集人体姿态的图像，并对人体姿态的图像进行预处理，形成训练集；构建人体姿态估计网络模型；采用训练集的图像对人体姿态估计网络模型进行训练，优化人体姿态估计网络模型的网络参数，以训练得到姿态估计网络。
在得到二维人体图像之后，将二维人体图像输入姿态估计网络进行姿态估计，从而可以得到人体各个关节的信息，即二维人体关节信息。然后将二维人体关节信息输入身体卷积网络，以得到身体参数信息。
步骤S103，基于二维人体关节信息，对二维人体图像进行分割得到手部图像和头部图像。
由于二维人体关节信息中各个关节点具有其相应的序号，根据各个关节点对应的序号对二维人体图像进行分割，以得到手部图像和头部头像。这样，通过得到手部图像和头部图像从而有利于当手部或者头部被遮挡时，还原细致的手部图像或者头部图像。
步骤S104，将手部图像输入双手图卷积网络，得到手部参数信息，以及将头部图像输入头部图卷积网络，得到头部参数信息。
步骤S105，将手部参数信息、头部参数信息以及身体参数信息进行整合，以重建得到三维人体模型。
在得到手部参数信息、头部参数信息以及身体参数信息之后，将这三部分进行整合重建得到完成的三维人体图像。
为了便于理解本申请的技术方案，参见图2，图2示意性地示出了应用本申请技术方案的示例性系统架构框图。在本申请实施例提供的技术方案中，基于姿态估计网络输出的二维人体关节信息，对二维人体图像进行分割得到手部图像和头部图像，再将手部图像经过双手图卷积网络得到手部参数信息，将头部图像经过头部图卷积网络得到头部参数信息，最后再将手部参数信息、头部参数信息以及身体参数信息进行整合，以重建得到三维人体模型。这样，对于手部或者头部被遮挡的情况下，通过对手部图像和头部图像进行重构进行细节重现，从而有利于准确重建出具有准确形态的三维人体模型。
在本申请的一个实施例中，参见图3，图3示意性地示出了本申请一实施例提供的将手部图像输入双手图卷积网络，得到手部参数信息的流程示意图。将手部图像输入双手图卷积网络，得到手部参数信息，主要可以包括如下步骤S301至步骤S304。
步骤S301，获取标准手部模型，并将标准手部模型作为双手图卷积网络的模板网格；
步骤S302，对手部图像进行特征提取，得到手部特征信息；
步骤S303，将手部特征信息与模板网格中包含的顶点的位置信息进行结合，得到网格中每个顶点的手部特征向量；
步骤S304，将手部特征向量输入双手图卷积网络，以得到手部参数信息。
参见图4，图4示意性地示出了应用本申请技术方案的手部架构框图。该实施例采用标准手部模型作为图卷积网络的模板网格，将分割后的手部图像通过编码后提取得到特征，结合模板网络中包含的顶点的位置属性信息，组成网格中各个顶点的特征向量，再通过图卷积网络生成得到目标模型顶点的位置属性信息，从而得到手部参数信息。
这样，对于手部被遮挡的情况下，通过使用标准手部模型，从而有利于得到更细致的手部信息，有利于准确重建出具有准确形态的三维人体模型。
在本申请的一个实施例中，参见图5，图5示意性地示出了本申请一实施例提供的将头部图像输入头部图卷积网络，得到头部参数信息的流程示意图。将头部图像输入头部图卷积网络，得到头部参数信息，主要可以包括如下步骤S501至步骤S504。
步骤S501，获取标准头部模型，并将标准头部模型作为头部图卷积网络的模板网格；
步骤S502，对头部图像进行特征提取，得到头部特征信息；
步骤S503，将头部特征信息与模板网格中包含的顶点的位置信息进行结合，得到网格中每个顶点的头部特征向量；
步骤S504，将头部特征向量输入头部图卷积网络，以得到头部参数信息。
该实施例采用标准头部模型作为图卷积网络的模板网格，将分割后的头部图像通过编码后提取得到特征，结合模板网络中包含的顶点的位置属性信息，组成网格中各个顶点的特征向量，再通过图卷积网络生成得到目标模型顶点的位置属性信息，从而得到头部参数信息。
这样，对于头部被遮挡的情况下，通过使用标准头部模型，从而有利于得到更细致的头部信息，从而有利于准确重建出具有准确形态的三维人体模型。
在本申请的一个实施例中，参见图6，图6示意性地示出了本申请一实施例提供的将二维人体关节信息输入身体卷积网络，得到身体参数信息的流程示意图。将二维人体关节信息输入身体卷积网络，得到身体参数信息，主要可以包括如下步骤S601至步骤S604。
步骤S601，将二维人体关节信息输入身体图卷积网络，得到三维人体关节姿态信息；
步骤S602，将三维人体关节姿态信息通过逆运动学求解得到人体生成模型的参数；
步骤S603，将三维人体关节姿态信息进行运动链空间转换，得到运动链空间信息；
步骤S604，根据运动链空间信息以及人体生成模型参数，得到目标人体模型。
对于身体部分的三维重建，首先将姿态估计网络输出的2D关节信息和经过编码后的图像信息输入图卷积网络，得到固定形式的3D关节位置信息。之后，将模块输出的3D姿态属性信息通过逆运动学求解得到人体参数化模型参数，进而得到一个接近于RGB图像中同一姿态的三维人体模型。同时将3D关节信息转化为运动链空间信息，根据关节定义计算运动链空间矩阵，从而提取更多的关节对称性、关节角度等人体姿态信息。最后通过网络学习融合不同层次的模型信息，分阶段训练，通过网络输出目标人体模型。
在本申请的一个实施例中，人体生成模型采用SMPL模型。
SMPL模型是一种参数化人体模型，用于进行人体建模。通过使用该模型可以模拟人的肌肉在肢体运动过程中的凸起和凹陷。因此可以避免人体在运动过程中的表面失真，可以精准的刻画人的肌肉拉伸以及收缩运动的形貌。通过采用SMPL模型，从而有利于得到目标人体模型。
在本申请的一个实施例中，双手图卷积网络包括输入层、线性连接层、组归一化层、激活层以及输出层。
参见图7，图7示意性地示出了本申请一实施例提供的双手图卷积网络示意图。该双手图卷积网络结构中，加入了跳跃连接强化残差图卷积块，网络结构中包括线性连接层，激活层和组归一化层。除此之外，对于输入和输出维度不等的情况，还添加了一个额外的线性层，用于保证输出维度正常。将输入的手部RGB图像与标准手部模型的顶点三维位置属性信息一起输入到图卷积网络，通过图卷积网络生成得到手部实际的顶点位置。
另外，该网络的训练过程为，从训练图片集中获取训练图片数据，并初始化该网络模型的预置参数，基于目标函数计算双手点和点之间的误差值以及双手关节点的三维顶点之间的误差值；根据损失值优化图卷积网络模型的参数，得到优化后的参数，并根据优化后的参数得到双手图卷积网络。
其中，为了得到精确可靠的重建结果，其中，网络的目标函数设置为：
Ehand＝λsEs+λ3dE3d
其中，Ehand代表的是目标函数，λs和λ3d代表的是权重值，Es为双手点和点之间的误差值，E3d为双手关节点的三维顶点之间的误差值。由于身体卷积网络以及头部图卷积网络基于同样的原理，在此不予赘述。
在本申请的一个实施例中，将手部参数信息、头部参数信息以及身体参数信息进行整合，以重建得到三维人体模型，包括：
将手部参数信息、头部参数信息以及身体参数信息利用网格顶点对应关系进行整合；
将进行整合时选中的特征关节经过旋转与平移变换，以重建得到三维人体模型。
在得到了身体参数信息、双手参数信息和头部参数信息之后，输入到多模块整合中，通过得到的顶点对应关系将各部分整合到人体模型中，并共享模型的拓扑网格关系，将人体参数化网格形式的身体重建结果转换成为包括面部表情和双手姿势的全身参数化模型网格形式，进而将独立的各部分重建结果整合到一起。
这样，在得到手部参数信息、头部参数信息以及身体参数信息之后，将这三部分进行整合重建得到完成的三维人体图像。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的三维人体重建方法。图8示意性地示出了本申请实施例提供的三维人体重建装置的结构框图。如图8所示，三维人体重建装置800包括：
获取模块801，用于获取二维人体图像；
预处理模块802，用于将二维人体图像输入姿态估计网络，得到二维人体关节信息，并将二维人体关节信息输入身体卷积网络，得到身体参数信息；
分割模块803，用于基于所述二维人体关节信息，对所述二维人体图像进行分割得到手部图像和头部图像；
处理模块804，用于将手部图像输入双手图卷积网络，得到手部参数信息，以及将头部图像输入头部图卷积网络，得到头部参数信息；
重建模块805，用于将手部参数信息、头部参数信息以及身体参数信息进行整合，以重建得到三维人体模型。
在本申请的一些实施例中，基于以上技术方案，处理模块804还用于获取标准手部模型，并将标准手部模型作为双手图卷积网络的模板网格；对手部图像进行特征提取，得到手部特征信息；将手部特征信息与模板网格中包含的顶点的位置信息进行结合，得到网格中每个顶点的手部特征向量；将手部特征向量输入双手图卷积网络，以得到手部参数信息。
在本申请的一些实施例中，基于以上技术方案，处理模块804还用于获取标准头部模型，并将标准头部模型作为头部图卷积网络的模板网格；对头部图像进行特征提取，得到头部特征信息；将头部特征信息与模板网格中包含的顶点的位置信息进行结合，得到网格中每个顶点的头部特征向量；将头部特征向量输入头部图卷积网络，以得到头部参数信息。
在本申请的一些实施例中，基于以上技术方案，预处理模块802还用于将二维人体关节信息输入身体图卷积网络，得到三维人体关节姿态信息；将三维人体关节姿态信息通过逆运动学求解得到人体生成模型的参数；将三维人体关节姿态信息进行运动链空间转换，得到运动链空间信息；根据运动链空间信息以及人体生成模型参数，得到目标人体模型。
在本申请的一些实施例中，基于以上技术方案，人体生成模型采用SMPL模型。
在本申请的一些实施例中，基于以上技术方案，双手图卷积网络包括输入层、线性连接层、组归一化层、激活层以及输出层。
在本申请的一些实施例中，基于以上技术方案，重建模块805还用于将手部参数信息、头部参数信息以及身体参数信息利用网格顶点对应关系进行整合；将进行整合时选中的特征关节经过旋转与平移变换，以重建得到三维人体模型。
本申请各实施例中提供的三维人体重建装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图9示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图9示出的电子设备的计算机系统900仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括中央处理器901(Central Processing Unit，CPU)，其可以根据存储在只读存储器902(Read-Only Memory，ROM)中的程序或者从存储部分908加载到随机访问存储器903(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器903中，还存储有系统操作所需的各种程序和数据。中央处理器901、在只读存储器902以及随机访问存储器903通过总线904彼此相连。输入/输出接口905(Input/Output接口，即I/O接口)也连接至总线904。
以下部件连接至输入/输出接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至输入/输出接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理器901执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种三维人体重建方法，其特征在于，所述方法包括：
获取二维人体图像；
将所述二维人体图像输入姿态估计网络，得到二维人体关节信息，并将所述二维人体关节信息输入身体卷积网络，得到身体参数信息；
基于所述二维人体关节信息，对所述二维人体图像进行分割得到手部图像和头部图像；
将所述手部图像输入双手图卷积网络，得到手部参数信息，以及将所述头部图像输入头部图卷积网络，得到头部参数信息；
将所述手部参数信息、所述头部参数信息以及所述身体参数信息进行整合，以重建得到三维人体模型。
2.根据权利要求1所述的三维人体重建方法，其特征在于，所述将所述手部图像输入双手图卷积网络，得到手部参数信息，包括：
获取标准手部模型，并将所述标准手部模型作为双手图卷积网络的模板网格；
对所述手部图像进行特征提取，得到手部特征信息；
将所述手部特征信息与所述模板网格中包含的顶点的位置信息进行结合，得到网格中每个顶点的手部特征向量；
将所述手部特征向量输入所述双手图卷积网络，以得到所述手部参数信息。
3.根据权利要求1所述的三维人体重建方法，其特征在于，所述将所述头部图像输入头部图卷积网络，得到头部参数信息，包括：
获取标准头部模型，并将所述标准头部模型作为头部图卷积网络的模板网格；
对所述头部图像进行特征提取，得到头部特征信息；
将所述头部特征信息与所述模板网格中包含的顶点的位置信息进行结合，得到网格中每个顶点的头部特征向量；
将所述头部特征向量输入所述头部图卷积网络，以得到所述头部参数信息。
4.根据权利要求1至3任意一项所述的三维人体重建方法，其特征在于，所述将所述二维人体关节信息输入身体卷积网络，得到身体参数信息，包括：
将所述二维人体关节信息输入身体图卷积网络，得到三维人体关节姿态信息；
将所述三维人体关节姿态信息通过逆运动学求解得到人体生成模型的参数；
将所述三维人体关节姿态信息进行运动链空间转换，得到运动链空间信息；
根据所述运动链空间信息以及所述人体生成模型参数，得到目标人体模型。
5.根据权利要求4所述的三维人体重建方法，其特征在于，所述人体生成模型采用SMPL模型。
6.根据权利要求1所述的三维人体重建方法，其特征在于，所述双手图卷积网络包括输入层、线性连接层、组归一化层、激活层以及输出层。
7.根据权利要求1所述的三维人体重建方法，其特征在于，所述将所述手部参数信息、所述头部参数信息以及所述身体参数信息进行整合，以重建得到三维人体模型，包括：
将所述手部参数信息、所述头部参数信息以及所述身体参数信息利用网格顶点对应关系进行整合；
将进行整合时选中的特征关节经过旋转与平移变换，以重建得到所述三维人体模型。
8.一种三维人体重建装置，其特征在于，所述装置包括：
获取模块，用于获取二维人体图像；
预处理模块，用于将所述二维人体图像输入姿态估计网络，得到二维人体关节信息，并将所述二维人体关节信息输入身体卷积网络，得到身体参数信息；
分割模块，用于基于所述二维人体关节信息，对所述二维人体图像进行分割得到手部图像和头部图像；
处理模块，用于将所述手部图像输入双手图卷积网络，得到手部参数信息，以及将所述头部图像输入头部图卷积网络，得到头部参数信息；
重建模块，用于将所述手部参数信息、所述头部参数信息以及所述身体参数信息进行整合，以重建得到三维人体模型。
9.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至7中任意一项所述的三维人体重建方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述的三维人体重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211056471.5A CN115346000A (zh) | 2022-08-31 | 2022-08-31 | 三维人体重建方法、装置、计算机可读介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211056471.5A CN115346000A (zh) | 2022-08-31 | 2022-08-31 | 三维人体重建方法、装置、计算机可读介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115346000A true CN115346000A (zh) | 2022-11-15 |
Family
ID=83956800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211056471.5A Withdrawn CN115346000A (zh) | 2022-08-31 | 2022-08-31 | 三维人体重建方法、装置、计算机可读介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115346000A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115363A (zh) * | 2023-10-24 | 2023-11-24 | 清华大学 | 人体胸部平面估计方法和装置 |
| CN117333635A (zh) * | 2023-10-23 | 2024-01-02 | 中国传媒大学 | 一种基于单幅rgb图像的交互双手三维重建方法及系统 |
| CN117392326A (zh) * | 2023-11-09 | 2024-01-12 | 中国科学院自动化研究所 | 基于单张图像的三维人体重建方法及相关设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210012558A1 (en) * | 2018-08-28 | 2021-01-14 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for reconstructing three-dimensional model of human body, and storage medium |
| CN114202629A (zh) * | 2020-08-27 | 2022-03-18 | 北京陌陌信息技术有限公司 | 一种人体模型的建立方法、系统、设备和存储介质 |
-
2022
- 2022-08-31 CN CN202211056471.5A patent/CN115346000A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210012558A1 (en) * | 2018-08-28 | 2021-01-14 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for reconstructing three-dimensional model of human body, and storage medium |
| CN114202629A (zh) * | 2020-08-27 | 2022-03-18 | 北京陌陌信息技术有限公司 | 一种人体模型的建立方法、系统、设备和存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333635A (zh) * | 2023-10-23 | 2024-01-02 | 中国传媒大学 | 一种基于单幅rgb图像的交互双手三维重建方法及系统 |
| CN117333635B (zh) * | 2023-10-23 | 2024-04-26 | 中国传媒大学 | 一种基于单幅rgb图像的交互双手三维重建方法及系统 |
| CN117115363A (zh) * | 2023-10-24 | 2023-11-24 | 清华大学 | 人体胸部平面估计方法和装置 |
| CN117115363B (zh) * | 2023-10-24 | 2024-03-26 | 清华大学 | 人体胸部平面估计方法和装置 |
| CN117392326A (zh) * | 2023-11-09 | 2024-01-12 | 中国科学院自动化研究所 | 基于单张图像的三维人体重建方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115346000A (zh) | 三维人体重建方法、装置、计算机可读介质及电子设备 | |
| Kähler et al. | Geometry-based muscle modeling for facial animation | |
| US9818217B2 (en) | Data driven design and animation of animatronics | |
| CN109829972B (zh) | 一种面向连续帧点云的三维人体标准骨架提取方法 | |
| KR20120072128A (ko) | 디지털 클론 생성 장치 및 방법 | |
| CN115461785A (zh) | 生成非线性人类形状模型 | |
| CN110599395A (zh) | 目标图像生成方法、装置、服务器及存储介质 | |
| CN112132770A (zh) | 图像修复的方法、装置、计算机可读介质及电子设备 | |
| CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及系统 | |
| CN118505878A (zh) | 一种单视角重复对象场景的三维重建方法与系统 | |
| CN116310066A (zh) | 一种单图像三维人体形态估计方法及应用 | |
| CN117218300B (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
| CN114972634A (zh) | 基于特征体素融合的多视角三维可变形人脸重建方法 | |
| Madadi et al. | Deep unsupervised 3D human body reconstruction from a sparse set of landmarks | |
| CN116863044A (zh) | 人脸模型的生成方法、装置、电子设备及可读存储介质 | |
| CN116863078A (zh) | 三维人体模型重建方法、装置、电子设备和可读介质 | |
| CN115082636B (zh) | 基于混合高斯网络的单图像三维重建方法及设备 | |
| CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
| CN115731344A (zh) | 图像处理模型训练方法以及三维对象模型构建方法 | |
| CN115049764A (zh) | Smpl参数预测模型的训练方法、装置、设备及介质 | |
| Song et al. | Sparse rig parameter optimization for character animation | |
| US11610326B2 (en) | Synthesizing 3D hand pose based on multi-modal guided generative networks | |
| CN117893642B (zh) | 一种面部形状重塑与五官交换的换脸方法 | |
| CN115797727A (zh) | 图像增广方法、装置、电子设备和存储介质 | |
| US20240212279A1 (en) | Detailed 3d object reconstruction method and apparatus using laplacian coordinates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221115 |
|
| WW01 | Invention patent application withdrawn after publication |