CN111784818A - 生成三维人体模型的方法、装置及计算机可读存储介质 - Google Patents

生成三维人体模型的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111784818A
CN111784818A CN202010484299.8A CN202010484299A CN111784818A CN 111784818 A CN111784818 A CN 111784818A CN 202010484299 A CN202010484299 A CN 202010484299A CN 111784818 A CN111784818 A CN 111784818A
Authority
CN
China
Prior art keywords
human body
dimensional
parameters
local
scanning data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010484299.8A
Other languages
English (en)
Other versions
CN111784818B (zh
Inventor
鲍慊
刘武
孙宇
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010484299.8A priority Critical patent/CN111784818B/zh
Publication of CN111784818A publication Critical patent/CN111784818A/zh
Application granted granted Critical
Publication of CN111784818B publication Critical patent/CN111784818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本公开提供了一种生成三维人体模型的方法、装置及计算机可读存储介质，涉及人工智能技术领域。其中的生成三维人体模型的方法包括：获取人物图像的局部二维特征点；利用预先训练的第一神经网络对人物图像的局部二维特征点进行处理，获得人物图像基于人体形状模型的局部参数；根据人物图像的局部二维特征点获取人物图像的人体区域；利用预先训练的第二神经网络对人物图像的人体区域进行处理，获得人物图像基于人体形状模型的全局参数；将局部参数与全局参数进行组合，获得人物图像基于人体形状模型的组合参数；将组合参数输入人体形状模型，生成人物图像所对应的三维人体模型。本公开能够根据单张二维人物图像，准确高效的生成完整的三维人体模型。

Description

生成三维人体模型的方法、装置及计算机可读存储介质
技术领域
本公开涉及人工智能技术领域，特别涉及一种生成三维人体模型的方法、装置及计算机可读存储介质。
背景技术
SMPL(Skinned Multi-Person Linear，具有骨骼蒙皮的多人线性)是一种参数化的人体形状模型。在确定了SMPL人体形状模型中的各个参数后，SMPL人体形状模型能够生成三维人体模型(也可称为三维人体网格)。人体三维模型可以用于实现智能试衣、身份认证等功能。
发明内容
本公开解决的一个技术问题是，如何根据单张人物图像准确高效的生成完整的三维人体模型。
根据本公开实施例的一个方面，提供了一种生成三维人体模型的方法，包括：获取人物图像的局部二维特征点；利用预先训练的第一神经网络对人物图像的局部二维特征点进行处理，获得人物图像基于人体形状模型的局部参数；根据人物图像的局部二维特征点获取人物图像的人体区域；利用预先训练的第二神经网络对人物图像的人体区域进行处理，获得人物图像基于人体形状模型的全局参数；将局部参数与全局参数进行组合，获得人物图像基于人体形状模型的组合参数；将组合参数输入人体形状模型，生成人物图像所对应的三维人体模型。
在一些实施例中，该方法还包括：根据三维人体扫描数据，生成三维人体扫描数据基于人体形状模型的局部参数；根据三维人体扫描数据，生成三维人体扫描数据的局部二维特征点；将三维人体扫描数据的局部二维特征点作为训练数据，将三维人体扫描数据基于人体形状模型的局部参数作为训练标签，对第一神经网络进行训练。
在一些实施例中，根据三维人体扫描数据，生成三维人体扫描数据基于人体形状模型的局部参数包括：对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的局部参数。
在一些实施例中，根据三维人体扫描数据，生成三维人体扫描数据的局部二维特征点包括：对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的全局参数；将三维人体扫描数据基于人体形状模型的局部参数和全局参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体模型；将三维人体扫描数据所对应的三维人体模型的顶点输入人体形状模型的人体节点回归器，获得三维人体扫描数据所对应的三维特征点；利用相机投影矩阵将三维人体扫描数据所对应的三维特征点投影为三维人体扫描数据所对应的二维特征点；从三维人体扫描数据所对应的二维特征点中，获取局部二维特征点。
在一些实施例中，相机投影矩阵为随机采样的相机投影矩阵。
在一些实施例中，对第一神经网络进行训练包括：利用三维人体扫描数据基于人体形状模型的局部参数，对第一神经网络的输出结果进行监督，以调整第一神经网络的第一神经网络参数；将第一神经网络的输出结果与三维人体扫描数据基于人体形状模型的全局参数进行组合，获得三维人体扫描数据基于人体形状模型的组合中间参数；将组合中间参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体中间模型；将三维人体中间模型的顶点输入人体形状模型的人体节点回归器，获得三维人体中间模型的三维特征点；利用三维人体扫描数据所对应的三维特征点，对三维人体中间模型的三维特征点进行监督，以调整第一神经网络的第一神经网络参数。
在一些实施例中，局部二维特征点包括面部二维特征点、左手二维特征点以及右手二维特征点；局部参数包括面部表情参数、左手手势参数以及右手手势参数；全局参数包括身体姿态参数、身体形状参数以及相机参数。
在一些实施例中，其中，第一神经网络包括：面部子第一神经网络，被配置为接收面部二维特征点并输出面部表情参数；左手子第一神经网络，用于接收左手二维特征点并输出左手手势参数；右手子第一神经网络，用于接收右手二维特征点并输出右手手势参数。
在一些实施例中，面部子第一神经网络、左手子第一神经网络、右手子第一神经网络均包含全连接层、修正线性单元ReLU层以及丢弃Dropout层。
在一些实施例中，获取人物图像的局部二维特征点包括：利用人体二维姿态估计算法，估计人物图像的局部二维特征点。
根据本公开实施例的又一个方面，提供了一种生成三维人体模型的装置，包括：特征点获取模块，被配置为获取人物图像的局部二维特征点；特征点处理模块，被配置为利用预先训练的第一神经网络对人物图像的局部二维特征点进行处理，获得人物图像基于人体形状模型的局部参数；人体区域获取模块，被配置为根据人物图像的局部二维特征点，获取人物图像的人体区域；图像处理模块，被配置为利用预先训练的第二神经网络对人物图像的人体区域进行处理，获得人物图像基于人体形状模型的全局参数；参数组合模块，被配置为将局部参数与人物图像基于人体形状模型的全局参数进行组合，获得人物图像基于人体形状模型的组合参数；模型生成模块，被配置为将组合参数输入人体形状模型，生成人物图像所对应的三维人体模型。
在一些实施例中，该装置还包括：局部参数生成模块，被配置为根据三维人体扫描数据，生成三维人体扫描数据基于人体形状模型的局部参数；特征点生成模块，被配置为根据三维人体扫描数据，生成三维人体扫描数据的局部二维特征点；网络训练模块，被配置为：将三维人体扫描数据的局部二维特征点作为训练数据，将三维人体扫描数据基于人体形状模型的局部参数作为训练标签，对第一神经网络进行训练。
在一些实施例中，局部参数生成模块被配置为：对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的局部参数。
在一些实施例中，特征点生成模块被配置为：对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的全局参数；将三维人体扫描数据基于人体形状模型的局部参数和全局参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体模型；将三维人体扫描数据所对应的三维人体模型的顶点输入人体形状模型的人体节点回归器，获得三维人体扫描数据所对应的三维特征点；利用相机投影矩阵将三维人体扫描数据所对应的三维特征点投影为三维人体扫描数据所对应的二维特征点；从三维人体扫描数据所对应的二维特征点中，获取局部二维特征点。
在一些实施例中，相机投影矩阵为随机采样的相机投影矩阵。
在一些实施例中，网络训练模块被配置为：利用三维人体扫描数据基于人体形状模型的局部参数，对第一神经网络的输出结果进行监督，以调整第一神经网络的第一神经网络参数；将第一神经网络的输出结果与三维人体扫描数据基于人体形状模型的全局参数进行组合，获得三维人体扫描数据基于人体形状模型的组合中间参数；将组合中间参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体中间模型；将三维人体中间模型的顶点输入人体形状模型的人体节点回归器，获得三维人体中间模型的三维特征点；利用三维人体扫描数据所对应的三维特征点，对三维人体中间模型的三维特征点进行监督，以调整第一神经网络的第一神经网络参数。
在一些实施例中，局部二维特征点包括面部二维特征点、左手二维特征点以及右手二维特征点；局部参数包括面部表情参数、左手手势参数以及右手手势参数；全局参数包括身体姿态参数、身体形状参数以及相机参数。
在一些实施例中，第一神经网络包括：面部子第一神经网络，被配置为接收面部二维特征点并输出面部表情参数；左手子第一神经网络，用于接收左手二维特征点并输出左手手势参数；右手子第一神经网络，用于接收右手二维特征点并输出右手手势参数。
在一些实施例中，面部子第一神经网络、左手子第一神经网络、右手子第一神经网络均包含全连接层、修正线性单元ReLU层以及丢弃Dropout层。
在一些实施例中，特征点获取模块被配置为：利用人体二维姿态估计算法，估计人物图像的局部二维特征点。
根据本公开实施例的又一个方面，提供了又一种生成三维人体模型的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的生成三维人体模型的方法。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的生成三维人体模型的方法。
本公开能够根据单张二维人物图像，准确高效的生成完整的三维人体模型。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一些实施例的生成三维人体模型的方法的流程示意图。
图2示出了对第一神经网络进行训练的一些实施例的流程示意图。
图3示出了本公开一些实施例的生成三维人体模型的装置的结构示意图。
图4示出了本公开另一些实施例的生成三维人体模型的装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
发明人研究发现，为了根据人物图像生成完整的三维人体模型，可以利用诸如SMPL等人体形状模型，对人物图像中的各个身体部分单独进行回归处理，然后再通过迭代优化的方式将各个身体部分的SMPL参数恢复出来。但是，这种迭代优化的方式需要对各个身体部分的SMPL参数不断修正，因此需要很长的运算处理时间，运算处理速度较慢。有鉴于此，发明人提出了一种生成三维人体模型的方法，以根据单张二维人物图像，准确高效的生成完整的三维人体模型。
首先结合图1描述本公开生成三维人体模型的方法的一些实施例。
图1示出了本公开一些实施例的生成三维人体模型的方法的流程示意图。如图1所示，本实施例包括步骤S101～步骤S105。
在步骤S101中，获取人物图像的局部二维特征点。
例如，可以利用诸如OpenPose等人体二维姿态估计算法，估计人物图像的局部二维特征点。其中，局部二维特征点可以包括面部二维特征点、左手二维特征点以及右手二维特征点。这些二维特征点具体可以为关节点或关键点。
在步骤S102中，利用预先训练的第一神经网络对人物图像的局部二维特征点进行处理，获得人物图像基于人体形状模型的局部参数。
其中，局部参数具体可以包括面部表情参数、左手手势参数以及右手手势参数。第一神经网络的训练过程在后文进行详细介绍。
在步骤S103中，根据人物图像的局部二维特征点获取人物图像的人体区域。
本领域技术人员应理解，根据人物图像的局部二维特征点的位置，可以用矩形框截取人物图像的人体区域。
在步骤S104中，利用预先训练的第二神经网络对人物图像的人体区域进行处理，获得人物图像基于人体形状模型的全局参数。
第二神经网络具体可以包含特征提取神经网络(例如Resnet-50)、特征优化神经网络以及由全连接层构成的特征估计神经网络。第二神经网络的具体配置过程和训练过程可以参照申请号为201910411768.0的专利所公开的内容，获得全局参数的过程不作为本公开的发明点。全局参数具体可以包括身体姿态参数、身体形状参数以及相机参数，用于估计三维人体形状和三维人体姿态。
在步骤S105中，将局部参数与全局参数进行组合，获得人物图像基于人体形状模型的组合参数。
例如，将基于SMPL的手势参数、面部表情参数与基于SMPL的全局参数进行级联，可以获得基于人体形状模型的组合参数。
在步骤S106中，将组合参数输入人体形状模型，生成人物图像所对应的三维人体模型。
MPJPE(mean per joint position error，每个关节位置误差)是衡量三维人体姿态准确性的指标。经过在CMU全景工作室(CMU Panoptic Studio)数据集上测试，本实施例所提供方法的MPJPE为53.9，传统的MTC方法的MPJPE为63.0，可见本公开能够更加准确的生成三维人体模型。同时，本实施例生成的三维人体模型不仅包含人体形状信息、人体姿态等全局特征信息，还包含手势特征信息以及面部表情特征信息。此外，本实施例无需对SMPL参数进行迭代优化，因此生成三维人体模型的过程更加快速高效。因此，本实施例能够根据单张二维人物图像，准确高效的生成完整的三维人体模型。
下面结合图2描述如何对第一神经网络进行训练。
图2示出了对第一神经网络进行训练的一些实施例的流程示意图。如图2所示，本实施例包括步骤S201～步骤S203。
在步骤S201中，根据三维人体扫描数据，生成三维人体扫描数据基于人体形状模型的局部参数。
三维人体扫描数据通常包含诸多3D人体扫描结果，这些3D人体扫描结果中包含3D手部、3D面部、3D身体特征点的坐标及坐标之间的连接关系，能够表征3D手部、面部及身体形态。在一些实施例中，可以对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的局部参数。例如，通过不断调整(例如可以通过预设步长不断调整)SMPL人体模型的局部参数，回归拟合得到三维人体扫描数据基于SMPL人体形状模型的局部参数，使得从而实现了对身体上的手部的局部参数标注以及对身体上的面部的局部参数标注。
在步骤S202中，根据三维人体扫描数据，生成三维人体扫描数据的局部二维特征点。
生成三维人体扫描数据的局部二维特征点的过程详细介绍如下：
(1)对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的全局参数。回归得到全局参数的过程与步骤S201中回归得到局部参数的过程相类似，目的是使三维人体扫描数据基于SMPL人体形状模型的参数对应的三维人体模型能够贴合三维人体扫描数据，在此不做赘述。
(2)将三维人体扫描数据基于人体形状模型的局部参数和全局参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体模型。
(3)将三维人体扫描数据所对应的三维人体模型的顶点(也可称为三维人体网格顶点)输入人体形状模型的人体节点回归器，获得三维人体扫描数据所对应的三维特征点。
(4)利用相机投影矩阵将三维人体扫描数据所对应的三维特征点投影为三维人体扫描数据所对应的二维特征点。其中，相机投影矩阵可以为随机采样的相机投影矩阵，以使得第一神经网络能够适应随机的相机拍摄角度，增强第一神经网络的泛化能力和稳定性。
(5)从三维人体扫描数据所对应的二维特征点中，获取局部二维特征点，作为训练数据。
在步骤S203中，将三维人体扫描数据的局部二维特征点作为训练数据，将三维人体扫描数据基于人体形状模型的局部参数作为训练标签，对第一神经网络进行训练。
在一些实施例中，第一神经网络包括三个子神经网络，分别是：面部子第一神经网络，被配置为接收面部二维特征点并输出面部表情参数；左手子第一神经网络，用于接收左手二维特征点并输出左手手势参数；右手子第一神经网络，用于接收右手二维特征点并输出右手手势参数。其中，三个子神经网络之间的位置关系为并联。
在一些实施例中，面部子第一神经网络、左手子第一神经网络、右手子第一神经网络均包含全连接层、修正线性单元ReLU层以及丢弃Dropout层。其中，三个神经层之间的位置关系为串联。
对第一神经网络进行训练时，一方面可以采用自监督的形式。即，将训练数据输入第一神经网络，并利用标注的局部参数标签对第一神经网络的输出进行监督(例如采用关于局部参数标签及第一神经网络的输出的损失函数)。
另一方面，还可以利用利用三维人体扫描数据所对应的三维特征点，对三维人体中间模型的三维特征点进行监督。该过程详细介绍如下：
(1)利用三维人体扫描数据基于人体形状模型的局部参数，对第一神经网络的输出结果进行监督，以调整第一神经网络的第一神经网络参数。
(2)将第一神经网络的输出结果与三维人体扫描数据基于人体形状模型的全局参数进行组合，获得三维人体扫描数据基于人体形状模型的组合中间参数。
(3)将组合中间参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体中间模型。
(4)将三维人体中间模型的顶点输入人体形状模型的人体节点回归器，获得三维人体中间模型的三维特征点。
(5)利用三维人体扫描数据所对应的三维特征点，对三维人体中间模型的三维特征点进行监督，以调整第一神经网络的第一神经网络参数。
上述实施例实现了对第一神经网络的训练，能够强化第一神经网络提取人体局部特征信息的能力，有助于根据单张二维人物图像准确高效的生成完整的三维人体模型。
下面结合图3描述本公开生成三维人体模型的装置的一些实施例。
图3示出了本公开一些实施例的生成三维人体模型的装置的结构示意图。如图3所示，本实施例中的生成三维人体模型的装置30包括：特征点获取模块301，被配置为获取人物图像的局部二维特征点；特征点处理模块302，被配置为利用预先训练的第一神经网络对人物图像的局部二维特征点进行处理，获得人物图像基于人体形状模型的局部参数；人体区域获取模块303，被配置为根据人物图像的局部二维特征点，获取人物图像的人体区域；图像处理模块304，被配置为利用预先训练的第二神经网络对人物图像的人体区域进行处理，获得人物图像基于人体形状模型的全局参数；参数组合模块305，被配置为将局部参数与人物图像基于人体形状模型的全局参数进行组合，获得人物图像基于人体形状模型的组合参数；模型生成模块306，被配置为将组合参数输入人体形状模型，生成人物图像所对应的三维人体模型。
在一些实施例中，特征点获取模块301被配置为：利用人体二维姿态估计算法，估计人物图像的局部二维特征点。
MPJPE(mean per joint position error，每个关节位置误差)是衡量三维人体姿态准确性的指标。经过在CMU全景工作室(CMU Panoptic Studio)数据集上测试，本实施例所提供方法的MPJPE为53.9，传统的MTC方法的MPJPE为63.0，可见本公开能够更加准确的生成三维人体模型。同时，本实施例生成的三维人体模型不仅包含人体形状信息、人体姿态等全局特征信息，还包含手势特征信息以及面部表情特征信息。此外，本实施例无需对SMPL参数进行迭代优化，因此生成三维人体模型的过程更加快速高效。因此，本实施例能够根据单张二维人物图像，准确高效的生成完整的三维人体模型。
在一些实施例中，该装置30还包括：局部参数生成模块3001，被配置为根据三维人体扫描数据，生成三维人体扫描数据基于人体形状模型的局部参数；特征点生成模块3002，被配置为根据三维人体扫描数据，生成三维人体扫描数据的局部二维特征点；网络训练模块3003，被配置为：将三维人体扫描数据的局部二维特征点作为训练数据，将三维人体扫描数据基于人体形状模型的局部参数作为训练标签，对第一神经网络进行训练。
在一些实施例中，局部参数生成模块3001被配置为：对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的局部参数。
在一些实施例中，特征点生成模块3002被配置为：对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的全局参数；将三维人体扫描数据基于人体形状模型的局部参数和全局参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体模型；将三维人体扫描数据所对应的三维人体模型的顶点输入人体形状模型的人体节点回归器，获得三维人体扫描数据所对应的三维特征点；利用相机投影矩阵将三维人体扫描数据所对应的三维特征点投影为三维人体扫描数据所对应的二维特征点；从三维人体扫描数据所对应的二维特征点中，获取局部二维特征点。
在一些实施例中，相机投影矩阵为随机采样的相机投影矩阵。
在一些实施例中，网络训练模块3003被配置为：利用三维人体扫描数据基于人体形状模型的局部参数，对第一神经网络的输出结果进行监督，以调整第一神经网络的第一神经网络参数；将第一神经网络的输出结果与三维人体扫描数据基于人体形状模型的全局参数进行组合，获得三维人体扫描数据基于人体形状模型的组合中间参数；将组合中间参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体中间模型；将三维人体中间模型的顶点输入人体形状模型的人体节点回归器，获得三维人体中间模型的三维特征点；利用三维人体扫描数据所对应的三维特征点，对三维人体中间模型的三维特征点进行监督，以调整第一神经网络的第一神经网络参数。
在一些实施例中，局部二维特征点包括面部二维特征点、左手二维特征点以及右手二维特征点；局部参数包括面部表情参数、左手手势参数以及右手手势参数；全局参数包括身体姿态参数、身体形状参数以及相机参数。
在一些实施例中，第一神经网络包括：面部子第一神经网络，被配置为接收面部二维特征点并输出面部表情参数；左手子第一神经网络，用于接收左手二维特征点并输出左手手势参数；右手子第一神经网络，用于接收右手二维特征点并输出右手手势参数。
在一些实施例中，面部子第一神经网络、左手子第一神经网络、右手子第一神经网络均包含全连接层、修正线性单元ReLU层以及丢弃Dropout层。
上述实施例实现了对第一神经网络的训练，能够强化第一神经网络提取人体局部特征信息的能力，有助于根据单张二维人物图像准确高效的生成完整的三维人体模型。
下面结合图4描述本公开生成三维人体模型的装置的一些实施例。
图4示出了本公开另一些实施例的生成三维人体模型的装置的结构示意图。如图4所示，该实施例的生成三维人体模型的装置40包括：存储器410以及耦接至该存储器410的处理器420，处理器420被配置为基于存储在存储器410中的指令，执行前述任意一些实施例中的生成三维人体模型的方法。
其中，存储器410例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
生成三维人体模型的装置40还可以包括输入输出接口430、网络接口440、存储接口450等。这些接口430、440、450以及存储器410和处理器420之间例如可以通过总线460连接。其中，输入输出接口430为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口440为各种联网设备提供连接接口。存储接口450为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的生成三维人体模型的方法。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (22)

1.一种生成三维人体模型的方法，包括：
获取人物图像的局部二维特征点；
利用预先训练的第一神经网络对人物图像的局部二维特征点进行处理，获得人物图像基于人体形状模型的局部参数；
根据人物图像的局部二维特征点获取人物图像的人体区域；
利用预先训练的第二神经网络对人物图像的人体区域进行处理，获得人物图像基于人体形状模型的全局参数；
将所述局部参数与所述全局参数进行组合，获得人物图像基于人体形状模型的组合参数；
将所述组合参数输入人体形状模型，生成人物图像所对应的三维人体模型。
2.根据权利要求1所述的方法，还包括：
根据三维人体扫描数据，生成三维人体扫描数据基于人体形状模型的局部参数；
根据三维人体扫描数据，生成三维人体扫描数据的局部二维特征点；
将三维人体扫描数据的局部二维特征点作为训练数据，将三维人体扫描数据基于人体形状模型的局部参数作为训练标签，对所述第一神经网络进行训练。
3.根据权利要求2所述的方法，其中，所述根据三维人体扫描数据，生成三维人体扫描数据基于人体形状模型的局部参数包括：
对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的局部参数。
4.根据权利要求3所述的方法，其中，所述根据三维人体扫描数据，生成三维人体扫描数据的局部二维特征点包括：
对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的全局参数；
将三维人体扫描数据基于人体形状模型的局部参数和全局参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体模型；
将三维人体扫描数据所对应的三维人体模型的顶点输入人体形状模型的人体节点回归器，获得三维人体扫描数据所对应的三维特征点；
利用相机投影矩阵将三维人体扫描数据所对应的三维特征点投影为三维人体扫描数据所对应的二维特征点；
从三维人体扫描数据所对应的二维特征点中，获取局部二维特征点。
5.根据权利要求4所述的方法，其中，所述相机投影矩阵为随机采样的相机投影矩阵。
6.根据权利要求4所述的方法，所述对所述第一神经网络进行训练包括：
利用三维人体扫描数据基于人体形状模型的局部参数，对所述第一神经网络的输出结果进行监督，以调整所述第一神经网络的第一神经网络参数；
将所述第一神经网络的输出结果与三维人体扫描数据基于人体形状模型的全局参数进行组合，获得三维人体扫描数据基于人体形状模型的组合中间参数；
将所述组合中间参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体中间模型；
将所述三维人体中间模型的顶点输入人体形状模型的人体节点回归器，获得三维人体中间模型的三维特征点；
利用三维人体扫描数据所对应的三维特征点，对三维人体中间模型的三维特征点进行监督，以调整所述第一神经网络的第一神经网络参数。
7.根据权利要求1至6任一项所述的方法，其中，
所述局部二维特征点包括面部二维特征点、左手二维特征点以及右手二维特征点；
所述局部参数包括面部表情参数、左手手势参数以及右手手势参数；
所述全局参数包括身体姿态参数、身体形状参数以及相机参数。
8.根据权利要求7所述的方法，其中，所述第一神经网络包括：
面部子第一神经网络，被配置为接收所述面部二维特征点并输出所述面部表情参数；
左手子第一神经网络，用于接收所述左手二维特征点并输出所述左手手势参数；
右手子第一神经网络，用于接收所述右手二维特征点并输出所述右手手势参数。
9.根据权利要求8所述的方法，其中，面部子第一神经网络、左手子第一神经网络、右手子第一神经网络均包含全连接层、修正线性单元ReLU层以及丢弃Dropout层。
10.根据权利要求1所述的方法，其中，所述获取人物图像的局部二维特征点包括：
利用人体二维姿态估计算法，估计人物图像的局部二维特征点。
11.一种生成三维人体模型的装置，包括：
特征点获取模块，被配置为获取人物图像的局部二维特征点；
特征点处理模块，被配置为利用预先训练的第一神经网络对人物图像的局部二维特征点进行处理，获得人物图像基于人体形状模型的局部参数；
人体区域获取模块，被配置为根据人物图像的局部二维特征点，获取人物图像的人体区域；
图像处理模块，被配置为利用预先训练的第二神经网络对人物图像的人体区域进行处理，获得人物图像基于人体形状模型的全局参数；
参数组合模块，被配置为将所述局部参数与人物图像基于人体形状模型的全局参数进行组合，获得人物图像基于人体形状模型的组合参数；
模型生成模块，被配置为将所述组合参数输入人体形状模型，生成人物图像所对应的三维人体模型。
12.根据权利要求11所述的装置，还包括：
局部参数生成模块，被配置为根据三维人体扫描数据，生成三维人体扫描数据基于人体形状模型的局部参数；
特征点生成模块，被配置为根据三维人体扫描数据，生成三维人体扫描数据的局部二维特征点；
网络训练模块，被配置为：将三维人体扫描数据的局部二维特征点作为训练数据，将三维人体扫描数据基于人体形状模型的局部参数作为训练标签，对所述第一神经网络进行训练。
13.根据权利要求12所述的装置，其中，所述局部参数生成模块被配置为：
对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的局部参数。
14.根据权利要求13所述的装置，其中，所述特征点生成模块被配置为：
对三维人体扫描数据进行人体形状模型回归处理，获得三维人体扫描数据基于人体形状模型的全局参数；
将三维人体扫描数据基于人体形状模型的局部参数和全局参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体模型；
将三维人体扫描数据所对应的三维人体模型的顶点输入人体形状模型的人体节点回归器，获得三维人体扫描数据所对应的三维特征点；
利用相机投影矩阵将三维人体扫描数据所对应的三维特征点投影为三维人体扫描数据所对应的二维特征点；
从三维人体扫描数据所对应的二维特征点中，获取局部二维特征点。
15.根据权利要求14所述的装置，其中，所述相机投影矩阵为随机采样的相机投影矩阵。
16.根据权利要求14所述的装置，所述网络训练模块被配置为：
利用三维人体扫描数据基于人体形状模型的局部参数，对所述第一神经网络的输出结果进行监督，以调整所述第一神经网络的第一神经网络参数；
将所述第一神经网络的输出结果与三维人体扫描数据基于人体形状模型的全局参数进行组合，获得三维人体扫描数据基于人体形状模型的组合中间参数；
将所述组合中间参数输入人体形状模型，生成三维人体扫描数据所对应的三维人体中间模型；
将所述三维人体中间模型的顶点输入人体形状模型的人体节点回归器，获得三维人体中间模型的三维特征点；
利用三维人体扫描数据所对应的三维特征点，对三维人体中间模型的三维特征点进行监督，以调整所述第一神经网络的第一神经网络参数。
17.根据权利要求11至16任一项所述的装置，其中，
所述局部二维特征点包括面部二维特征点、左手二维特征点以及右手二维特征点；
所述局部参数包括面部表情参数、左手手势参数以及右手手势参数；
所述全局参数包括身体姿态参数、身体形状参数以及相机参数。
18.根据权利要求17所述的装置，其中，所述第一神经网络包括：
面部子第一神经网络，被配置为接收所述面部二维特征点并输出所述面部表情参数；
左手子第一神经网络，用于接收所述左手二维特征点并输出所述左手手势参数；
右手子第一神经网络，用于接收所述右手二维特征点并输出所述右手手势参数。
19.根据权利要求18所述的装置，其中，面部子第一神经网络、左手子第一神经网络、右手子第一神经网络均包含全连接层、修正线性单元ReLU层以及丢弃Dropout层。
20.根据权利要求11所述的装置，其中，所述特征点获取模块被配置为：
利用人体二维姿态估计算法，估计人物图像的局部二维特征点。
21.一种生成三维人体模型的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至10中任一项所述的生成三维人体模型的方法。
22.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至10中任一项所述的生成三维人体模型的方法。
CN202010484299.8A 2020-06-01 2020-06-01 生成三维人体模型的方法、装置及计算机可读存储介质 Active CN111784818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010484299.8A CN111784818B (zh) 2020-06-01 2020-06-01 生成三维人体模型的方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010484299.8A CN111784818B (zh) 2020-06-01 2020-06-01 生成三维人体模型的方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111784818A true CN111784818A (zh) 2020-10-16
CN111784818B CN111784818B (zh) 2024-04-16

Family

ID=72753995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010484299.8A Active CN111784818B (zh) 2020-06-01 2020-06-01 生成三维人体模型的方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111784818B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381928A (zh) * 2020-11-19 2021-02-19 北京百度网讯科技有限公司 图像显示的方法、装置、设备以及存储介质
CN112819944A (zh) * 2021-01-21 2021-05-18 魔珐(上海)信息科技有限公司 三维人体模型重建方法、装置、电子设备及存储介质
CN113658303A (zh) * 2021-06-29 2021-11-16 清华大学 一种基于单目视觉的虚拟人生成方法、装置
WO2022120843A1 (zh) * 2020-12-11 2022-06-16 中国科学院深圳先进技术研究院 三维人体重建方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701455A (zh) * 2016-01-05 2016-06-22 安阳师范学院 基于asm算法的人脸特征点采集及三维人脸建模方法
US20170372505A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN109800653A (zh) * 2018-12-24 2019-05-24 重庆第二师范学院 一种基于图像分析的人体特征参数提取方法及系统
CN110827342A (zh) * 2019-10-21 2020-02-21 中国科学院自动化研究所 三维人体模型重建方法及存储设备、控制设备
WO2020042975A1 (zh) * 2018-08-27 2020-03-05 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701455A (zh) * 2016-01-05 2016-06-22 安阳师范学院 基于asm算法的人脸特征点采集及三维人脸建模方法
US20170372505A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images
WO2020042975A1 (zh) * 2018-08-27 2020-03-05 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN109800653A (zh) * 2018-12-24 2019-05-24 重庆第二师范学院 一种基于图像分析的人体特征参数提取方法及系统
CN110827342A (zh) * 2019-10-21 2020-02-21 中国科学院自动化研究所 三维人体模型重建方法及存储设备、控制设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
敦宏丽;袁晔;: "基于卷积神经网络的3D服用人体特征识别", 北京服装学院学报(自然科学版), no. 03 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381928A (zh) * 2020-11-19 2021-02-19 北京百度网讯科技有限公司 图像显示的方法、装置、设备以及存储介质
WO2022120843A1 (zh) * 2020-12-11 2022-06-16 中国科学院深圳先进技术研究院 三维人体重建方法、装置、计算机设备和存储介质
CN112819944A (zh) * 2021-01-21 2021-05-18 魔珐(上海)信息科技有限公司 三维人体模型重建方法、装置、电子设备及存储介质
CN113658303A (zh) * 2021-06-29 2021-11-16 清华大学 一种基于单目视觉的虚拟人生成方法、装置

Also Published As

Publication number Publication date
CN111784818B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN111784818B (zh) 生成三维人体模型的方法、装置及计算机可读存储介质
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
KR102288280B1 (ko) 영상 학습 모델을 이용한 영상 생성 방법 및 장치
CN112614213B (zh) 人脸表情确定方法、表情参数确定模型、介质及设备
Cai et al. Semi-supervised natural face de-occlusion
CN111626218A (zh) 基于人工智能的图像生成方法、装置、设备及存储介质
CN111553267A (zh) 图像处理方法、图像处理模型训练方法及设备
EP3905194A1 (en) Pose estimation method and apparatus
KR20200102114A (ko) 학습기반 3d 모델 생성 장치 및 방법
JP2024501986A (ja) ３次元顔再構築の方法、３次元顔再構築の装置、デバイスおよび記憶媒体
CN111401216A (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112131985A (zh) 一种基于OpenPose改进的实时轻量人体姿态估计方法
CN108830782B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110675475A (zh) 一种人脸模型生成方法、装置、设备及存储介质
CN112419436A (zh) 一种超逼真虚拟人快速重建的方法及系统
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
CN111599002A (zh) 用于生成图像的方法和装置
CN114612595A (zh) 视频生成方法、装置、计算机设备和存储介质
KR20120070131A (ko) 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법
CN112509154A (zh) 图像生成模型的训练方法、图像生成方法及装置
CN115496911B (zh) 一种目标点检测方法、装置、设备及存储介质
Liu et al. A 3D mesh-based lifting-and-projection network for human pose transfer
CN115880748A (zh) 人脸重建和遮挡区域识别方法、装置、设备及存储介质
Vu et al. Rfnet-4D: joint object reconstruction and flow estimation from 4D point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant