CN117953150A - 三维人体重建方法、装置、电子设备及存储介质 - Google Patents
三维人体重建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117953150A CN117953150A CN202311814296.6A CN202311814296A CN117953150A CN 117953150 A CN117953150 A CN 117953150A CN 202311814296 A CN202311814296 A CN 202311814296A CN 117953150 A CN117953150 A CN 117953150A
- Authority
- CN
- China
- Prior art keywords
- human body
- dimensional
- model
- target
- face key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000006243 chemical reaction Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 22
- 238000004422 calculation algorithm Methods 0.000 description 32
- 238000005457 optimization Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 210000004197 pelvis Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种三维人体重建方法、装置、电子设备及存储介质。方法包括:根据目标对象的二维人体图像和参考人体模型进行三维模型重建获得第一模型参数和坐标转换信息;根据第一模型参数调整参考人体模型网格顶点的位置获得第一人体模型;获取二维人体图像中脸部关键点的二维坐标;确定与脸部关键点对应的目标网格顶点并获取其三维坐标;根据坐标转换信息,将脸部关键点的二维坐标和目标网格顶点的三维坐标转换到同一坐标系,获取对应的脸部关键点和目标网格顶点之间的目标距离;根据目标距离调整第一模型参数获得第二模型参数,并根据第二模型参数获得第二人体模型。提升脸部重建效果且无需结合多种模型,能够提高三维人体重建的效率。
Description
技术领域
本申请涉及三维模型处理技术领域,具体涉及三维人体重建方法、装置、电子设备及存储介质。
背景技术
目前,三维人体重建技术的应用越来越广泛,可以根据参数化人体模型进行三维人体重建,但重建获得的三维人体模型只能在身体姿态上获得较好的重建效果,对于脸部无法获得较好的重建效果。
相关技术中,为了在脸部获得较好的重建效果,通常将参数化人体模型与专门的头部模型结合以进行三维人体重建。相关技术的问题在于,需要结合多个模型,处理的数据更复杂,影响三维人体重建的效率。
发明内容
本申请实施例提供一种三维人体重建方法、装置、电子设备及存储介质,在进行三维人体重建时,先根据二维人体图像和参考人体模型获得第一模型参数和第一人体模型,根据二维人体图像中脸部关键点的坐标和第一人体模型中目标网格顶点的坐标,对第一模型参数进行优化调整,实现对脸部重建效果的优化,无需结合多个模型,有利于提升脸部重建效果且降低对三维人体重建效率的影响。
本申请实施例第一方面提供一种三维人体重建方法,上述方法包括:
根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系;
根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型;
获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标;
确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标;
根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;
根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
本申请实施例第二方面提供一种三维人体重建装置,上述装置包括:
第一模型参数获取模块,用于根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系;
第一模型重建模块,用于根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型;
脸部关键点检测模块,用于获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标;
目标网格顶点匹配模块,用于确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标;
目标距离计算模块,用于根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;
第二模型重建模块,用于根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
在一些可选的实施例中,上述第一模型参数获取模块具体用于:
针对上述二维人体图像进行三维人体重建,获得与上述目标对象匹配的第三模型参数,其中,上述第三模型参数包括上述目标对象的姿态信息和形状信息;
根据上述第三模型参数中的形状信息、预设的形状调整参数以及上述参考人体模型的模型参数,获取调整后的形状信息;
根据上述第三模型参数中的姿态信息和上述调整后的形状信息构建上述第一模型参数;
获取上述二维人体图像与上述参考人体模型之间的坐标转换信息。
在一些可选的实施例中,上述第一模型参数获取模块还具体用于:
对上述二维人体图像进行人体检测获得上述目标对象的人体检测框;
根据上述二维人体图像中上述人体检测框内的图像内容进行三维人体重建,获得与上述目标对象匹配的第三模型参数。
在一些可选的实施例中,上述脸部关键点检测模块具体用于:
对上述二维人体图像进行脸部检测获得上述目标对象的脸部检测框;
对上述二维人体图像中上述脸部检测框内的图像内容进行脸部关键点识别,获得上述二维人体图像中上述目标对象的脸部关键点;
获取上述脸部关键点在上述二维人体图像所在的二维坐标系中的二维坐标。
在一些可选的实施例中,上述目标网格顶点匹配模块具体用于:
根据预设的关键点索引值关联数据,获取上述脸部关键点在上述参考人体模型中关联的网格顶点的顶点索引值;
根据上述第一人体模型和上述顶点索引值,确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点;
获取上述目标网格顶点在上述第一人体模型所在的三维坐标系中的三维坐标。
在一些可选的实施例中,上述目标距离计算模块具体用于:
根据上述坐标转换信息将上述目标网格顶点的三维坐标转换到上述二维人体图像所在的二维坐标系中,获得上述目标网格顶点的目标二维坐标,其中,上述第一人体模型与上述参考人体模型处于同一三维坐标系;
根据上述脸部关键点的二维坐标,以及与上述脸部关键点对应的目标网格顶点的目标二维坐标,获取相对应的脸部关键点和目标网格顶点之间的目标距离。
在一些可选的实施例中,上述第一模型参数中包括多个关节点网格顶点的姿态信息和形状信息,上述关节点网格顶点为上述目标对象的关节点所对应的网格顶点;
上述第二模型重建模块具体用于:根据上述目标距离对上述第一模型参数中头部关节点网格顶点和颈部关节点网格顶点对应的姿态信息进行调整,直到得到满足预设的迭代终止条件的第二模型参数。
本申请实施例第三方面提供一种电子设备,包括存储器和处理器,上述存储器存储有多条指令;上述处理器从上述存储器中加载指令,以执行本申请实施例第一方面提供的三维人体重建方法中的步骤。
本申请实施例第四方面提供一种计算机可读存储介质,上述计算机可读存储介质存储有多条指令,上述指令适于处理器进行加载,以执行本申请实施例第一方面提供的三维人体重建方法中的步骤。
采用本申请实施例的方案,可以根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系;根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型;获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标;确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标;根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
如此,在进行三维人体重建时,先根据二维人体图像和参考人体模型获得第一模型参数和第一人体模型,然后针对二维人体图像中脸部关键点的二维坐标和/或第一人体模型中目标网格顶点的三维坐标进行坐标转换,转换到相同坐标系中以确定对应的目标距离,从而根据目标距离对第一模型参数进行优化调整,实现对脸部重建效果的优化,无需结合多个模型,避免结合多种模型的三维人体重建方案对三维人体重建效率的较大影响,有利于提升脸部重建效果且降低对三维人体重建效率的影响。与相关技术中结合多种模型进行三维人体重建的方案相比,本申请实施例方案在提升脸部重建效果的基础上,能够提高三维人体重建的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种服务器进行三维人体重建时的数据交互时序示意图;
图2是本申请实施例提供的一种三维人体重建方法的流程示意图;
图3是本申请实施例提供的一种目标网格顶点的位置示意图;
图4是本申请实施例提供的一种三维人体重建方法的具体流程示意图;
图5是本申请实施例提供的一种三维人体重建装置的结构框图;
图6是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供三维人体重建方法、装置、电子设备及存储介质。具体地,本申请实施例的三维人体重建方法可以由计算机设备执行,其中,该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PC,Personal Computer)、个人数字助理(PDA,Personal Digital Assistant)等终端设备。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
图1是本申请实施例提供的一种服务器进行三维人体重建时的数据交互时序示意图,本申请实施例中,客户端与服务器之间根据图1所示的步骤S1至S7进行数据交互。
如图1所示,用户可以通过客户端向服务器上传包含目标对象的二维人体图像,服务器获取到二维人体图像之后,根据该图像以及服务器中预先设置的参考人体模型进行三维模型重建,以获得第一模型参数和坐标转换信息。进一步的,服务器根据第一模型参数调整参考人体模型的网格顶点的位置,获得与目标对象匹配的第一人体模型。然后获得二维人体图像中目标对象的脸部关键点的二维坐标,并确定第一人体模型中与脸部关键点对应的目标网格顶点及其三维坐标,根据坐标转换信息,将二维坐标和三维坐标转换到同一坐标系,从而获取对应的脸部关键点与目标网格顶点之间的目标距离。进一步的,根据目标距离调整第一模型参数获得第二名参数,以实现针对脸部重建效果的优化,获得脸部重建效果更好的与目标对象匹配的第二人体模型。
需要说明的是,图1中以由服务器进行三维人体重建为例进行具体说明,实际使用过程中,也可以由用户所使用的客户端直接进行三维人体重建,在此不作具体限定。
本申请实施例第一方面提供一种三维人体重建方法,请参阅图2,图2是本申请实施例提供的一种三维人体重建方法的流程示意图。该三维人体重建方法的具体流程可以如下:
201、根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系。
其中,上述二维人体图像是包含目标对象的人物主体的图像,二维人体图像可以由用户输入或选定,在此不作具体限定。上述预设的参考人体模型是预先设置的参数化的人体模型,例如,可以使用预设的SMPL(skinned multi-person linear model)模型,在此也不作具体限定。上述第一模型参数用于指示参数化人体模型的姿态特征和形状特征。
在本申请的一些实施例中,上述根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,包括:
针对上述二维人体图像进行三维人体重建,获得与上述目标对象匹配的第三模型参数,其中,上述第三模型参数包括上述目标对象的姿态信息和形状信息;
根据上述第三模型参数中的形状信息、预设的形状调整参数以及上述参考人体模型的模型参数,获取调整后的形状信息;
根据上述第三模型参数中的姿态信息和上述调整后的形状信息构建上述第一模型参数;
获取上述二维人体图像与上述参考人体模型之间的坐标转换信息。
需要说明的是,本申请实施例中,针对参数化的三维人体模型(包括参考人体模型、第一人体模型和第二人体模型),其对应的模型参数包括姿态信息和形状信息,上述姿态信息用于指示姿态特征,上述形状信息用于指示形状特征。
上述预设的形状调整参数是预先设置的用于对计算获得的第三模型参数中的形状信息进行调整的控制参数。需要说明的是,在一种应用场景中,以获得更好的形状控制效果,也可以不对第三模型参数中的形状信息进行调整,直接将第三模型参数作为第一模型参数,在此不作具体限定。
在本申请的一些实施例中,上述针对上述二维人体图像进行三维人体重建,获得与上述目标对象匹配的第三模型参数,包括:
对上述二维人体图像进行人体检测获得上述目标对象的人体检测框;
根据上述二维人体图像中上述人体检测框内的图像内容进行三维人体重建,获得与上述目标对象匹配的第三模型参数。
如此,在进行三维人体重建时,可以先确定二维人体图像中的人体检测框,上述人体检测框用于指示图像中人物主体的位置,从而在进行三维人体重建时可以仅考虑人体检测框内的图像内容,减少所需的计算量,提高数据处理效率。
在一种具体的应用场景中,获取二维人体图像(例如图像A),使用人体检测算法对二维人体图像进行人体检测,获得图像中人物主体对应的人体检测框bbox_body=[X1,Y1,X2,Y2]。其中,上述人体检测算法可以根据实际需求设置和调整,例如可以使用YOLOV7算法或DETR算法,还可以使用其他算法,在此不作具体限定。bbox_body中包括人体检测框的左上角顶点二维坐标和右下角顶点的二维坐标,用于指示人体检测框的位置。
将上述图像A和人体检测框bbox_body作为三维人体重建算法的输入,获得第三模型参数(包括人体检测框内人体的姿态信息pose和形状信息shape),以及相机信息camera,将上述相机信息作为坐标转换信息。其中,上述三维人体重建算法是预先设置的基于SMPL人体模型的三维人体重建算法,可以根据实际需求设置和调整,例如,可以采用HMR算法或CLIFF算法,还可以使用其他算法,在此不作具体限定。本实施例中,采用HMR算法,对应的姿态信息pose为216维的向量(216=24x3x3),用于表示24个人体骨骼点的旋转矩阵信息,形状信息shape是10维的向量,相机信息camera是3维的向量。
在本申请的一些实施例中,第三模型参数中可能包括目标对象的大量关节点所对应的姿态信息。为减少后续进行数据处理时的计算量,仅选择其中部分节点(即人体对应的关节点)对应的姿态信息。例如,根据“pelvis”(骨盆)、“spine1”(第一脊柱点)、“spine2”(第二脊柱点)、“spine3”(第三脊柱点)、“neck”(脖子)、“head”(头部)这些关节点的索引值获取对应关节点的姿态信息,即6个旋转矩阵R1、R2、R3、R4、R5、R6,以根据这6个关节点的姿态信息和调整后的形状信息构建第一模型参数。需要说明的是,实际使用过程中,还可以使用其他关节点的姿态信息,在此不作具体限定。
进一步的,针对上述第三模型参数中的形状信息进行调整,获得对应的第一模型参数。具体的,获取预设的用于进行形状信息控制的形状调整参数blend shape参数(具体维度为6890x3x10),获取参考人体模型中预先设置好的SMPL模型平均网格点形状信息MeanMesh(具体维度为6890x3),根据如下公式(1)计算获得调整后的网格顶点的形状信息Mesh(维度为6890x3):
Mesh = Mean Mesh + blend shape * shape (1)
如此,根据调整后的形状信息和第三模型参数中的姿态信息构建第一模型参数。能够获得更好的形状控制效果。
202、根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型。
具体的,根据上述第一模型参数调整参考人体模型的网格顶点,从而获得针对二维人体图像中的目标对象进行三维重建获得的第一人体模型。需要说明的是,第一人体模型的姿态和形状与二维人体图像中的目标对象人物主体匹配,但脸部的匹配效果较差,因此,本申请实施例中进一步对第一人体模型进行优化获得脸部重建效果更好的第二人体模型。
203、获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标。
其中,上述脸部关键点是对目标对象的脸部区域进行关键点识别获得的关键点,可以用于指示目标对象的脸部五官的位置。
在本申请的一些实施例中,上述获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标,包括:
对上述二维人体图像进行脸部检测获得上述目标对象的脸部检测框;
对上述二维人体图像中上述脸部检测框内的图像内容进行脸部关键点识别,获得上述二维人体图像中上述目标对象的脸部关键点;
获取上述脸部关键点在上述二维人体图像所在的二维坐标系中的二维坐标。
如此,先识别出二维人体图像中的脸部检测框,即可以实现仅针对脸部检测框中的图像内容进行脸部关键点识别,能够降低数据处理量,提高关键点识别的效率和准确性。
在一种应用场景中,将上述图像A作为人脸检测算法的输入数据,进行人脸检测获得图像A中目标对象的脸部检测框bbox_face=[X3,Y3,X4,Y4],对应脸部检测框的左上角点的坐标和右下角点的坐标。其中,上述人脸检测算法可以根据实际需求进行设置和调整,例如,可以使用RetinaFace算法或Pyramid box算法,还可以使用其他算法,在此不作具体限定。
将上述图像A和脸部检测框bbox_face作为人脸关键点检测算法的输入数据,进行脸部关键点识别获得目标对象的脸部关键点及其二维坐标。其中,上述人脸关键点检测算法可以使用SDUNets算法或3DDFA算法,还可以根据实际需求使用其他算法,在此不作具体限定。
需要说明的是,通过人脸关键点检测算法可以获得脸部的多个关键点,为减少后续需要计算的数据量,提高三维人体重建效率,本申请实施例中,从人脸关键的检测出的关键点中选择部分能够指示出五官位置的关键点作为目标关键点。
在一种应用场景中,选择左眼的左右眼角点、右眼的左右眼角点、鼻子点、嘴巴左右角点和下巴点作为上述目标关键点,但不作为具体限定。上述目标关键点对应的二维坐标为P_face=[[x1,y1],
[x2,y2],…,[x8,y8]]。
204、确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标。
具体的,对于预设的参考人体模型,其每一个网格顶点都设置有索引值,以及该网格顶点的含义,例如索引值为几的网格顶点代表鼻子点,即该顶点与鼻子点之间存在对应关系。在对参考人体模型的网格顶点的位置进行调整的过程中,网格顶点对应的索引值和关键点含义并不会发生变化,同时,三维人体模型所对应的三维坐标系也不发生变化。因此,本申请实施例中,可以根据第一人体模型中目标网格顶点对应的索引值确定目标网格顶点的三维坐标。
在本申请的一些实施例中,上述确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标,包括:
根据预设的关键点索引值关联数据,获取上述脸部关键点在上述参考人体模型中关联的网格顶点的顶点索引值;
根据上述第一人体模型和上述顶点索引值,确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点;
获取上述目标网格顶点在上述第一人体模型所在的三维坐标系中的三维坐标。
其中,上述预设的关键点索引值关联数据是上述参考人体模型对应的用于存储网格顶点索引值和含义的数据。
需要说明的是,本申请实施例中,对于选择的每一个脸部关键点,确定与其匹配的网格顶点的索引值,从而将第一人体模型值相同索引值的网格顶点作为该脸部关键点对应的目标网格顶点。
图3是本申请实施例提供的一种目标网格顶点的位置示意图,如图3所示,本申请实施例中,利用三维几何处理系统(例如MeshLab),从SMPL基础人体模型的6890个顶点中获取左眼的左右眼角点、右眼的左右眼角点、鼻子点、嘴巴左右角点和下巴点所对应的索引序号V_Index=[Index1,Index2,Index3,Index4,Index5,Index6,Index7,Index8],从而根据索引序号在第一人体模型中确定对应的目标网格顶点的三维坐标。
205、根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离。
具体的,可以将上述脸部关键点的二维坐标转换为三维坐标系中的三维坐标,或者将上述目标网格顶点的三维坐标转换为二维坐标系中的二维坐标,在此不作具体限定。
本申请实施例中,上述根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离,包括:
根据上述坐标转换信息将上述目标网格顶点的三维坐标转换到上述二维人体图像所在的二维坐标系中,获得上述目标网格顶点的目标二维坐标,其中,上述第一人体模型与上述参考人体模型处于同一三维坐标系;
根据上述脸部关键点的二维坐标,以及与上述脸部关键点对应的目标网格顶点的目标二维坐标,获取相对应的脸部关键点和目标网格顶点之间的目标距离。
在本申请的一些实施例中,根据SMPL线性蒙皮算法,基于第一模型参数和参考人体模型获得第一人体模型。需要说明的是,在上述第一模型参数仅根据从第三模型参数中选择的部分关节点的姿态信息生成时,对线性蒙皮算法进行改进,减少线性蒙皮算法所需要的关节点的数目。
例如,在一种具体应用场景中,对线性蒙皮算法进行调整,仅保留“pelvis”(骨盆)、“spine1”(第一脊柱点)、“spine2”(第二脊柱点)、“spine3”(第三脊柱点)、“neck”(脖子)、“head”(头部)这些关节点对应的蒙皮权重,删除其他关节点所对应的蒙皮权重,即将线性蒙皮算法的蒙皮权重从原始的6890x24维度(原始的线性蒙皮算法需要使用24个关节点所对应的信息)减少到6890x6维度,同时,关节点变换只计算这6个节点,将原始蒙皮算法中的权重矩阵计算量从6890x24x24x16减少到6890x6x6x16,最后得到新的人体网格点Mesh’所构成的第一人体模型。
针对脸部关键点,根据关键点索引值关联数据V_Index确定各脸部关键点在第一人体模型中对应的目标网格顶点的具体位置,从而获得各个目标网格顶点的三维坐标P_mesh_3d=[[x13,y13,z13],
[x23,y23,z23],…[x83,y83,z83]]。
需要说明的是,[x13,y13,z13]代表第一个目标网格顶点对应的三维坐标,使用x13与目标关键点的二维横坐标x1进行区分,但不作为具体限定。
使用坐标转换信息将三维坐标转换到二维坐标系中,获得各个目标网格顶点在二维坐标系中的目标二维坐标。具体的,上述坐标转换信息为相机信息,即Camera Matrix,具体为一个3x3的矩阵M。在一种应用场景中,M=[[focal_length,0,center_x],[0,focal_length,center_y],[0,0,1]],其中,focal_length代表相机透视变换里的像素焦距,center_x代表图像中心在水平方向上的坐标,center_y代表图像中心在垂直方向上的坐标。
具体的,可以根据如下公式(2)进行坐标转换,获得目标二维坐标P_mesh_2d:
其中,P_mesh_3d′ij代表P_mesh_3d′矩阵里第i行j列的值;P_mesh_3dij代表P_mesh_3d矩阵里第i行j列的值;P_mesh_3di3代表P_mesh_3d矩阵里第i行3列的值;P_mesh_3d′是由P_mesh_3d′ij组成的矩阵,代表3D网格点坐标的矩阵形式;P_mesh_3d″代表P_mesh_3d′转置后的矩阵;上标T代表矩阵的转置;P_mesh_2d代表转换后的目标二维坐标;M代表上述相机信息。进一步的,针对每一个脸部关键点及其对应的目标网格顶点,根据对应的二维坐标和目标二维坐标之间的欧氏距离,从而获得目标顶点距离,其中,上述目标距离可以是欧氏距离之和或平方和。
在本申请的一些实施例中,基于预设的L2范数所对应的函数,根据如下公式(3)确定目标距离对应的目标函数L:
L = L2_norm(P_face – P_mesh_2d) (3)
其中,(P_face–P_mesh_2d)代表将相对应的目标关键点的二维坐标和目标网格顶点的目标二维坐标相减。
206、根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
具体的,可以以目标距离取得最小值为优化目标,对第一模型参数进行优化调整,获得对应的第二模型参数。需要说明的是,优化过程中,可以仅进行一次优化,也可以进行多次优化迭代,在此不作具体限定。
在本申请的一些实施例中,根据优化目标,采用梯度下降的优化方法对第一模型参数进行调整,直到得到满足预设的迭代终止条件的第二模型参数。上述迭代终止条件可以根据实际需求设置和调整,例如,可以设置为迭代次数达到次数阈值,或目标距离达到距离阈值,或目标距离收敛,还可以设置其他条件,在此不作具体限定。
需要说明的是,第一模型参数中包括多个关节点对应的姿态信息和形状信息,优化过程中可以仅对会影响到头部的关节点的姿态信息进行优化,以在获得更好的头部姿态重建效果的前提下,降低所需要处理的数据量。
具体的,上述第一模型参数中包括多个关节点网格顶点的姿态信息和形状信息,上述关节点网格顶点为上述目标对象的关节点所对应的网格顶点;
上述根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型,包括:
根据上述目标距离对上述第一模型参数中头部关节点网格顶点和颈部关节点网格顶点对应的姿态信息进行调整,直到得到满足预设的迭代终止条件的第二模型参数。
本申请实施例中,采用梯度下降的优化方法,对head和neck两个姿态(即R5和R6参数)进行梯度优化,其他姿态信息、形状信息和相机信息均保持不变,不参与梯度下降更新,迭代50轮后,得到优化后的head和neck姿态信息。
根据优化后的head和neck姿态信息,替换原来第一模型参数中人体姿态信息pose中对应head和neck的姿态信息,得到最终的人体重建信息(人体的姿态信息pose、形状信息shape和相机信息camera),其中,重建后的人体的姿态信息pose和形状信息shape构成第二模型参数,根据第二模型参数,基于上述改进的线性蒙皮算法,获得优化后的第二人体模型。如此,获得的优化后的第二人体模型的脸部姿态重建效果比第一人体模型更好。
图4是本申请实施例提供的一种三维人体重建方法的具体流程示意图,如图4所示,本申请实施例中,获取目标对象的二维人体图像(图像A),需要说明的是,图像A可以由用户输入或选定。针对图像A,进行脸部检测确定脸部检测框,针对脸部检测框区域进行脸部关键点识别获得脸部关键点。针对图像A,进行人体检测获得人体检测框,针对人体检测框区域进行SMPL人体重建获得第一模型参数。根据脸部关键点确定第一模型参数中对应的目标网格顶点,并根据脸部关键点的坐标和目标网格顶点进行拟合优化,获得优化后的第二模型参数,从而获得优化后的第二人体模型。具体处理和优化过程,可以参照上文中具体的描述,在此不再赘述。
如此,可以在保证人体姿态准确性的同时,对人脸姿态进行更准确的重建,且不需要结合额外的模型(例如FLAME),也不需要标注大量数据和修改SMPL人体重建算法。同时,只利用6个关节点进行线性蒙皮,相比原始24个关节点的方案,大幅度提高了计算处理的速度,有利于提高三维人体重建的效率。
采用本申请实施例的方案,可以根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系;根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型;获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标;确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标;根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
如此,在进行三维人体重建时,先根据二维人体图像和参考人体模型获得第一模型参数和第一人体模型,然后针对二维人体图像中脸部关键点的二维坐标和/或第一人体模型中目标网格顶点的三维坐标进行坐标转换,转换到相同坐标系中以确定对应的目标距离,从而根据目标距离对第一模型参数进行优化调整,实现对脸部重建效果的优化,无需结合多个模型,避免结合多种模型的三维人体重建方案对三维人体重建效率的较大影响,有利于提升脸部重建效果且降低对三维人体重建效率的影响。与相关技术中结合多种模型进行三维人体重建的方案相比,本申请实施例方案在提升脸部重建效果的基础上,能够提高三维人体重建的效率。
针对本申请实施例第一方面提供的三维人体重建方法,本申请实施例第二方面提供一种三维人体重建装置,请参阅图5,图5是本申请实施例提供的一种三维人体重建装置的结构框图,该装置包括:
第一模型参数获取模块501,用于根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系;
第一模型重建模块502,用于根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型;
脸部关键点检测模块503,用于获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标;
目标网格顶点匹配模块504,用于确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标;
目标距离计算模块505,用于根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;
第二模型重建模块506,用于根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
在一些可选的实施例中,上述第一模型参数获取模块501具体用于:
针对上述二维人体图像进行三维人体重建,获得与上述目标对象匹配的第三模型参数,其中,上述第三模型参数包括上述目标对象的姿态信息和形状信息;
根据上述第三模型参数中的形状信息、预设的形状调整参数以及上述参考人体模型的模型参数,获取调整后的形状信息;
根据上述第三模型参数中的姿态信息和上述调整后的形状信息构建上述第一模型参数;
获取上述二维人体图像与上述参考人体模型之间的坐标转换信息。
在一些可选的实施例中,上述第一模型参数获取模块501还具体用于:
对上述二维人体图像进行人体检测获得上述目标对象的人体检测框;
根据上述二维人体图像中上述人体检测框内的图像内容进行三维人体重建,获得与上述目标对象匹配的第三模型参数。
在一些可选的实施例中,上述脸部关键点检测模块503具体用于:
对上述二维人体图像进行脸部检测获得上述目标对象的脸部检测框;
对上述二维人体图像中上述脸部检测框内的图像内容进行脸部关键点识别,获得上述二维人体图像中上述目标对象的脸部关键点;
获取上述脸部关键点在上述二维人体图像所在的二维坐标系中的二维坐标。
在一些可选的实施例中,上述目标网格顶点匹配模块504具体用于:
根据预设的关键点索引值关联数据,获取上述脸部关键点在上述参考人体模型中关联的网格顶点的顶点索引值;
根据上述第一人体模型和上述顶点索引值,确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点;
获取上述目标网格顶点在上述第一人体模型所在的三维坐标系中的三维坐标。
在一些可选的实施例中,上述目标距离计算模块505具体用于:
根据上述坐标转换信息将上述目标网格顶点的三维坐标转换到上述二维人体图像所在的二维坐标系中,获得上述目标网格顶点的目标二维坐标,其中,上述第一人体模型与上述参考人体模型处于同一三维坐标系;
根据上述脸部关键点的二维坐标,以及与上述脸部关键点对应的目标网格顶点的目标二维坐标,获取相对应的脸部关键点和目标网格顶点之间的目标距离。
在一些可选的实施例中,上述第一模型参数中包括多个关节点网格顶点的姿态信息和形状信息,上述关节点网格顶点为上述目标对象的关节点所对应的网格顶点;
上述第二模型重建模块506具体用于:根据上述目标距离对上述第一模型参数中头部关节点网格顶点和颈部关节点网格顶点对应的姿态信息进行调整,直到得到满足预设的迭代终止条件的第二模型参数。
本申请实施例公开了一种三维人体重建装置,通过第一模型参数获取模块501根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系;通过第一模型重建模块502根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型;通过脸部关键点检测模块503获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标;通过目标网格顶点匹配模块504确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标;通过目标距离计算模块505根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;通过第二模型重建模块506根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
如此,在进行三维人体重建时,先根据二维人体图像和参考人体模型获得第一模型参数和第一人体模型,然后针对二维人体图像中脸部关键点的二维坐标和/或第一人体模型中目标网格顶点的三维坐标进行坐标转换,转换到相同坐标系中以确定对应的目标距离,从而根据目标距离对第一模型参数进行优化调整,实现对脸部重建效果的优化,无需结合多个模型,避免结合多种模型的三维人体重建方案对三维人体重建效率的较大影响,有利于提升脸部重建效果且降低对三维人体重建效率的影响。与相关技术中结合多种模型进行三维人体重建的方案相比,本申请实施例方案在提升脸部重建效果的基础上,能够提高三维人体重建的效率。
需要说明的是,上述装置中各个模块的划分可以根据实际需求确定,在此不作具体限定。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
相应的,本申请实施例还提供一种电子设备,该电子设备可以为终端,该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC,PersonalComputer)、个人数字助理(PDA,Personal Digital Assistant)等终端设备。如图6所示,图6是本申请实施例提供的电子设备的结构示意图。该电子设备600包括有一个或者一个以上处理核心的处理器601、有一个或一个以上计算机可读存储介质的存储器602及存储在存储器602上并可在处理器上运行的计算机程序。其中,处理器601与存储器602电性连接。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器601是电子设备600的控制中心,利用各种接口和线路连接整个电子设备600的各个部分,通过运行或加载存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行电子设备600的各种功能和处理数据,从而对电子设备600进行整体监控。处理器601可以是中央处理器CPU、图形处理器GPU、网络处理器(NP,NetworkProcessor)等,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。
在本申请实施例中,电子设备600中的处理器601会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,例如:
根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系;
根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型;
获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标;
确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标;
根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;
根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
可选的,如图6所示,电子设备600还包括:触控显示屏603、射频电路604、音频电路605、输入单元606以及电源607。其中,处理器601分别与触控显示屏603、射频电路604、音频电路605、输入单元606以及电源607电性连接。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
触控显示屏603可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏603可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器601,并能接收处理器601发来的命令并加以执行。触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器601以确定触摸事件的类型,随后处理器601根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中,可以将触控面板与显示面板集成到触控显示屏603而实现输入和输出功能。但是在某些实施例中,触控面板与显示面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏603也可以作为输入单元606的一部分实现输入功能。
射频电路604可用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
音频电路605可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路605可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路605接收后转换为音频数据,再将音频数据输出处理器601处理后,经射频电路604以发送给比如另一电子设备,或者将音频数据输出至存储器602以便进一步处理。音频电路605还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
输入单元606可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源607用于给电子设备600的各个部件供电。可选的,电源607可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源607还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图6中未示出,电子设备600还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种三维人体重建方法中的步骤。例如,该计算机程序可以执行如下步骤:
根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与上述目标对象匹配的第一模型参数和坐标转换信息,其中,上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系;
根据上述第一模型参数调整上述参考人体模型的网格顶点的位置,获得与上述目标对象匹配的第一人体模型;
获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标;
确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点,并获取上述目标网格顶点的三维坐标;
根据上述坐标转换信息,将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系,获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;
根据上述目标距离调整上述第一模型参数获得第二模型参数,并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置,获得第二人体模型。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种三维人体重建方法中的步骤,因此,可以实现本申请实施例所提供的任一种三维人体重建方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的三维人体重建方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种三维人体重建方法,其特征在于,包括:
根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与所述目标对象匹配的第一模型参数和坐标转换信息,其中,所述坐标转换信息用于表征所述参考人体模型的三维坐标系和所述二维人体图像的二维坐标系之间的转换关系;
根据所述第一模型参数调整所述参考人体模型的网格顶点的位置,获得与所述目标对象匹配的第一人体模型;
获取所述二维人体图像中所述目标对象的脸部关键点的二维坐标;
确定所述第一人体模型中与所述脸部关键点对应的目标网格顶点,并获取所述目标网格顶点的三维坐标;
根据所述坐标转换信息,将所述脸部关键点的二维坐标和所述目标网格顶点的三维坐标转换到同一坐标系,获取所述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;
根据所述目标距离调整所述第一模型参数获得第二模型参数,并根据所述第二模型参数调整所述第一人体模型的网格顶点的位置,获得第二人体模型。
2.根据权利要求1所述的三维人体重建方法,其特征在于,所述根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与所述目标对象匹配的第一模型参数和坐标转换信息,包括:
针对所述二维人体图像进行三维人体重建,获得与所述目标对象匹配的第三模型参数,其中,所述第三模型参数包括所述目标对象的姿态信息和形状信息;
根据所述第三模型参数中的形状信息、预设的形状调整参数以及所述参考人体模型的模型参数,获取调整后的形状信息;
根据所述第三模型参数中的姿态信息和所述调整后的形状信息构建所述第一模型参数;
获取所述二维人体图像与所述参考人体模型之间的坐标转换信息。
3.根据权利要求2所述的三维人体重建方法,其特征在于,所述针对所述二维人体图像进行三维人体重建,获得与所述目标对象匹配的第三模型参数,包括:
对所述二维人体图像进行人体检测获得所述目标对象的人体检测框;
根据所述二维人体图像中所述人体检测框内的图像内容进行三维人体重建,获得与所述目标对象匹配的第三模型参数。
4.根据权利要求1所述的三维人体重建方法,其特征在于,所述获取所述二维人体图像中所述目标对象的脸部关键点的二维坐标,包括:
对所述二维人体图像进行脸部检测获得所述目标对象的脸部检测框;
对所述二维人体图像中所述脸部检测框内的图像内容进行脸部关键点识别,获得所述二维人体图像中所述目标对象的脸部关键点;
获取所述脸部关键点在所述二维人体图像所在的二维坐标系中的二维坐标。
5.根据权利要求1所述的三维人体重建方法,其特征在于,所述确定所述第一人体模型中与所述脸部关键点对应的目标网格顶点,并获取所述目标网格顶点的三维坐标,包括:
根据预设的关键点索引值关联数据,获取所述脸部关键点在所述参考人体模型中关联的网格顶点的顶点索引值;
根据所述第一人体模型和所述顶点索引值,确定所述第一人体模型中与所述脸部关键点对应的目标网格顶点;
获取所述目标网格顶点在所述第一人体模型所在的三维坐标系中的三维坐标。
6.根据权利要求1所述的三维人体重建方法,其特征在于,所述根据所述坐标转换信息,将所述脸部关键点的二维坐标和所述目标网格顶点的三维坐标转换到同一坐标系,获取所述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离,包括:
根据所述坐标转换信息将所述目标网格顶点的三维坐标转换到所述二维人体图像所在的二维坐标系中,获得所述目标网格顶点的目标二维坐标,其中,所述第一人体模型与所述参考人体模型处于同一三维坐标系;
根据所述脸部关键点的二维坐标,以及与所述脸部关键点对应的目标网格顶点的目标二维坐标,获取相对应的脸部关键点和目标网格顶点之间的目标距离。
7.根据权利要求1至6任一项所述的三维人体重建方法,其特征在于,所述第一模型参数中包括多个关节点网格顶点的姿态信息和形状信息,所述关节点网格顶点为所述目标对象的关节点所对应的网格顶点;
所述根据所述目标距离调整所述第一模型参数获得第二模型参数,并根据所述第二模型参数调整所述第一人体模型的网格顶点的位置,获得第二人体模型,包括:
根据所述目标距离对所述第一模型参数中头部关节点网格顶点和颈部关节点网格顶点对应的姿态信息进行调整,直到得到满足预设的迭代终止条件的第二模型参数。
8.一种三维人体重建装置,其特征在于,包括:
第一模型参数获取模块,用于根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建,获得与所述目标对象匹配的第一模型参数和坐标转换信息,其中,所述坐标转换信息用于表征所述参考人体模型的三维坐标系和所述二维人体图像的二维坐标系之间的转换关系;
第一模型重建模块,用于根据所述第一模型参数调整所述参考人体模型的网格顶点的位置,获得与所述目标对象匹配的第一人体模型;
脸部关键点检测模块,用于获取所述二维人体图像中所述目标对象的脸部关键点的二维坐标;
目标网格顶点匹配模块,用于确定所述第一人体模型中与所述脸部关键点对应的目标网格顶点,并获取所述目标网格顶点的三维坐标;
目标距离计算模块,用于根据所述坐标转换信息,将所述脸部关键点的二维坐标和所述目标网格顶点的三维坐标转换到同一坐标系,获取所述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离;
第二模型重建模块,用于根据所述目标距离调整所述第一模型参数获得第二模型参数,并根据所述第二模型参数调整所述第一人体模型的网格顶点的位置,获得第二人体模型。
9.一种电子设备,其特征在于,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至7任一项所述的三维人体重建方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的三维人体重建方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311814296.6A CN117953150A (zh) | 2023-12-26 | 2023-12-26 | 三维人体重建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311814296.6A CN117953150A (zh) | 2023-12-26 | 2023-12-26 | 三维人体重建方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117953150A true CN117953150A (zh) | 2024-04-30 |
Family
ID=90793594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311814296.6A Pending CN117953150A (zh) | 2023-12-26 | 2023-12-26 | 三维人体重建方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117953150A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610889A (zh) * | 2021-06-30 | 2021-11-05 | 奥比中光科技集团股份有限公司 | 一种人体三维模型获取方法、装置、智能终端及存储介质 |
CN114612614A (zh) * | 2022-03-09 | 2022-06-10 | 北京大甜绵白糖科技有限公司 | 人体模型的重建方法、装置、计算机设备及存储介质 |
CN115546409A (zh) * | 2022-10-18 | 2022-12-30 | 兰州未来新影文化科技集团有限责任公司 | 一种三维人脸模型自动生成方法 |
CN116503524A (zh) * | 2023-04-11 | 2023-07-28 | 广州赛灵力科技有限公司 | 一种虚拟形象的生成方法、系统、装置及存储介质 |
US20230326238A1 (en) * | 2022-04-12 | 2023-10-12 | Microsoft Technology Licensing, Llc | Optimization-based parametric model fitting via deep learning |
-
2023
- 2023-12-26 CN CN202311814296.6A patent/CN117953150A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610889A (zh) * | 2021-06-30 | 2021-11-05 | 奥比中光科技集团股份有限公司 | 一种人体三维模型获取方法、装置、智能终端及存储介质 |
WO2023273093A1 (zh) * | 2021-06-30 | 2023-01-05 | 奥比中光科技集团股份有限公司 | 一种人体三维模型获取方法、装置、智能终端及存储介质 |
CN114612614A (zh) * | 2022-03-09 | 2022-06-10 | 北京大甜绵白糖科技有限公司 | 人体模型的重建方法、装置、计算机设备及存储介质 |
US20230326238A1 (en) * | 2022-04-12 | 2023-10-12 | Microsoft Technology Licensing, Llc | Optimization-based parametric model fitting via deep learning |
CN115546409A (zh) * | 2022-10-18 | 2022-12-30 | 兰州未来新影文化科技集团有限责任公司 | 一种三维人脸模型自动生成方法 |
CN116503524A (zh) * | 2023-04-11 | 2023-07-28 | 广州赛灵力科技有限公司 | 一种虚拟形象的生成方法、系统、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11302064B2 (en) | Method and apparatus for reconstructing three-dimensional model of human body, and storage medium | |
CN110473141B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN111598998B (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
CN109255830A (zh) | 三维人脸重建方法和装置 | |
JP2024004444A (ja) | 3次元顔再構成モデルトレーニング、3次元顔イメージ生成方法及び装置 | |
CN112891954B (zh) | 虚拟对象的模拟方法、装置、存储介质及计算机设备 | |
CN112206517B (zh) | 一种渲染方法、装置、存储介质及计算机设备 | |
CN111292262A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN114742925A (zh) | 虚拟对象的蒙皮方法、装置、电子设备和存储介质 | |
CN113361490B (zh) | 图像生成、网络训练方法、装置、计算机设备和存储介质 | |
CN117593493A (zh) | 三维脸部拟合方法、装置、电子设备及存储介质 | |
CN117058284A (zh) | 图像生成方法、装置和计算机可读存储介质 | |
CN112991208A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
CN116385615A (zh) | 虚拟面部生成方法、装置、计算机设备及存储介质 | |
WO2023130819A1 (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
CN116758203A (zh) | 环境光遮蔽贴图的生成方法、装置、存储介质及电子设备 | |
CN114373034B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
CN116228982A (zh) | 虚拟模型的处理方法、装置、计算机设备及存储介质 | |
CN115588065A (zh) | 一种毛发模型的生成方法、装置、计算机设备及存储介质 | |
CN117953150A (zh) | 三维人体重建方法、装置、电子设备及存储介质 | |
CN115645921A (zh) | 游戏指示器的生成方法、装置、计算机设备及存储介质 | |
CN113345059B (zh) | 动画生成方法、装置、存储介质及电子设备 | |
CN116029912A (zh) | 图像处理模型的训练、图像处理方法、装置、设备及介质 | |
CN113706685A (zh) | 面部模型的重建方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |