CN112233223A - 基于三维点云的人体参数化模型自动变形方法和装置 - Google Patents

基于三维点云的人体参数化模型自动变形方法和装置 Download PDF

Info

Publication number
CN112233223A
CN112233223A CN202011046411.6A CN202011046411A CN112233223A CN 112233223 A CN112233223 A CN 112233223A CN 202011046411 A CN202011046411 A CN 202011046411A CN 112233223 A CN112233223 A CN 112233223A
Authority
CN
China
Prior art keywords
target
vertex
object model
dimensional object
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011046411.6A
Other languages
English (en)
Inventor
陈海龙
刘璐
康星火
刘梦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Esun Display Co ltd
Original Assignee
Shenzhen Esun Display Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Esun Display Co ltd filed Critical Shenzhen Esun Display Co ltd
Priority to CN202011046411.6A priority Critical patent/CN112233223A/zh
Publication of CN112233223A publication Critical patent/CN112233223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种基于三维点云的人体参数化模型自动变形方法、装置、计算机设备和存储介质。该方法包括:从初始拟合三维对象模型对应的第一顶点集合中,获取与目标三维对象模型对应的第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点;获取目标顶点约束项,目标顶点约束项包括目标第一顶点对应的位置调整项,与目标第二顶点的位置之间的差异,位置调整项为目标第一顶点对应的第一位置调整参数与目标第一顶点的位置之间运算的结果;确定目标顶点约束项满足最小化约束条件时第一位置调整参数对应的数值,利用得到的数值调整目标第一顶点的位置,得到目标拟合三维对象模型。采用本方法能够提高人体参数化模型的准确度。

Description

基于三维点云的人体参数化模型自动变形方法和装置
技术领域
本申请涉及计算机技术领域,特别是涉及一种基于三维点云的人体参数化模型自动变形方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,出现了3D(three dimensional,三维)技术,人体三维模型在3D打印、服装定制、虚拟试衣以及动画制作等方面的应用不断被探索。例如,可以利用与真人相似的人体参数化模型,实现虚拟走秀。因此,在3D应用中,如何获取与真人相似的人体参数化模型尤为重要。
目前,通常采用深度相机等设备对人体进行测量,从而得到人体参数化模型,然而这种方法容易受到被测量人体的运动速度等因素的影响,导致不能得到的与真实人体十分相似的人体参数化模型的,即得到的人体参数化模型的准确度低。
发明内容
基于此,有必要针对上述得到的人体参数化模型的准确度低的技术问题,提供一种能够提高人体参数化模型的准确度的基于三维点云的人体参数化模型自动变形方法、装置、计算机设备和存储介质。
一种基于三维点云的人体参数化模型自动变形方法,所述方法包括:获取目标三维对象模型对应的初始拟合三维对象模型,所述初始拟合三维对象模型是根据所述目标三维对象模型对应的三维关节点拟合得到;所述初始拟合三维对象模型对应有第一顶点集合,所述目标三维对象模型对应有第二顶点集合;从所述第一顶点集合中,获取与所述第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点;获取目标顶点约束项,所述目标顶点约束项包括所述目标第一顶点对应的位置调整项,与所述目标第二顶点的位置之间的差异,所述位置调整项为所述目标第一顶点对应的第一位置调整参数与所述目标第一顶点的位置之间运算的结果;确定所述目标顶点约束项满足最小化约束条件时,所述第一位置调整参数对应的数值,得到所述目标第一顶点对应的第一位置调整因子;利用所述第一位置调整因子调整对应的目标第一顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型。
在一些实施例中,所述目标顶点约束项还包括所述第一位置调整参数以及第二位置调整参数构成的差异项,所述第二位置调整参数为第一关联顶点对应的位置调整参数,所述第一关联顶点为与所述目标第一顶点具有连接关系的第一顶点;所述方法还包括:确定所述目标顶点约束项满足所述最小化约束条件时,所述第二位置调整参数对应的数值,得到所述第一关联顶点对应的第二位置调整因子;所述利用所述第一位置调整因子调整对应的目标第一顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型包括:利用所述第一位置调整因子调整对应的目标第一顶点的位置,并且利用所述第二位置调整因子调整所述第一关联顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型。
在一些实施例中,所述目标顶点约束项还包括所述第二位置调整参数以及第三位置调整参数构成的差异项,所述第三位置调整参数为第二关联顶点对应的位置调整参数,所述第二关联顶点为与所述第一关联顶点具有连接关系的第一顶点;所述方法还包括:确定使得所述目标顶点约束项满足所述最小化约束条件时,所述第三位置调整参数对应的数值,得到所述第二关联顶点对应的第三位置调整因子;所述利用所述第一位置调整因子调整对应的目标第一顶点的位置,并且利用所述第二位置调整因子调整所述第一关联顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型包括:利用所述第一位置调整因子调整对应的目标第一顶点的位置,利用所述第二位置调整因子调整所述第一关联顶点的位置,并且利用所述第三位置调整因子调整所述第二关联顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型。
在一些实施例中,所述目标顶点约束项还包括目标第一顶点对应的夹角约束项,所述夹角约束项根据目标向量与目标法向量之间的夹角余弦值确定,所述目标向量的终点为所述目标第二顶点,所述目标向量的起点的位置为所述目标第一顶点的位置调整项对应的位置,所述目标法向量根据所述目标第一顶点对应的各个平面分别对应的平面法向量计算得到。
在一些实施例中,所述方法还包括:当所述目标向量与所述目标法向量之间的夹角余弦值为负值时,确定所述夹角约束项为所述目标第二顶点的位置与所述位置调整项对应的位置进行距离运算后的结果。
在一些实施例中,得到所述初始拟合三维对象模型的步骤包括:获取标准三维对象模型以及所述标准三维对象模型对应的标准三维关节点集合;所述标准三维关节点集合包括多个标准三维关节点;获取目标关节点约束项,所述目标关节点约束项包括肢体长度调整项与目标肢体长度的差异,所述肢体长度调整项为第一关节点调整项与第二关节点调整项的差异结果;所述第一关节点调整项为第一标准三维关节点的位置与形态调整参数之间运算的结果,所述第二关节点调整项为第二标准三维关节点的位置与所述形态调整参数之间运算的结果;所述第一标准三维关节点以及所述第二标准三维关节点对应目标肢体类型,所述目标肢体长度为所述目标肢体类型对应的第一目标三维关节点与对应的第二目标三维关节点之间的位置差异;确定所述目标关节点约束项满足最小化约束条件时,所述形态调整参数对应的数值,得到目标关节点调整因子;利用所述目标关节点调整因子对所述标准三维对象模型的关节点进行位置调整,得到所述初始拟合三维对象模型。
在一些实施例中,所述目标关节点约束项还包括所述第一标准三维关节点对应的第三关节点调整项,与所述第一目标三维关节点的位置之间的差异,所述第三关节点调整项为姿态调整参数以及所述第一关节点调整项进行运算的结果;所述第一目标三维关节点与所述第一标准三维关节点的关节点类型一致;所述确定所述目标关节点约束项满足最小化约束条件时,所述形态调整参数对应的数值,得到目标关节点调整因子包括:确定所述目标关节点约束项满足最小化约束条件时,所述形态调整参数对应的数值以及所述姿态调整参数对应的数值,得到所述目标关节点调整因子。
一种基于三维点云的人体参数化模型自动变形装置,所述装置包括:初始拟合三维对象模型获取模块,用于获取目标三维对象模型对应的初始拟合三维对象模型,所述初始拟合三维对象模型是根据所述目标三维对象模型对应的三维关节点拟合得到;所述初始拟合三维对象模型对应有第一顶点集合,所述目标三维对象模型对应有第二顶点集合;目标第一顶点获取模块,用于从所述第一顶点集合中,获取与所述第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点;目标顶点约束项获取模块,用于获取目标顶点约束项,所述目标顶点约束项包括所述目标第一顶点对应的位置调整项,与所述目标第二顶点的位置之间的差异,所述位置调整项为所述目标第一顶点对应的第一位置调整参数与所述目标第一顶点的位置之间运算的结果;第一位置调整因子得到模块,用于确定所述目标顶点约束项满足最小化约束条件时,所述第一位置调整参数对应的数值,得到所述目标第一顶点对应的第一位置调整因子;目标拟合三维对象模型得到模块,用于利用所述第一位置调整因子调整对应的目标第一顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述基于三维点云的人体参数化模型自动变形方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于三维点云的人体参数化模型自动变形方法的步骤。
上述基于三维点云的人体参数化模型自动变形方法、装置、计算机设备和存储介质,获取目标三维对象模型对应的初始拟合三维对象模型,初始拟合三维对象模型是根据目标三维对象模型对应的三维关节点拟合得到;初始拟合三维对象模型对应有第一顶点集合,目标三维对象模型对应有第二顶点集合,从第一顶点集合中,获取与第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点,获取目标顶点约束项,确定目标顶点约束项满足最小化约束条件时,第一位置调整参数对应的数值,得到目标第一顶点对应的第一位置调整因子,利用第一位置调整因子调整对应的目标第一顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型,由于目标顶点约束项包括目标第一顶点对应的位置调整项,与目标第二顶点的位置之间的差异,位置调整项为目标第一顶点对应的第一位置调整参数与目标第一顶点的位置之间运算的结果,从而可以根据第一位置调整参数对目标第一顶点的位置进行调整,由于第一位置调整因子是目标顶点约束项满足最小化约束条件时的数值,因此,第一位置调整因子调整后的目标第一顶点的位置与目标第二顶点的位置之间的差异得到最小化,即使得目标三维对象模型的顶点与目标拟合三维对应模型的顶点的位置的差异得到最小化,提高了目标拟合三维人体模型与扫描到的目标三维人体模型的相似度,从而提高了目标三维人体模型的准确度。
附图说明
图1为一些实施例中基于三维点云的人体参数化模型自动变形方法的应用环境图;
图2为一些实施例中基于三维点云的人体参数化模型自动变形方法的流程示意图;
图3为一些实施例中目标三维对象模型和标准三维对象模型的示意图;
图4为一些实施例中形态调整的效果图以及姿态调整的效果图;
图5为一些实施例中初配三维对象模型和非刚体配准三维对象模型的示意图;
图6为一些实施例中初配后的三维对象模型以及非刚体配准三维对象模型的示意图;
图7为一些实施例中得到初始拟合三维对象模型的步骤的流程示意图;
图8为一些实施例中基于三维点云的人体参数化模型自动变形装置的结构框图;
图9为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于三维点云的人体参数化模型自动变形方法,可以应用于如图1所示的应用环境中。该应用环境包括扫描设备102以及终端设备104。其中,扫描设备102可以通过有线或者无线通信方式与终端设备104进行通信。
具体地,扫描设备102可以对对象进行扫描,得到扫描后的三维对象模型。终端设备104可以从扫描设备102获取扫描后的三维对象模型,例如可以从扫描设备102获取对目标对象进行扫描得到的目标三维对象模型。终端设备104可以根据目标三维对象模型对应的三维关节点进行拟合,得到目标三维对象模型对应的初始拟合三维对象模型。其中,初始拟合三维对象模型对应有第一顶点集合,目标三维对象模型对应有第二顶点集合;终端设备104可以从第一顶点集合中,获取与第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点;终端设备104可以获取目标顶点约束项,目标顶点约束项包括目标第一顶点对应的位置调整项,与目标第二顶点的位置之间的差异,位置调整项为目标第一顶点对应的第一位置调整参数与目标第一顶点的位置之间运算的结果;终端设备104可以确定目标顶点约束项满足最小化约束条件时,第一位置调整参数对应的数值,得到目标第一顶点对应的第一位置调整因子;终端设备104可以利用第一位置调整因子调整对应的目标第一顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型。
其中,扫描设备102可以但不限于是各种可以进行人体三维模型扫描的设备。例如可以是激光扫描仪。终端设备104可以但不限于是各种个人计算机和笔记本电脑。
可以理解,上述应用场景仅是一种示例,并不构成对本申请实施例提供的方法的限定,本申请实施例提供的方法还可以应用在其他场景中,例如,本申请提供的基于三维点云的人体参数化模型自动变形方法可以由服务器设备执行。其中,服务器设备可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中,如图2所示,提供了一种基于三维点云的人体参数化模型自动变形方法,以该方法应用于图1中的终端设备104为例进行说明,包括以下步骤:
S202,获取目标三维对象模型对应的初始拟合三维对象模型,初始拟合三维对象模型是根据目标三维对象模型对应的三维关节点拟合得到;初始拟合三维对象模型对应有第一顶点集合,目标三维对象模型对应有第二顶点集合。
具体地,对象可以包括人或动物中的至少一种。目标三维对象模型可以是通过点云扫描设备扫描得到的人体三维点云。目标三维对象模型对应的三维关节点,可以是根据目标三维对象模型对应的二维对象图像得到的,例如可以根据二维对象图像的二维关节点计算得到的。初始拟合三维对象模型可以是根据目标三维对象模型对应的三维关节点,对标准三维对象模型的姿态和形态进行调整后得到的模型。构成三维对象模型的元素可以包括顶点、关节点和面片。第一顶点集合中可以包括多个第一顶点,第二顶点集合中可以包括多个第二顶点。第一顶点集合中的第一顶点的数量与第二顶点集合中第二顶点的数量,可以是相同的也可以是不同的。顶点集合(例如第一顶点集合和第二顶点集合)中的每个顶点可以与多个其他的顶点具有连接关系,例如一个顶点可以与6个其他的顶点具有连接关系。面片是由顶点连接之后构成的三角形平面,一个面片包括3个顶点以及3个顶点连接后形成的3个边。一个顶点可以同时属于多个三角平面。
标准三维对象模型指的是具有明确的顶点和关节点,并且顶点的位置以及关节点的位置可以被调整的参数化模型,可以是自定义的三维对象模型,也可以是现有的三维对象模型,例如可以是makehuman参数化模型。标准三维对象模型还可以称为标准参数化模型和标准三维人体模型,标准参数化模型例如可以是makehuman参数化模型。如图3所示,图3(a)中的2个人体模型分别为目标三维对象模型的示意图,图3(b)中的2个人体模型分别为标准三维对象模型的示意图。
通过目标三维对象模型的三维关节点,调整标准三维对象模型的形态,可以使得形态调整后的标准三维对象模型与目标三维对象模型的四肢长度以及躯干长度一致,通过目标三维对象模型的三维关节点,调整标准三维对象模型或者形态调整后的标准三维对象模型的姿态,可以使得姿态调整后的标准三维对象模型与目标三维对象模型的姿态一致,例如手臂张开的角度一致。如图4所示,图4(a)为形态调整的效果图,图4(b)为姿态调整的效果图。
为了得到与目标三维对象模型的体型一致的,可以利用目标三维对象模型的顶点对初始模拟三维对象模型的顶点的位置进行调整,得到顶点调整后的三维对象模型。体型一致包括胖瘦一致或者身高一致中的至少一种。姿态调整以及形态调整的过程可以称为初配,因此初始模拟三维对象模型可以称为初配三维对象模型,顶点调整的过程可以称为非刚体配准,因此顶点调整后的三维对象模型可以称为非刚体配准三维对象模型。如图5所示,图5(a)为初配三维对象模型的示意图,图5(b)为非刚体配准三维对象模型的示意图。如图6所示,图6(a)中左边的图对应目标三维对象模型,图6(a)中左边的图对应标准三维对象模型,图6(b)对应初配三维对象模型,图6(c)对应非刚体配准三维对象模型。
在一些实施例中,人体模型的差异主要体现在形态和姿态两个方面,可以通过公式(1)实现对标准三维对象模型的姿态和形态进行调整。
M(β,θ)=W(T(β),J(β),θ,w) (1)
其中,
Figure BDA0002708143350000081
Figure BDA0002708143350000082
Figure BDA0002708143350000083
其中,β为形态参数(也可以称为形态调整参数),θ为姿态参数(也可以称为姿态调整参数),
Figure BDA0002708143350000084
为标准三维对象模型(也可以称作标准三维人体模型),T(β)为标准姿态下的形态模型,T(β)是在
Figure BDA0002708143350000085
的基础上施加若干偏移量B(β)得到。不同的形态参数β构成不同的偏移量,体现不同的形态模型,M(β,θ)是给定标准姿态下的模型T(β)一个姿态所得到的,该姿态由姿态参数θ控制,M(β,θ)可以理解为人体模型绕各个关节点J(β)旋转角度θ。J(β)为标准姿态下的关节位置,受形态参数β的影响。可以通过形态调整参数可以控制人体不同部位的长度,例如控制臂长和腿长。
通常情况下,一个参数化模型确定下来之后,相应的
Figure BDA0002708143350000086
形态基地Sn、骨骼权重w(例如LBS骨骼权重)是已知的。因此要确定一个人体模型,可以通过估计出参数β和θ得到拟合后的参数化模型。
在一些实施例中,拟合的过程可以分为两步:构建误差方程和最小化误差方程。终端设备可以根据拟合目标构建误差方程,拟合目标例如可以是人体模型的点云。例如误差方程可以表示为公式(5)。
E(β,θ)=∑||M(β,θ)i-Vcorr(i)||2+Ereg (5)
其中,M(β,θ)i表示模型M(β,θ)上的某一点,Vcorr(i)表示人体点云模型上与M(β,θ)i对应的点,coor(i)表示动态变化的对应关系,Ereg表示正则项。最小化误差方程可以表示为公式(6)
Figure BDA0002708143350000091
S204,从第一顶点集合中,获取与第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点。
具体地,目标第二顶点为第二顶点集合中,存在具有位置对应关系的第一顶点的第二顶点。目标第一顶点指的是第一顶点集合中与目标第二顶点具有位置对应关系的第一顶点。目标第二顶点与目标第一顶点之间的可以是一对一、多对多、一对多或多对一种的至少一种对应关系。位置对应关系指的是位置上具有对应关系,可以将位置差异小于位置差异阈值的第一顶点以及第二顶点,确定为具有位置对应关系,也可以将位置差异在预设差异范围之内的第一顶点以及第二顶点,确定为具有位置对应关系,当然还可以通过其他方式确定具有位置对应关系的第一顶点以及第二顶点。预设差异范围以及位置差异阈值可以分别根据需要进行设置,也可以是预先设置的。
在一些实施例中,终端设备可以通过关联顶点确定工具,从第一顶点集合中确定与第二顶点集合中的各个第二顶点分别对应的第一顶点。需要说明的是,第二顶点集合中的第二顶点可能存在具有位置对应关系的第一顶点,也可能不存在具有位置对应关系的第一顶点。其中,关联顶点确定工具例如可以是PCL(Point Cloud Library,点云库)。
S206,获取目标顶点约束项,目标顶点约束项包括目标第一顶点对应的位置调整项,与目标第二顶点的位置之间的差异,位置调整项为目标第一顶点对应的第一位置调整参数与目标第一顶点的位置之间运算的结果。
具体地,位置调整参数指的是对初始拟合三维对象模型的第一顶点的位置进行调整的参数。位置调整参数可以是一维的,也可以是多维的,例如可以是4×4的矩阵。第一顶点集合中的各个第一顶点可以分别对应有位置调整参数,不同的第一顶点对应的位置调整参数可以相同也可以不同。第一位置调整参数为目标第一顶点对应的位置调整参数。
第一顶点集合中的各个第一顶点可以分别对应有位置调整项。位置调整项可以是第一位置调整参数以及目标第一顶点的位置按照预设运算方法进行运算得到的结果,预设运算方法可以包括乘法运算或加法运算中的至少一种。位置调整项对应的位置,为通过第一位置调整参数对目标第一顶点的位置进行调整后的位置。
将位置调整项与目标第二顶点的位置之间的差异记作第一差异,则各个目标第一顶点可以分别对应有第一差异。第一差异的结果随着第一位置调整参数的变化而变化,第一位置调整参数的取值不同,第一差异的结果可能不同。目标顶点约束项可以包括多个目标第一顶点分别对应的第一差异,目标顶点约束项中,各个第一差异之间可以是相乘的关系,也可以是相加的关系,例如目标顶点约束项可以包括各第一差异的统计结果。目标顶点约束项与第一差异之间可以是成正相关关系的,即第一差异的值越大,目标顶点约束项的值越大,第一差异的值越小,目标顶点约束项的值越小。目标顶点约束项随时与第一差异的变化而变化,例如随着第一差异的增大而增大,随着第一差异的减小而减小。
例如,目标顶点约束项可以包括公式(7)中的差异项的统计值Edata,其中,Ti表示M(β,θ)i对应的第一位置调整参数,M(β,θ)i对应目标第一顶点。Vcorr(i)对应目标第二顶点的位置。||TiM(β,θ)i-Vcorr(i)||2表示差异项。
Edata=∑||TiM(β,θ)i-Vcorr(i)||2 (7)
S208,确定目标顶点约束项满足最小化约束条件时,第一位置调整参数对应的数值,得到目标第一顶点对应的第一位置调整因子。
具体地,最小化约束条件可以包括取值为取值范围中的最小值、取值小于预设数值或者取值等于固定数值中的至少一种。预设数值可以根据需要进行设置,例如为0.2,固定数值可以根据需要进行设置,例如可以是0.1。第一位置调整因子为目标顶点约束项的结果满足最小化约束条件时,第一位置调整参数对应的数值。
由于第一差异的结果随着第一位置调整参数的变化而变化,第一差异与目标顶点约束项成正相关关系,因此,目标顶点约束项随着第一位置调整参数的变化而变化,并且目标顶点约束项与第一差异随着第一位置调整参数的变化趋势是一致的,例如,当第一位置调整参数的变化使得目标顶点约束项增大时,可以确定第一位置调整参数的变化使得第一差异增大,当第一位置调整参数的变化使得目标顶点约束项减小时,可以确定第一位置调整参数的变化使得第一差异减小。因此,当目标顶点约束项满足最小化约束条件时,第一差异也得到了最小化,或者各个第一差异的统计结果得到了最小化。
S210,利用第一位置调整因子调整对应的目标第一顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型。
具体地,目标拟合三维对象模型可以是利用各个第一位置调整因子分别对对应的目标第一顶点的位置进行调整得到的。当然目标拟合三维对象模型还可以是通过对第一顶点集合中的与目标第一顶点不同的各个第一顶点的位置调整后得到的。例如,第一顶点集合为{d1,d2,d3,d4,d5,d6,d7……,dN},N为正整数。并且,d1,d2,d3,d7分别为目标第一顶点,d5,d6不是目标第一顶点,可以通过调整初始拟合三维对象模型中的d1,d2,d3和d6的位置得到目标拟合三维对象模型。第一差异越小,则目标第一顶点的位置调整项与目标第二顶点的位置的差异越小,因此可以使用第一差异(即目标顶点约束项)最小化时,第一位置调整参数的值以及目标第一顶点对应的位置进行计算(计算方法与得到位置调整项一致),得到目标第一顶点的新的位置,将目标第一顶点的位置调整到新的位置,得到的目标拟合三维对象模型,由于目标第一顶点与目标第二顶点之间的位置差异的得到最小化,从而提高了目标拟合三维对象模型与目标三维对象模型之间的相似度。
在一些实施例中,终端设备可以对目标拟合三维对象模型的尺寸进行计算,根据目标拟合三维对象模型的尺寸,估计出目标三维对象模型对应的真实对象的尺寸,从而可以自动的完成对象尺寸的测量,可以自动对人体尺寸进行测量,从而提高了人体尺寸测量的效率以及准确度。终端设备还可以控制目标拟合三维对象模型的关节点的位置,使得目标拟合三维对象模型根据真实人体的运动而运动。
上述基于三维点云的人体参数化模型自动变形方法中,获取目标三维对象模型对应的初始拟合三维对象模型,初始拟合三维对象模型是根据目标三维对象模型对应的三维关节点拟合得到;初始拟合三维对象模型对应有第一顶点集合,目标三维对象模型对应有第二顶点集合,从第一顶点集合中,获取与第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点,获取目标顶点约束项,确定目标顶点约束项满足最小化约束条件时,第一位置调整参数对应的数值,得到目标第一顶点对应的第一位置调整因子,利用第一位置调整因子调整对应的目标第一顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型,由于目标顶点约束项包括目标第一顶点对应的位置调整项,与目标第二顶点的位置之间的差异,位置调整项为目标第一顶点对应的第一位置调整参数与目标第一顶点的位置之间运算的结果,从而可以根据第一位置调整参数对目标第一顶点的位置进行调整,由于第一位置调整因子是目标顶点约束项满足最小化约束条件时的数值,因此,第一位置调整因子调整后的目标第一顶点的位置与目标第二顶点的位置之间的差异得到最小化,即使得目标三维对象模型的顶点与目标拟合三维对应模型的顶点的位置的差异得到最小化,提高了目标拟合三维人体模型与扫描到的目标三维人体模型的相似度,从而提高了目标三维人体模型的准确度。
在一些实施例中,目标顶点约束项还包括第一位置调整参数以及第二位置调整参数构成的差异项,第二位置调整参数为第一关联顶点对应的位置调整参数,第一关联顶点为与目标第一顶点具有连接关系的第一顶点;该方法还包括:确定目标顶点约束项满足最小化约束条件时,第二位置调整参数对应的数值,得到第一关联顶点对应的第二位置调整因子;步骤S210利用第一位置调整因子调整对应的目标第一顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型包括:利用第一位置调整因子调整对应的目标第一顶点的位置,并且利用第二位置调整因子调整第一关联顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型。
具体地,第一关联顶点可以是第一顶点集合中的目标第一顶点,也可以是第一顶点集合中除目标第一顶点之外的第一顶点。第一位置调整参数以及第二位置调整参数构成的差异项,可以是第一位置调整参数与第二位置调整参数相减后的结果,也可以是对第一位置调整参数与第二位置调整参数相减后的结果按照预设计算方法计算的结果,预设计算方法可以包括范数运算或先范数运算再平方运算中的至少一种,当然还可以其他计算差异的方法,这里不做限制。每个目标第一顶点可以对应有多个第一关联顶点,不同的第一关联顶点可以对应不同的第二位置调整参数,因此,一个第一位置调整参数可以有多个差异项,目标顶点约束项可以包括多个第一位置调整参数分别对应的差异项,目标顶点约束项中,各个差异项之间的关系可以是相乘的关系,也可以是相加的关系。目标顶点约束项可以包括各个第一位置调整参数分别对应的差异项的统计值。目标顶点约束项与差异项或者差异项的统计结果之间呈正相关关系,例如当差异项增大时,目标顶点约束项增大,当差异项减小时,目标顶点约束项减小。
在一些实施例中,终端设备可以将目标顶点约束项满足最小化约束条件时,第二位置调整参数对应的数值,作为第二位置调整因子。终端设备可以同时调整第一位置调整参数的值以及第二位置调整参数的值,确定目标顶点约束项满足最小化约束条件时,第一位置调整参数对应的数值,以及第二位置调整参数对应的数值。由于目标顶点约束项与差异项或者差异项的统计结果之间呈正相关关系,因此将目标顶点约束项满足最小化约束条件时,第二位置调整参数对应的数值作为第二位置调整因子,可以提高第二位置调整因子与第一位置调整因子之间的差异。
上述实施例中,利用第一位置调整因子调整对应的目标第一顶点的位置,并且利用第二位置调整因子调整第一关联顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型,从而可以使得具有连接关系的第一顶点对应的位置调整因子的之间的差异最小化,使得具有连接关系的第一顶点的位置调整方式一致,从而避免调整后的模型出现毛刺的现象。从而提高目标拟合三维对象模型与目标三维对象模型之间的相似度,提高目标拟合三维对象模型的准确度。
在一些实施例中,目标顶点约束项还包括第二位置调整参数以及第三位置调整参数构成的差异项,第三位置调整参数为第二关联顶点对应的位置调整参数,第二关联顶点为与第一关联顶点具有连接关系的第一顶点;该方法还包括:确定使得目标顶点约束项满足最小化约束条件时,第三位置调整参数对应的数值,得到第二关联顶点对应的第三位置调整因子;利用第一位置调整因子调整对应的目标第一顶点的位置,并且利用第二位置调整因子调整第一关联顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型包括:利用第一位置调整因子调整对应的目标第一顶点的位置,利用第二位置调整因子调整第一关联顶点的位置,并且利用第三位置调整因子调整第二关联顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型。
具体地,第二关联顶点可以为目标第一顶点,也可以是与目标第一顶点具有连接关系的第一顶点,还可以是与目标第一顶点没有连接关系的第一顶点。第一关联顶点可以对用多个第二关联顶点。
在一些实施例中,目标顶点约束项还包括任意的具有连接关系的两个第一顶点分别对应的位置调整参数构成的差异项。例如,目标顶点约束项可以包括公式(8)中的Esmooth。其中,Tj和Ti表示相邻的两个顶点分别对应的位置调整参数。相邻的两个顶点指的是具有连接关系的两个顶点。公式(8)可以称为局部平滑约束。
Esmooth=∑i,j∈obj{e}||Ti-Tj||2 (8)
上述实施例中,人体点云可能存在噪声,即目标三维对象模型对应的第二顶点集合中存在噪声顶点,利用第一位置调整因子调整对应的目标第一顶点的位置,利用第二位置调整因子调整第一关联顶点的位置,并且利用第三位置调整因子调整第二关联顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型,可以使得尽可能多的第一顶点的位置得到调整,并且可以使得相邻顶点的相对位置尽量保持不变,保持局部的几何信息,从而可以避免第二顶点集合中的噪声顶点的影响,提高目标拟合三维对象模型与目标三维对象模型之间的相似度,提高目标拟合三维对象模型的准确度。
在一些实施例中,目标顶点约束项还包括目标第一顶点对应的夹角约束项,夹角约束项根据目标向量与目标法向量之间的夹角余弦值确定,目标向量的终点为目标第二顶点,目标向量的起点的位置为目标第一顶点的位置调整项对应的位置,目标法向量根据目标第一顶点对应的各个平面分别对应的平面法向量计算得到。
具体地,目标法向量可以根据目标第一顶点对应的多个平面分别对应的平面法向量的向量相加后的得到的综合法向量,例如可以目标法向量可以为综合法向量,也可以是综合法相量对应的单位向量。由于目标向量的终点为目标第二顶点,目标向量的起点的位置为目标第一顶点的位置调整项对应的位置,因此目标向量与目标法向量之间的向量夹角可以反映目标第二顶点的位置与位置调整项对应位置之间的相对关系,当向量夹角大于90度时,说明位置调整项对应的位置比目标第二顶点的位置靠外,即说明位置调整项对应的位置在目标三维对象模型的外部,当向量夹角小于90度时,说明位置调整项对应的位置在目标三维对象模型的内部。距离运算指的是计算位置之间的距离的运算,例如可以是欧式算法。
在一些实施例中,夹角约束项的结果与目标顶点约束项的结果成正相关关系。夹角约束项根据目标向量与目标法向量之间的夹角余弦值确定,当目标向量与目标法向量之间的夹角余弦值为负值时,即向量夹角大于90度时,确定夹角约束项为目标第二顶点的位置与位置调整项对应的位置进行距离运算后的结果。
在一些实施例中,当目标向量与目标法向量之间的夹角余弦值为正值时,即向量夹角小于90度时,确定夹角约束项为常数0。
在一些实施例中,当目标三维对象模型是对穿着宽松衣物的人体扫描得到的时,可能使得目标三维对象模型在目标拟合三维对象模型外侧,从而可能导致较深的衣褶穿插到目标拟合三维对象模型的内部。
在一些实施例中,目标顶点约束项还可以包括多个目标第一顶点分别对应的夹角约束项,例如目标顶点约束项还可以包括公式(9)中的Ecloth。其中,长度项表达式为
Figure BDA0002708143350000161
的结果。例如,公式(9)也可以称为衣服项约束。
Figure BDA0002708143350000162
其中,
Figure BDA0002708143350000163
上述实施例中,当目标向量与目标法向量之间的夹角余弦值为负值时,确定夹角约束项为目标第二顶点的位置与位置调整项对应的位置进行距离运算后的结果,由于夹角约束项的结果与目标顶点约束项的结果成正相关关系,因此将目标顶点约束项满足最小化约束条件时,第一位置调整参数对应的数值作为第一位置调整因子,可以尽量缩小目标第二顶点的位置与位置调整项对应的位置之间的差异,从而可以避免较深的衣褶穿插到目标拟合三维对象模型的内部。
在一些实施例中,目标顶点约束项可以包括差异项对应的统计项以及夹角约束项对应的统计项。例如目标顶点约束项可以为公式(11)中的Edata+Esmooth+Ecloth。终端设备可以利用公式(11)计算使得目标顶点约束项满足最小化约束时对应的位置调整参数,T对应各个位置调整参数。
Figure BDA0002708143350000164
在一些实施例中,如图7所示,得到初始拟合三维对象模型的步骤包括:
S702,获取标准三维对象模型以及标准三维对象模型对应的标准三维关节点集合,标准三维关节点集合包括多个标准三维关节点。
具体地,标准三维关节点集合可以包括多个标准三维关节点,标准三维关节点指的是标准三维对象模型的关节点。标准三维关节点的数量可以与目标三维关节点的数量一致,例如均为16个关节点,标准三维关节点的类型可以与目标三维关节点的类型一致,例如均为头关节点、脖子关节点、左手关节点、左肘关节点和左肩关节点。标准三维关节点集合中的各个标准三维关节点的位置是已知的。
S704,获取目标关节点约束项,目标关节点约束项包括肢体长度调整项与目标肢体长度的差异,肢体长度调整项为第一关节点调整项与第二关节点调整项的差异结果;第一关节点调整项为第一标准三维关节点的位置与形态调整参数之间运算的结果,第二关节点调整项为第二标准三维关节点的位置与形态调整参数之间运算的结果;第一标准三维关节点以及第二标准三维关节点对应目标肢体类型,目标肢体长度为目标肢体类型对应的第一目标三维关节点与对应的第二目标三维关节点之间的位置差异。
具体地,形态调整参数指的是对标准三维对象模型的形态进行调整的参数。形态调整参数可以实现对一个或者多个标准三维关节点的位置的调整,从而实现对形态的调整,例如可以调整同一肢体对应的关节点之间的位置关系,还可以调整不同肢体对应的关节点之间的位置关系。形态调整参数可以是独立的参数,也可以是包括多个不同功能的子参数,各个子参数可以是分别调整不同的关节点与同一关节点之间的距离的子参数。例如可以包括调整标准三维关节点A与标准三维关节点B之间的距离的子参数,还可以包括调整标准三维关节点A与标准三维关节点C之间的距离的子参数。通过形态调整参数可以控制人体不同部位的长度,例如控制臂长和腿长。
肢体类型可以包括左小手臂、右小手臂、左大手臂、右大手臂、左小腿、右小腿、左大腿和右大腿等,目标肢体类型可以是任意的肢体类型,例如可以是左小手臂。目标肢体类型可以有多个。第一标准三维关节点以及第二标准三维关节点为标准三维关节点集合中目标肢体类型对应的关节点。第一目标三维关节点以及第二目标三维关节点为目标三维对象模型上目标肢体类型对应的关节点。
第一目标三维关节点与第二目标三维关节点之间的位置差异(即目标肢体长度),可以是第一目标三维关节点与第二目标三维关节点之间的距离,也可以是第一目标三维关节点与第二目标三维关节点之间的距离的平方。第一关节点调整项可以是第一标准三维关节点的位置与形态调整参数之间进行线性运算或者非线性运算中的至少一种运算得到的,线性运算例如可以是加法运算和乘积运算。第二关节点调整项可以是第二标准三维关节点的位置与形态调整参数之间进行线性运算或者非线性运算中的至少一种运算得到的。每个标准三维关节点可以分别对应有关节点调整项,标准三维关节点对应的关节点调整项为该标准三维关节点的位置与形态调整参数之间运算的结果。各个标准三维关节点对应同一个形态调整参数。
第一关节点调整项与第二关节点调整项的差异结果(即肢体长度调整项),可以是对第一关节点调整项与第二关节点调整项相减得到的结果进行绝对值或者平方(例如范数平方)中的至少一种运算得到的结果。肢体长度调整项与目标肢体长度的差异,可以是对肢体长度调整项与目标肢体长度相减得到的结果进行绝对值或者平方(例如范数平方)中的至少一种运算得到的结果。肢体长度调整项与目标肢体长度的差异(记作肢体长度差异),与目标关节点约束项成正相关关系。
在一些实施例中,不同的目标肢体类型可以分别对应有肢体长度调整项以及目标肢体长度。终端设备可以计算不同的目标肢体类型分别对应的肢体长度调整项与对应的目标肢体长度的差异,得到各个目标肢体类型分别对应的肢体长度差异,根据各个目标肢体类型分别对应的肢体长度差异,得到目标关节点约束项。终端设备可以根据各个目标肢体类型分别对应的肢体长度差异的统计结果,得到目标关节点约束项。
在一些实施例中,终端设备可以通过计算各个目标肢体类型分别对应的肢体长度差异的统计值对应的最小化结果,确定形态调整因子。例如,终端设备可以利用公式(12)中的式子确定形态调整因子。其中,||J(β)i-J(β)j||2表示肢体长度调整项,
Figure BDA0002708143350000181
表示目标肢体长度,
Figure BDA0002708143350000182
表示肢体长度差异,
Figure BDA0002708143350000183
表示肢体长度差异的统计值。其中,i和j表示属于同一个肢体的两个不同的关节点。J(β)i和J(β)j对应的是标准三维对象模型中的关节点,
Figure BDA0002708143350000184
Figure BDA0002708143350000185
指的是目标三维对象模型中的关节点。公式(12)也可以称为能量方程。
Figure BDA0002708143350000186
S706,确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值,得到目标关节点调整因子。
具体地,最小化约束条件可以包括取值小于预设数值或者取值等于固定数值中的至少一种。预设数值可以根据需要进行设置,例如为0.2,固定数值可以根据需要进行设置,例如可以是0.1。当形态调整参数对应的数值发生变化时,目标关节点约束项对应的数值随之发生变化。终端设备可以确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值,作为形态调整因子。目标关节点调整因子可以是根据形态调整因子得到的,例如目标关节点调整因子可以为形态调整因子,或者目标关节点调整因子是根据形态调整因子以及其他调整因子得到的,其他调整因子例如可以是姿态调整因子。
在一些实施例中,终端设备可以将目标关节点约束项中的形态调整参数设置为具体的数值进行计算,得到计算结果,当计算结果满足最小化约束条件时,将对应的具体的数值作为形态调整因子,根据形态调整因子得到目标关节点调整因子。
S708,利用目标关节点调整因子对标准三维对象模型的关节点进行位置调整,得到初始拟合三维对象模型。
具体地,终端设备可以根据形态调整因子和姿态调整因子中的至少一个对标准三维对象模型的关节点的位置进行调整,得到初始拟合三维对象模型。其中,可以先利用形态调整因子进行调整,再利用姿态调整因子进行调整,也可以先利用姿态调整因子进行调整,再利用形态调整因子进行调整,还可以同时利用形态调整因子以及姿态调整因子进行调整。
在一些实施例中,终端设备可以将各个标准三维关节点分别对应的关节点调整项中的形态调整参数设置为形态调整因子,得到各个标准三维关节点分别对应的关节点调整值,将关节点调整值对应的位置作为标准三维关节点的更新位置,将标准三维对象模型中的各个标准三维关节点调整到对应的更新位置处,得到初始拟合三维对象模型。由于肢体长度差异与目标关节点约束项成正相关关系,目标关节点约束项的结果越小,则肢体长度差异越小,即肢体长度调整项与目标肢体长度的差异越小,则肢体长度调整项对应的肢体的长度与目标肢体长度对应的肢体长度差异越小。因此,将标准三维对象模型中的各个标准三维关节点调整到对应的更新位置处,可以使得调整后的标准三维对象模型的肢体长度与目标三维对象模型的肢体长度一致,使得初始拟合三维对象模型与目标三维对象模型的姿态一致。
上述实施例中,利用目标关节点调整因子对标准三维对象模型的关节点进行位置调整,得到初始拟合三维对象模型,使得初始拟合三维对象模型与目标三维对象模型的姿态一致,提高了初始拟合三维对象模型的准确度。
在一些实施例中,目标关节点约束项还包括第一标准三维关节点对应的第三关节点调整项,与第一目标三维关节点的位置之间的差异,第三关节点调整项为姿态调整参数以及第一关节点调整项进行运算的结果;第一目标三维关节点与第一标准三维关节点的关节点类型一致。
具体地,姿态调整参数指的是对标准三维对象模型的姿态进行调整的参数。姿态调整参数可以实现对一个或者多个标准三维关节点的位置的调整,从而可以实现对姿态的调整。第三关节点调整项可以是姿态调整参数与第一关节点调整项进行线性运算或者非线性运算中的至少一种运算得到的结果,例如可以是姿态调整参数与第一关节点调整项相乘之后的结果。第一目标三维关节点与第一标准三维关节点的关节点类型一致指的是两者为相同类型的关节点,例如第一目标三维关节点与第一标准三维关节点均为左手关节点。第三关节点调整项与第一目标三维关节点的位置之间的差异,可以是对第三关节点调整项与第一目标三维关节点的位置相减后的结果进行绝对值、平方或者范数等中的只少一种计算得到的结果。
在一些实施例中,终端设备可以计算目标关节点类型对应的第一标准三维关节点对应的第三关节点调整项,与第一目标三维关节点的位置之间的差异(记作关节点位置差异),得到目标关节点类型对应的关节点位置差异,根据各个目标关节点类型分别对应的关节点位置差异的统计结果,得到目标关节点约束项,即目标关节点约束项可以包括不同关节点类型分别对应的关节点位置差异的统计结果。目标关节点约束项与关节点位置差异之间成正相关关系。其中,目标关节点类型可以是根据需要确定的,也可以是任意的关节点类型。例如,终端设备可以根据公式(13)确定形态调整参数对应的数值以及姿态调整参数对应的数值,得到目标关节点调整因子。其中,R(θ)为姿态调整因子对应的旋转平移矩阵。
Figure BDA0002708143350000211
在一些实施例中,终端设备可以根据各个目标关节点类型分别对应的关节点位置差异的统计结果,以及各个目标肢体类型分别对应的肢体长度差异的统计结果,得到目标关节点约束项。
在一些实施例中,步骤S706确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值,得到目标关节点调整因子包括:确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值以及姿态调整参数对应的数值,得到目标关节点调整因子。
具体地,终端设备可以确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值,记作形态调整因子,以及姿态调整参数对应的数值,记作姿态调整因子,将形态调整因子以及姿态调整因子作为目标关节点调整因子。由于目标关节点约束项与关节点位置差异之间成正相关关系,因此确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值以及姿态调整参数对应的数值,可以使得得到关节点位置差异以及肢体长度差异两者整体满足最小化的目标关节点调整因子,从而能够得到使得初始拟合三维对象模型的肢体长度与目标三维对象模型的肢体长度相同的形态调整因子,以及使得初始拟合三维对象模型与目标三维对象模型之间同类型的关节点的位置尽量一致的姿态调整因子,即得到能够使得初始拟合三维对象模型与目标三维对象模型的姿态和形态保持一致的目标关节点调整因子。
在一些实施例中,终端设备可以根据得到的形态调整因子对标准三维对象模型进行形态调整,再通过姿态调整因子对形态调整后的三维对象模型进行姿态调整,得到目标关节点调整因子调整后的三维对象模型(记作初配三维对象模型),根据初配三维对象模型得到目标三维对象模型对应的初始拟合三维对象模型。具体地,终端设备可以将第三关节点调整项中的姿态调整参数设置为姿态调整因子,将其中的形态调参数设置为形态调整因子,得到第三关节点调整项对应的结果,将标准三维对象模型中对应关节点调整到第三关节点调整项对应的结果所代表为位置处,得到初始拟合三维对象模型。
上述实施例中,确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值以及姿态调整参数对应的数值,可以得到使得关节点位置差异以及肢体长度差异两者整体满足最小化的目标关节点调整因子,即能够得到使得初始拟合三维对象模型与目标三维对象模型的姿态和形态保持一致的目标关节点调整因子。
应该理解的是,虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述各实施例的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中,如图8所示,提供了一种基于三维点云的人体参数化模型自动变形装置,包括:初始拟合三维对象模型获取模块802、目标第一顶点获取模块804、目标顶点约束项获取模块806、第一位置调整因子得到模块808和目标拟合三维对象模型得到模块810,其中:
初始拟合三维对象模型获取模块802,用于获取目标三维对象模型对应的初始拟合三维对象模型,初始拟合三维对象模型是根据目标三维对象模型对应的三维关节点拟合得到;初始拟合三维对象模型对应有第一顶点集合,目标三维对象模型对应有第二顶点集合。
目标第一顶点获取模块804,用于从第一顶点集合中,获取与第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点。
目标顶点约束项获取模块806,用于获取目标顶点约束项,目标顶点约束项包括目标第一顶点对应的位置调整项,与目标第二顶点的位置之间的差异,位置调整项为目标第一顶点对应的第一位置调整参数与目标第一顶点的位置之间运算的结果。
第一位置调整因子得到模块808,用于确定目标顶点约束项满足最小化约束条件时,第一位置调整参数对应的数值,得到目标第一顶点对应的第一位置调整因子。
目标拟合三维对象模型得到模块810,用于利用第一位置调整因子调整对应的目标第一顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型。
在一些实施例中,目标顶点约束项还包括第一位置调整参数以及第二位置调整参数构成的差异项,第二位置调整参数为第一关联顶点对应的位置调整参数,第一关联顶点为与目标第一顶点具有连接关系的第一顶点;该装置还包括:第二位置调整因子得到模块,用于确定目标顶点约束项满足最小化约束条件时,第二位置调整参数对应的数值,得到第一关联顶点对应的第二位置调整因子;目标拟合三维对象模型得到模块810,还用于利用第一位置调整因子调整对应的目标第一顶点的位置,并且利用第二位置调整因子调整第一关联顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型。
在一些实施例中,目标顶点约束项还包括第二位置调整参数以及第三位置调整参数构成的差异项,第三位置调整参数为第二关联顶点对应的位置调整参数,第二关联顶点为与第一关联顶点具有连接关系的第一顶点;该装置还包括:第三位置调整因子确定模块,用于确定使得目标顶点约束项满足最小化约束条件时,第三位置调整参数对应的数值,得到第二关联顶点对应的第三位置调整因子;目标拟合三维对象模型得到模块810,还用于利用第一位置调整因子调整对应的目标第一顶点的位置,利用第二位置调整因子调整第一关联顶点的位置,并且利用第三位置调整因子调整第二关联顶点的位置,得到目标三维对象模型对应的目标拟合三维对象模型。
在一些实施例中,该装置还包括:夹角约束项确定模块,用于当目标向量与目标法向量之间的夹角余弦值为负值时,确定夹角约束项为目标第二顶点的位置与位置调整项对应的位置进行距离运算后的结果。
在一些实施例中,该装置还包括初始拟合三维对象模型得到模块,初始拟合三维对象模型得到模块包括:
标准三维关节点集合获取单元,用于获取标准三维对象模型以及标准三维对象模型对应的标准三维关节点集合。标准三维关节点集合包括多个标准三维关节点。
目标关节点约束项获取单元,用于获取目标关节点约束项,目标关节点约束项包括肢体长度调整项与目标肢体长度的差异,肢体长度调整项为第一关节点调整项与第二关节点调整项的差异结果。第一关节点调整项为第一标准三维关节点的位置与形态调整参数之间运算的结果,第二关节点调整项为第二标准三维关节点的位置与形态调整参数之间运算的结果。第一标准三维关节点以及第二标准三维关节点对应目标肢体类型,目标肢体长度为目标肢体类型对应的第一目标三维关节点与对应的第二目标三维关节点之间的位置差异。
目标关节点调整因子得到单元,用于确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值,得到目标关节点调整因子。
初始拟合三维对象模型得到单元,用于利用目标关节点调整因子对标准三维对象模型的关节点进行位置调整,得到初始拟合三维对象模型。
在一些实施例中,目标关节点调整因子得到单元,还用于确定目标关节点约束项满足最小化约束条件时,形态调整参数对应的数值以及姿态调整参数对应的数值,得到目标关节点调整因子。
关于基于三维点云的人体参数化模型自动变形装置的具体限定可以参见上文中对于基于三维点云的人体参数化模型自动变形方法的限定,在此不再赘述。上述基于三维点云的人体参数化模型自动变形装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于三维点云的人体参数化模型自动变形方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述基于三维点云的人体参数化模型自动变形方法的步骤。
在一些实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述基于三维点云的人体参数化模型自动变形方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于三维点云的人体参数化模型自动变形方法,其特征在于,所述方法包括:
获取目标三维对象模型对应的初始拟合三维对象模型,所述初始拟合三维对象模型是根据所述目标三维对象模型对应的三维关节点拟合得到;所述初始拟合三维对象模型对应有第一顶点集合,所述目标三维对象模型对应有第二顶点集合;
从所述第一顶点集合中,获取与所述第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点;
获取目标顶点约束项,所述目标顶点约束项包括所述目标第一顶点对应的位置调整项,与所述目标第二顶点的位置之间的差异,所述位置调整项为所述目标第一顶点对应的第一位置调整参数与所述目标第一顶点的位置之间运算的结果;
确定所述目标顶点约束项满足最小化约束条件时,所述第一位置调整参数对应的数值,得到所述目标第一顶点对应的第一位置调整因子;
利用所述第一位置调整因子调整对应的目标第一顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型。
2.根据权利要求1所述的方法,其特征在于,所述目标顶点约束项还包括所述第一位置调整参数以及第二位置调整参数构成的差异项,所述第二位置调整参数为第一关联顶点对应的位置调整参数,所述第一关联顶点为与所述目标第一顶点具有连接关系的第一顶点;
所述方法还包括:
确定所述目标顶点约束项满足所述最小化约束条件时,所述第二位置调整参数对应的数值,得到所述第一关联顶点对应的第二位置调整因子;
所述利用所述第一位置调整因子调整对应的目标第一顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型包括:
利用所述第一位置调整因子调整对应的目标第一顶点的位置,并且利用所述第二位置调整因子调整所述第一关联顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型。
3.根据权利要求2所述的方法,其特征在于,所述目标顶点约束项还包括所述第二位置调整参数以及第三位置调整参数构成的差异项,所述第三位置调整参数为第二关联顶点对应的位置调整参数,所述第二关联顶点为与所述第一关联顶点具有连接关系的第一顶点;
所述方法还包括:
确定使得所述目标顶点约束项满足所述最小化约束条件时,所述第三位置调整参数对应的数值,得到所述第二关联顶点对应的第三位置调整因子;
所述利用所述第一位置调整因子调整对应的目标第一顶点的位置,并且利用所述第二位置调整因子调整所述第一关联顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型包括:
利用所述第一位置调整因子调整对应的目标第一顶点的位置,利用所述第二位置调整因子调整所述第一关联顶点的位置,并且利用所述第三位置调整因子调整所述第二关联顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型。
4.根据权利要求1所述的方法,其特征在于,所述目标顶点约束项还包括目标第一顶点对应的夹角约束项,所述夹角约束项根据目标向量与目标法向量之间的夹角余弦值确定,所述目标向量的终点为所述目标第二顶点,所述目标向量的起点的位置为所述目标第一顶点的位置调整项对应的位置,所述目标法向量根据所述目标第一顶点对应的各个平面分别对应的平面法向量计算得到。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当所述目标向量与所述目标法向量之间的夹角余弦值为负值时,确定所述夹角约束项为所述目标第二顶点的位置与所述位置调整项对应的位置进行距离运算后的结果。
6.根据权利要求1所述的方法,其特征在于,得到所述初始拟合三维对象模型的步骤包括:
获取标准三维对象模型以及所述标准三维对象模型对应的标准三维关节点集合;所述标准三维关节点集合包括多个标准三维关节点;
获取目标关节点约束项,所述目标关节点约束项包括肢体长度调整项与目标肢体长度的差异,所述肢体长度调整项为第一关节点调整项与第二关节点调整项的差异结果;所述第一关节点调整项为第一标准三维关节点的位置与形态调整参数之间运算的结果,所述第二关节点调整项为第二标准三维关节点的位置与所述形态调整参数之间运算的结果;所述第一标准三维关节点以及所述第二标准三维关节点对应目标肢体类型,所述目标肢体长度为所述目标肢体类型对应的第一目标三维关节点与对应的第二目标三维关节点之间的位置差异;
确定所述目标关节点约束项满足最小化约束条件时,所述形态调整参数对应的数值,得到目标关节点调整因子;
利用所述目标关节点调整因子对所述标准三维对象模型的关节点进行位置调整,得到所述初始拟合三维对象模型。
7.根据权利要求6所述的方法,其特征在于,所述目标关节点约束项还包括所述第一标准三维关节点对应的第三关节点调整项,与所述第一目标三维关节点的位置之间的差异,所述第三关节点调整项为姿态调整参数以及所述第一关节点调整项进行运算的结果;所述第一目标三维关节点与所述第一标准三维关节点的关节点类型一致;
所述确定所述目标关节点约束项满足最小化约束条件时,所述形态调整参数对应的数值,得到目标关节点调整因子包括:
确定所述目标关节点约束项满足最小化约束条件时,所述形态调整参数对应的数值以及所述姿态调整参数对应的数值,得到所述目标关节点调整因子。
8.一种基于三维点云的人体参数化模型自动变形装置,其特征在于,所述装置包括:
初始拟合三维对象模型获取模块,用于获取目标三维对象模型对应的初始拟合三维对象模型,所述初始拟合三维对象模型是根据所述目标三维对象模型对应的三维关节点拟合得到;所述初始拟合三维对象模型对应有第一顶点集合,所述目标三维对象模型对应有第二顶点集合;
目标第一顶点获取模块,用于从所述第一顶点集合中,获取与所述第二顶点集合中的目标第二顶点具有位置对应关系的目标第一顶点;
目标顶点约束项获取模块,用于获取目标顶点约束项,所述目标顶点约束项包括所述目标第一顶点对应的位置调整项,与所述目标第二顶点的位置之间的差异,所述位置调整项为所述目标第一顶点对应的第一位置调整参数与所述目标第一顶点的位置之间运算的结果;
第一位置调整因子得到模块,用于确定所述目标顶点约束项满足最小化约束条件时,所述第一位置调整参数对应的数值,得到所述目标第一顶点对应的第一位置调整因子;
目标拟合三维对象模型得到模块,用于利用所述第一位置调整因子调整对应的目标第一顶点的位置,得到所述目标三维对象模型对应的目标拟合三维对象模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011046411.6A 2020-09-29 2020-09-29 基于三维点云的人体参数化模型自动变形方法和装置 Pending CN112233223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011046411.6A CN112233223A (zh) 2020-09-29 2020-09-29 基于三维点云的人体参数化模型自动变形方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011046411.6A CN112233223A (zh) 2020-09-29 2020-09-29 基于三维点云的人体参数化模型自动变形方法和装置

Publications (1)

Publication Number Publication Date
CN112233223A true CN112233223A (zh) 2021-01-15

Family

ID=74119395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046411.6A Pending CN112233223A (zh) 2020-09-29 2020-09-29 基于三维点云的人体参数化模型自动变形方法和装置

Country Status (1)

Country Link
CN (1) CN112233223A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012297A (zh) * 2021-04-22 2021-06-22 中国科学院深圳先进技术研究院 一种相似度估计方法及其应用
JP7117412B1 (ja) 2021-03-17 2022-08-12 ソフトバンク株式会社 データ処理装置、プログラム、及びデータ処理方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710611A (zh) * 2005-07-14 2005-12-21 中国科学院计算技术研究所 一种基于优化思想的人体姿态变形方法
CN102831638A (zh) * 2012-07-06 2012-12-19 南京大学 一种采用手绘草图的三维人体多姿态建模方法
CN103714221A (zh) * 2014-01-08 2014-04-09 上海明穆电子科技有限公司 一种利用人体形态参数调整三维人体的变形方法
CN104680582A (zh) * 2015-03-24 2015-06-03 中国人民解放军国防科学技术大学 一种面向对象定制的三维人体模型创建方法
CN108053437A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于体态的三维模型获取方法及装置
CN108629831A (zh) * 2018-04-10 2018-10-09 清华大学 基于参数化人体模板和惯性测量的三维人体重建方法及系统
CN108665537A (zh) * 2018-05-15 2018-10-16 清华大学 联合优化人体体态与外观模型的三维重建方法及系统
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN109712234A (zh) * 2018-12-29 2019-05-03 北京卡路里信息技术有限公司 三维人体模型的生成方法、装置、设备和存储介质
CN110675507A (zh) * 2019-08-27 2020-01-10 腾讯科技(深圳)有限公司 一种三维模型处理方法、装置和存储介质
CN110766781A (zh) * 2018-07-25 2020-02-07 真玫智能科技(深圳)有限公司 一种人模处理方法及装置
CN111179418A (zh) * 2019-12-31 2020-05-19 中国人民解放军陆军工程大学 一种无需用户裸体的三维人体测量方法和装置
CN111354090A (zh) * 2020-03-06 2020-06-30 贝壳技术有限公司 一种自识别的三维点云模型孔洞修补方法及装置
CN111598998A (zh) * 2020-05-13 2020-08-28 腾讯科技(深圳)有限公司 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN111652974A (zh) * 2020-06-15 2020-09-11 腾讯科技(深圳)有限公司 三维人脸模型的构建方法、装置、设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710611A (zh) * 2005-07-14 2005-12-21 中国科学院计算技术研究所 一种基于优化思想的人体姿态变形方法
CN102831638A (zh) * 2012-07-06 2012-12-19 南京大学 一种采用手绘草图的三维人体多姿态建模方法
CN103714221A (zh) * 2014-01-08 2014-04-09 上海明穆电子科技有限公司 一种利用人体形态参数调整三维人体的变形方法
CN104680582A (zh) * 2015-03-24 2015-06-03 中国人民解放军国防科学技术大学 一种面向对象定制的三维人体模型创建方法
CN108053437A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于体态的三维模型获取方法及装置
CN108629831A (zh) * 2018-04-10 2018-10-09 清华大学 基于参数化人体模板和惯性测量的三维人体重建方法及系统
CN108665537A (zh) * 2018-05-15 2018-10-16 清华大学 联合优化人体体态与外观模型的三维重建方法及系统
CN110766781A (zh) * 2018-07-25 2020-02-07 真玫智能科技(深圳)有限公司 一种人模处理方法及装置
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN109712234A (zh) * 2018-12-29 2019-05-03 北京卡路里信息技术有限公司 三维人体模型的生成方法、装置、设备和存储介质
CN110675507A (zh) * 2019-08-27 2020-01-10 腾讯科技(深圳)有限公司 一种三维模型处理方法、装置和存储介质
CN111179418A (zh) * 2019-12-31 2020-05-19 中国人民解放军陆军工程大学 一种无需用户裸体的三维人体测量方法和装置
CN111354090A (zh) * 2020-03-06 2020-06-30 贝壳技术有限公司 一种自识别的三维点云模型孔洞修补方法及装置
CN111598998A (zh) * 2020-05-13 2020-08-28 腾讯科技(深圳)有限公司 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN111652974A (zh) * 2020-06-15 2020-09-11 腾讯科技(深圳)有限公司 三维人脸模型的构建方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
袁仁奇 等: "基于Kinect的人体模板化三维模型拟合重建", 丝绸, vol. 54, no. 10, 31 October 2017 (2017-10-31), pages 1 - 2 *
袁仁奇;徐增波;: "基于Kinect的人体模板化三维模型拟合重建", 丝绸, no. 10, 20 October 2017 (2017-10-20) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7117412B1 (ja) 2021-03-17 2022-08-12 ソフトバンク株式会社 データ処理装置、プログラム、及びデータ処理方法
WO2022196514A1 (ja) * 2021-03-17 2022-09-22 ソフトバンク株式会社 データ処理装置、プログラム、及びデータ処理方法
JP2022143060A (ja) * 2021-03-17 2022-10-03 ソフトバンク株式会社 データ処理装置、プログラム、及びデータ処理方法
CN113012297A (zh) * 2021-04-22 2021-06-22 中国科学院深圳先进技术研究院 一种相似度估计方法及其应用
CN113012297B (zh) * 2021-04-22 2023-06-13 中国科学院深圳先进技术研究院 一种相似度估计方法及其应用

Similar Documents

Publication Publication Date Title
US11302064B2 (en) Method and apparatus for reconstructing three-dimensional model of human body, and storage medium
CN111968235B (zh) 一种物体姿态估计方法、装置、系统和计算机设备
CN107111833B (zh) 快速3d模型适配和人体测量
Baek et al. Parametric human body shape modeling framework for human-centered product design
Wuhrer et al. Estimating 3D human shapes from measurements
US10813715B1 (en) Single image mobile device human body scanning and 3D model creation and analysis
CN112233222A (zh) 基于神经网络关节点估计的人体参数化三维模型变形方法
CN107590708B (zh) 一种生成用户特定体形模型的方法和装置
Li et al. Robust non-rigid registration with reweighted position and transformation sparsity
US11315313B2 (en) Methods, devices and computer program products for generating 3D models
CN114155376A (zh) 目标特征点提取方法、装置、计算机设备和存储介质
CN112233223A (zh) 基于三维点云的人体参数化模型自动变形方法和装置
CN112749512B (zh) 手势估计优化的方法、系统和电子装置
Tajdari et al. Feature preserving non-rigid iterative weighted closest point and semi-curvature registration
CN116580151A (zh) 人体三维模型构建方法、电子设备及存储介质
CN111815768A (zh) 三维人脸重建方法和装置
WO2019234293A1 (en) Measuring surface distances on human bodies
CN116433812B (zh) 利用2d人脸图片生成虚拟人物的方法和装置
Ivins et al. Constrained active region models for fast tracking in color image sequences
Garcia-D’Urso et al. Accurate estimation of parametric models of the human body from 3D point clouds
CN116206026B (zh) 轨迹信息处理方法、装置、计算机设备和可读存储介质
Yakushiji et al. Shape space estimation by higher-rank of SOM
CN116912433B (zh) 三维模型骨骼绑定方法、装置、设备及存储介质
KR102668161B1 (ko) 미세한 주름을 갖는 얼굴 메시 변형
CN115049767B (zh) 动画编辑方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination