CN110363833A - 一种基于局部稀疏表示的完全人体运动参数化表示方法 - Google Patents

一种基于局部稀疏表示的完全人体运动参数化表示方法 Download PDF

Info

Publication number
CN110363833A
CN110363833A CN201910499437.7A CN201910499437A CN110363833A CN 110363833 A CN110363833 A CN 110363833A CN 201910499437 A CN201910499437 A CN 201910499437A CN 110363833 A CN110363833 A CN 110363833A
Authority
CN
China
Prior art keywords
human body
side length
posture
indicate
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910499437.7A
Other languages
English (en)
Other versions
CN110363833B (zh
Inventor
李桂清
谢佰洪
王宇攀
邹歆仪
聂勇伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910499437.7A priority Critical patent/CN110363833B/zh
Publication of CN110363833A publication Critical patent/CN110363833A/zh
Application granted granted Critical
Publication of CN110363833B publication Critical patent/CN110363833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部稀疏表示的完全人体运动参数化表示方法,包括步骤:1)获取相对边长和二面角及其重构,即RLA及其重构;2)参数模型训练数据库合成;3)基于人体形状主成分分析PCA基进行形状参数提取;4)使用稀疏局部分解的方法提取出局部基;5)利用局部基表示不同身体部位的运动得到参数模型;6)对参数模型进行回归修正。本发明能够用统一的框架来描述身体姿态,脸部表情和手势的形状和动作变化,不仅可以捕获高质量的全身姿势,而且还能在关节扭转和复杂的手姿态恢复姿势时表现出优于现有技术的参数化人体模型。

Description

一种基于局部稀疏表示的完全人体运动参数化表示方法
技术领域
本发明涉及计算机图形学和计算机动画的技术领域,尤其是指一种基于局部稀疏表示的完全人体运动参数化表示方法。
背景技术
重构完全人体动态几何的问题仍是开放性问题,由于不同部位运动的尺度不同,建立完全人体参数化模型并未引起注意,相关文献较少。大部分现有的参数化表示仅针对身体、脸部、手部运动中的一种。到目前为止,Joo等提出的Frankenstein模型是第一个尝试同时捕获人体的完全运动包括身体姿态、脸部表情和手势的动态几何的完全人体模型。但是,由于Frankenstein模型包含三个单独模型分别捕获身体姿态、脸部表情和手势,并不是一个统一的参数化模型。另一方面,目前最流行的用于单一任务的方法还存在各种各样的问题。例如,进行扭转运动时,SCAPE模型生成的结果关节处会出现严重塌陷,SMPL参数化方法也避免不了严重的关节扭曲问题。
综上分析,现有的人体参数化方法主要缺点有:(1)大部分现有的参数化方法都是只关注身体姿态,脸部表情和手势姿态中的一种;(2)现有的同时捕获人体的完全运动包括身体姿态,脸部表情和手势的方法只是包含三个单独模型分别捕获身体姿态、脸部表情和手势,并不是一个统一的参数化模型;(3)目前最流行的用于单一任务的方法还存在各种各样的问题,比如会关节处会出现严重扭曲或塌陷等问题。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于局部稀疏表示的完全人体运动参数化表示方法,建立了身体姿态、脸部表情和手势姿态的统一表示的全新的完全人体模型,可以用统一的框架来描述身体姿态,脸部表情和手势的形状和动作变化,不仅可以捕获高质量的全身姿势,而且还能在关节扭转和复杂的手姿态恢复姿势时表现出优于现有技术的模型。
为实现上述目的,本发明所提供的技术方案为:一种基于局部稀疏表示的完全人体运动参数化表示方法,包括以下步骤:
1)获取相对边长和二面角及其重构,即RLA及其重构;
2)参数模型训练数据库合成;
3)基于人体形状主成分分析PCA基进行形状参数提取;
4)使用稀疏局部分解的方法提取出局部基;
5)利用局部基表示不同身体部位的运动得到参数模型;
6)对参数模型进行回归修正。
在步骤1)中,获取相对边长和二面角以及其重构,包括如下步骤:
1.1)提取出相对边长与二面角
令M0=(V0,E,F)为参考三角网格,其中V0,E,F分别为顶点、边、面的集合,而M=(V,E,F)为由M0变形得到的网格,M0和M具有相同的顶点数NMV和相同的边集合E与面集合F。
将所有边的相对边长二面角记为由公式计算,其中a0(e)表示参考网格M0中边e的二面角,a(e)表示变形网格M中边e的二面角。所有边的相对边长二面角按边的编号顺序排成一列向量记为XA(V0,V),其中V0为参考网络顶点的集合,V为变形网络顶点的集合。所有边的边长记为由公式计算,其中l(e)表示变形网格M中边e的边长,l0(e)表示参考网格M0中边e的边长。所有边的边长按边的编号顺序排成一列向量记为XL(V0,V),其中V0为参考网络顶点的集合,V为变形网络顶点的集合。我们称XA(V0,V)和XL(V0,V)为M相对于M0的相对边长与二面角RLA向量,两个向量均为|E|维,其中|E|是网格边的条数;
1.2)相对边长和二面角的形状重构
已知网格模型的相对边长和二面角向量,重构三维网格模型包含以下步骤:
1.2.1)计算网格M的LA向量:
1.2.2)从LA向量计算各边的连接映射:
如果三角形t1和t2包含边e,则e的连接映射QE是一个3×3的矩阵,并且满足条件R2=QER1,其中R1和R2分别是三角形t1和t2的正交标架;
1.2.3)估计各个三角形的局部标架:
三角形t的正交标架R=[u,v,n]为3×3矩阵,u是t的第一条边的单位列向量,n是三角形的单位外法向量,v=n×u;
1.2.4)重构网格顶点位置。
在步骤2)中,利用多个数据库合成包含三类运动的人体几何数据库,再利用合成数据来进行参数化模型的训练,训练数据由如下4个数据子集构成:
形状子数据集 表示数据库中第i个标准人体,NI表示形状子数据集包含的不同人体个数;
身体姿态数据集 表示数据库中第i个标准人体伴随第j个姿态,NMB表示身体姿态数据集中每个人体包含的姿态数;
脸部表情数据集 表示数据库中第i个标准人体伴随第j个姿态和u个脸部表情,NMF表示脸部表情数据集中每个人体包含的表情数;
手势数据集 表示数据库中第i个标准人体伴随第j个姿态、u个脸部表情和第v个手势,NMH表示手势数据集中每个人体包含的手势数。
在步骤3)中,基于人体形状主成分分析PCA基进行形状参数提取,具体如下:
对步骤2)中的形状子数据集进行PCA分析,NI表示形状子数据集包含的不同人体个数,得到一组正交基称为形状基,基的总数为NSB个,其中每个基的维数是3NMV;设是由NSB个PCA形状基构成的矩阵,为这些人体的平均形状;任意特定人体的标准姿态通过混合形状基得到,即其中为该特定人体的形状参数列向量,上标T表示矩阵转置。
在步骤4)中,使用稀疏局部分解的方法提取出局部基,具体如下:
对所有相对二面角列向量构成的集合进行稀疏局部化分解,其中表示第i个个体的第j个姿态网格的相对二面角,表示数据库中第i个标准人体,表示数据库中第i个标准人体伴随第j个姿态,由此得到具有NMC个局部运动基的矩阵MA,NMC为预定义的基提取个数;对相对边长向量集进行类似的处理,其中表示第i个个体的第j个姿态网格的边长,表示数据库中第i个标准人体,表示数据库中第i个标准人体伴随第j个姿态,由此提取出相同个数的稀疏局部化基ML
在步骤5)中,利用局部基表示不同身体部位的运动得到参数模型,即是基于稀疏局部化分解的姿态、表情、手势参数化,具体如下:
给定混合系数向量其中βA对应为相对二面角的稀疏局部化基MA的系数向量,βL对应为边长的稀疏局部化基ML的系数向量,分别为稀疏局部化基矩阵MA和ML的第i个维度的值,NMC为稀疏局部化基矩阵MA和ML的维度个数,由此得到特定个体形状BS(α)的任意姿态BP(α,β)的RLA向量:
其中,MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,BS(α)0为该人体的形状,BP(α,β)为对应的姿态,XA(BS(α)0,BP(α,β))和XL(BS(α)0,BP(α,β))分别表示特定个体形状的在对应姿态下的相对边长二面角向量和边长向量,然后通过步骤1)中的重构得到相应的姿态:
BP(α,β)=g(MAβA,MLβL,BS(α),HV,HF)
其中,g为姿态重构函数,MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,HV表示锚定点位置的集合,HF表示锚定三角形标架位置的集合。
在步骤6)中,利用基于多层次感知机MLP的运动补偿对参数模型进行回归修正,如下:
为提高表达精度,引入一个依赖于形状参数α和运动参数β的修正项,具体是利用多层感知机MLP来对RLA残差与形状参数α和运动参数β的关系进行回归分析:
记MLP网络的输出为R(α,β)=[RA(α,β),RL(α,β)]T,其中形状参数α和运动参数β作为网络的输入,R(α,β)为MLP网络的输出,由该网格相对边长二面角的残差RA(α,β)和边长的残差RL(α,β)组成。于是RLA向量更新为XA(α,β)=MAβA+RA(α,β)和XL(α,β)=MLβL+RL(α,β),其中MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,RL(α,β)和RA(α,β)分别为网格相对边长二面角的残差和边长的残差。
因而个体姿态函数BP(α,β)更新为BP(α,β)=g(XA(α,β),XL(α,β),BS(α),HV,HF),其中HV表示锚定点位置的集合,HF表示锚定三角形标架位置的集合,XA(α,β)和XL(α,β)的值由上文介绍的式子计算,BS(α)特定个体的形状参数。
本发明与现有技术相比,具有如下优点与有益效果:
1、本发明能够表示完全人体运动的动态几何,利用稀疏局部基去表示身体姿态、脸部表情、手势运动。
2、本发明提出通过训练一个多层感知机MLP改进参数化模型的重构精度。
3、本发明从身体姿态数据库、脸部表情数据库和手部数据库中合成了训练数据集,并实际表明该数据集能够有效用于人体参数化模型训练,使该模型能够表达复杂运动。
4、本发明可以表达全尺度的人体运动,并且在生成大尺度扭转姿态和非常规手势时比其它参数化模型(例如SMPL模型及其拓展模型)产生的几何形状更自然。
附图说明
图1为训练数据集的示例图;其中,第1排展示5个男性和5个女性的标准姿态;第2排展示不同个体的不同姿态;第3排展示同一人体的不同人脸表情;第4排展示同一人体的不同手势。
图2为残差的MPL网络图。
图3为捕捉人体姿态、面部表情和手势的示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本实施例所提供的基于局部稀疏表示的完全人体运动参数化表示方法,包括以下步骤:
1)获取相对边长和二面角及其重构,即RLA及其重构,包括如下步骤:
1.1)提取出相对边长与二面角
令M0=(V0,E,F)为参考三角网格,其中V0,E,F分别为顶点、边、面的集合,而M=(V,E,F)为由M0变形得到的网格,M0和M具有相同的顶点数NMV和相同的边集合E与面集合F。
将所有边的相对边长二面角记为由公式计算,其中a0(e)表示参考网格M0中边e的二面角,a(e)表示变形网格M中边e的二面角。所有边的相对边长二面角按边的编号顺序排成一列向量记为XA(V0,V),其中V0为参考网络顶点的集合,V为变形网络顶点的集合。所有边的边长记为由公式计算,其中l(e)表示变形网格M中边e的边长,l0(e)表示参考网格M0中边e的边长。所有边的边长按边的编号顺序排成一列向量记为XL(V0,V),其中V0为参考网络顶点的集合,V为变形网络顶点的集合。我们称XA(V0,V)和XL(V0,V)为M相对于M0的相对边长与二面角RLA向量,两个向量均为|E|维,其中|E|是网格边的条数;
1.2)相对边长和二面角的形状重构
已知网格模型的相对边长和二面角向量,重构三维网格模型包含以下步骤:
1.2.1)计算网格M的LA向量:
1.2.2)从LA向量计算各边的连接映射:
如果三角形t1和t2包含边e,则e的连接映射QE是一个3×3的矩阵,并且满足条件R2=QER1,其中R1和R2分别是三角形t1和t2的正交标架;
1.2.3)估计各个三角形的局部标架:
三角形t的正交标架R=[u,v,n]为3×3矩阵,u是t的第一条边的单位列向量,n是三角形的单位外法向量,v=n×u;
1.2.4)重构网格顶点位置。
2)参数模型训练数据库合成
目前为止,还没有一个能同时训练身体、脸部、手部运动的人体数据库,然而关于三个部位中某一部运动的数据则比较充足。因此,我们考虑利用多个数据库合成包含三类运动的人体几何数据库,再利用合成数据来进行参数化模型的训练,如图1所示,训练数据由如下4个数据子集构成:
形状子数据集 表示数据库中第i个标准人体,NI表示形状子数据集包含的不同人体个数;
身体姿态数据集 表示数据库中第i个标准人体伴随第j个姿态,NMB表示身体姿态数据集中每个人体包含的姿态数;
脸部表情数据集 表示数据库中第i个标准人体伴随第j个姿态和u个脸部表情,NMF表示脸部表情数据集中每个人体包含的表情数;
手势数据集 表示数据库中第i个标准人体伴随第j个姿态、u个脸部表情和第v个手势,NMH表示手势数据集中每个人体包含的手势数。
3)基于人体形状主成分分析PCA基进行形状参数提取
对步骤2)中的形状子数据集进行PCA分析,NI表示形状子数据集包含的不同人体个数,得到一组正交基称为形状基,基的总数为NSB个,其中每个基的维数是3NMV;设是由NSB个PCA形状基构成的矩阵,为这些人体的平均形状;任意特定人体的标准姿态通过混合形状基得到,即其中为该特定人体的形状参数列向量,上标T表示矩阵转置。
为了获取形状基S,首先计算平均的标准姿态的形状然后对个体残差矩阵的协方差矩阵DTD进行特征分解,按照特征值的大小进行降序得到NSB个形状基在实现过程中,我们选取了10个形状基,即NSB=10。
4)使用稀疏局部分解的方法提取出局部基
对所有相对二面角列向量构成的集合进行稀疏局部化分解,其中表示第i个个体的第j个姿态网格的相对二面角,表示数据库中第i个标准人体,表示数据库中第i个标准人体伴随第j个姿态,由此得到具有NMC个局部运动基的矩阵MA,NMC为预定义的基提取个数;对相对边长向量集进行类似的处理,其中表示第i个个体的第j个姿态网格的边长,表示数据库中第i个标准人体,表示数据库中第i个标准人体伴随第j个姿态,由此提取出相同个数的稀疏局部化基ML
由于稀疏局部化分析得到的基具有局部性,我们可以对身体姿态子数据集、脸部表情子数据集和手势子数据集分别做稀疏局部分解得到表示身体运动、脸部表情和手势的局部基。与形状PCA不同,这里是分别对模型数据RLA向量的两个分量进行稀疏局部分解。对每个类型的子数据集的处理方法是一样的。首先,计算每帧的运动网格与其特定形状的参考网格之间的相对边长和二面角向量,组成相对边长矩阵和相对二面角矩阵;然后分别对两个矩阵进行自适应稀疏局部分解得到稀疏局部化基;在实现过程中,从这三类数据提取的基的个数分别为NMB=200,NMF=100,NMH=50,因而总共包含NMC=350个基。我们通过实验检测发现,每个性别的NMB=200个局部基共包含约23|E|个非0元素。为了观察用这些基重构训练身体姿态数据集的RLA向量的误差,以及这些基的表达能力,我们分析了拟合误差与基的个数之间的关系,得出实验结果是400个基能够得到好的拟合结果。
5)利用局部基表示不同身体部位的运动得到参数模型,即是基于稀疏局部化分解的姿态、表情、手势参数化,具体如下:
给定混合系数向量其中βA对应为相对二面角的稀疏局部化基MA的系数向量,βL对应为边长的稀疏局部化基ML的系数向量,分别为稀疏局部化基矩阵MA和ML的第i个维度的值,NMC为稀疏局部化基矩阵MA和ML的维度个数,由此得到特定个体形状BS(α)的任意姿态BP(α,β)的RLA向量:
其中,MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,BS(α)0为该人体的形状,BP(α,β)为对应的姿态,XA(BS(α)0,BP(α,β))和XL(BS(α)0,BP(α,β))分别表示特定个体形状的在对应姿态下的相对边长二面角向量和边长向量,然后通过步骤1)中的重构得到相应的姿态:
BP(α,β)=g(MAβA,MLβL,BS(α),HV,HF)
其中,g为姿态重构函数,MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,HV表示锚定点位置的集合,HF表示锚定三角形标架位置的集合。
6)利用基于多层次感知机MLP的运动补偿对参数模型进行回归修正,如下:
为提高表达精度,引入一个依赖于形状参数α和运动参数β的修正项,具体是利用多层感知机MLP来对RLA残差与形状参数α和运动参数β的关系进行回归分析:
记MLP网络的输出为R(α,β)=[RA(α,β),RL(α,β)]T,其中形状参数α和运动参数β作为网络的输入,R(α,β)为MLP网络的输出,由该网格相对边长二面角的残差RA(α,β)和边长的残差RL(α,β)组成。于是RLA向量更新为XA(α,β)=MAβA+RA(α,β)和XL(α,β)=MLβL+RL(α,β),其中MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,RL(α,β)和RA(α,β)分别为网格相对边长二面角的残差和边长的残差。
因而个体姿态函数BP(α,β)更新为BP(α,β)=g(XA(α,β),XL(α,β),BS(α),HV,HF),其中HV表示锚定点位置的集合,HF表示锚定三角形标架位置的集合,XA(α,β)和XL(α,β)的值由上文介绍的式子计算,BS(α)特定个体的形状参数。
得到形状全局PCA和运动稀疏局部分解后,可以通过线性组合形状基(记混合系数为)加上平均形状得到数据库中任意形状的标准姿态类似地,运动数据库中任意姿态的RLA向量可以通过混合局部基来逼近(混合系数记为),因此我们记录下每个运动姿态的拟合后误差,并利用多层感知机(MLP)来拟合这些误差项,输入为形状混合参数α和运动混合参数β,而输出为F(α,β)。如图2所示的残差的MPL网络图,其中,输入参数为10个形状基混合系数和400个运动稀疏局部化基混合系数。
如图3所示,我们用最终训练得出的完全人体运动模型能够同时捕捉人体姿态、面部表情和手势。
以上所述实施例只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。

Claims (7)

1.一种基于局部稀疏表示的完全人体运动参数化表示方法,其特征在于,包括以下步骤:
1)获取相对边长和二面角及其重构,即RLA及其重构;
2)参数模型训练数据库合成;
3)基于人体形状主成分分析PCA基进行形状参数提取;
4)使用稀疏局部分解的方法提取出局部基;
5)利用局部基表示不同身体部位的运动得到参数模型;
6)对参数模型进行回归修正。
2.根据权利要求1所述的一种基于局部稀疏表示的完全人体运动参数化表示方法,其特征在于:在步骤1)中,获取相对边长和二面角以及其重构,包括如下步骤:
1.1)提取出相对边长与二面角
令M0=(V0,E,F)为参考三角网格,其中V0,E,F分别为顶点、边、面的集合,而M=(V,E,F)为由M0变形得到的网格,M0和M具有相同的顶点数NMV和相同的边集合E与面集合F;
将所有边的相对边长二面角记为由公式计算,其中a0(e)表示参考网格M0中边e的二面角,a(e)表示变形网格M中边e的二面角;所有边的相对边长二面角按边的编号顺序排成一列向量记为XA(V0,V),其中V0为参考网络顶点的集合,V为变形网络顶点的集合;所有边的边长记为由公式计算,其中l(e)表示变形网格M中边e的边长,l0(e)表示参考网格M0中边e的边长;所有边的边长按边的编号顺序排成一列向量记为XL(V0,V),其中V0为参考网络顶点的集合,V为变形网络顶点的集合;称XA(V0,V)和XL(V0,V)为M相对于M0的相对边长与二面角RLA向量,两个向量均为|E|维,其中|E|是网格边的条数;
1.2)相对边长和二面角的形状重构
已知网格模型的相对边长和二面角向量,重构三维网格模型包含以下步骤:
1.2.1)计算网格M的LA向量:
1.2.2)从LA向量计算各边的连接映射:
如果三角形t1和t2包含边e,则e的连接映射QE是一个3×3的矩阵,并且满足条件R2=QER1,其中R1和R2分别是三角形t1和t2的正交标架;
1.2.3)估计各个三角形的局部标架:
三角形t的正交标架R=[u,v,n]为3×3矩阵,u是t的第一条边的单位列向量,n是三角形的单位外法向量,v=n×u;
1.2.4)重构网格顶点位置。
3.根据权利要求1所述的一种基于局部稀疏表示的完全人体运动参数化表示方法,其特征在于:在步骤2)中,利用多个数据库合成包含三类运动的人体几何数据库,再利用合成数据来进行参数化模型的训练,训练数据由如下4个数据子集构成:
形状子数据集 表示数据库中第i个标准人体,NI表示形状子数据集包含的不同人体个数;
身体姿态数据集 表示数据库中第i个标准人体伴随第j个姿态,NMB表示身体姿态数据集中每个人体包含的姿态数;
脸部表情数据集 表示数据库中第i个标准人体伴随第j个姿态和u个脸部表情,NMF表示脸部表情数据集中每个人体包含的表情数;
手势数据集 表示数据库中第i个标准人体伴随第j个姿态、u个脸部表情和第v个手势,NMH表示手势数据集中每个人体包含的手势数。
4.根据权利要求1所述的一种基于局部稀疏表示的完全人体运动参数化表示方法,其特征在于:在步骤3)中,基于人体形状主成分分析PCA基进行形状参数提取,具体如下:
对步骤2)中的形状子数据集进行PCA分析,NI表示形状子数据集包含的不同人体个数,得到一组正交基称为形状基,基的总数为NSB个,其中每个基的维数是3NMV;设是由NSB个PCA形状基构成的矩阵,为这些人体的平均形状;任意特定人体的标准姿态通过混合形状基得到,即其中为该特定人体的形状参数列向量,上标T表示矩阵转置。
5.根据权利要求1所述的一种基于局部稀疏表示的完全人体运动参数化表示方法,其特征在于:在步骤4)中,使用稀疏局部分解的方法提取出局部基,具体如下:
对所有相对二面角列向量构成的集合进行稀疏局部化分解,其中表示第i个个体的第j个姿态网格的相对二面角,表示数据库中第i个标准人体,表示数据库中第i个标准人体伴随第j个姿态,由此得到具有NMC个局部运动基的矩阵MA,NMC为预定义的基提取个数;对相对边长向量集进行类似的处理,其中表示第i个个体的第j个姿态网格的边长,表示数据库中第i个标准人体,表示数据库中第i个标准人体伴随第j个姿态,由此提取出相同个数的稀疏局部化基ML
6.根据权利要求1所述的一种基于局部稀疏表示的完全人体运动参数化表示方法,其特征在于:在步骤5)中,利用局部基表示不同身体部位的运动得到参数模型,即是基于稀疏局部化分解的姿态、表情、手势参数化,具体如下:
给定混合系数向量β=[βAL]T,其中βA对应为相对二面角的稀疏局部化基MA的系数向量,βL对应为边长的稀疏局部化基ML的系数向量,分别为稀疏局部化基矩阵MA和ML的第i个维度的值,NMC为稀疏局部化基矩阵MA和ML的维度个数,由此得到特定个体形状BS(α)的任意姿态BP(α,β)的RLA向量:
其中,MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,BS(α)0为该人体的形状,BP(α,β)为对应的姿态,XA(BS(α)0,BP(α,β))和XL(BS(α)0,BP(α,β))分别表示特定个体形状的在对应姿态下的相对边长二面角向量和边长向量,然后通过步骤1)中的重构得到相应的姿态:
BP(α,β)=g(MAβA,MLβL,BS(α),HV,HF)
其中,g为姿态重构函数,MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,HV表示锚定点位置的集合,HF表示锚定三角形标架位置的集合。
7.根据权利要求1所述的一种基于局部稀疏表示的完全人体运动参数化表示方法,其特征在于:在步骤6)中,利用基于多层次感知机MLP的运动补偿对参数模型进行回归修正,如下:
为提高表达精度,引入一个依赖于形状参数α和运动参数β的修正项,具体是利用多层感知机MLP来对RLA残差与形状参数α和运动参数β的关系进行回归分析:
记MLP网络的输出为R(α,β)=[RA(α,β),RL(α,β)]T,其中形状参数α和运动参数β作为网络的输入,R(α,β)为MLP网络的输出,由该网格相对边长二面角的残差RA(α,β)和边长的残差RL(α,β)组成;于是RLA向量更新为XA(α,β)=MAβA+RA(α,β)和XL(α,β)=MLβL+RL(α,β),其中MA和ML分别为该个体网格相对二面角和边长的稀疏局部化基矩阵,βL对应为ML的系数向量,βA对应为MA的系数向量,RL(α,β)和RA(α,β)分别为网格相对边长二面角的残差和边长的残差;
因而个体姿态函数BP(α,β)更新为BP(α,β)=g(XA(α,β),XL(α,β),BS(α),HV,HF),其中HV表示锚定点位置的集合,HF表示锚定三角形标架位置的集合,XA(α,β)和XL(α,β)的值由上文介绍的式子计算,BS(α)特定个体的形状参数。
CN201910499437.7A 2019-06-11 2019-06-11 一种基于局部稀疏表示的完全人体运动参数化表示方法 Active CN110363833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910499437.7A CN110363833B (zh) 2019-06-11 2019-06-11 一种基于局部稀疏表示的完全人体运动参数化表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910499437.7A CN110363833B (zh) 2019-06-11 2019-06-11 一种基于局部稀疏表示的完全人体运动参数化表示方法

Publications (2)

Publication Number Publication Date
CN110363833A true CN110363833A (zh) 2019-10-22
CN110363833B CN110363833B (zh) 2021-03-30

Family

ID=68216842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910499437.7A Active CN110363833B (zh) 2019-06-11 2019-06-11 一种基于局部稀疏表示的完全人体运动参数化表示方法

Country Status (1)

Country Link
CN (1) CN110363833B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462306A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于体向量场稀疏局部化分解的三维头发参数化模型方法
CN111476901A (zh) * 2020-04-10 2020-07-31 中国科学技术大学 一种三维人体形状表示方法
CN112686978A (zh) * 2021-01-07 2021-04-20 网易(杭州)网络有限公司 表情资源的加载方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683169A (zh) * 2016-12-09 2017-05-17 华南理工大学 一种关节运动感知的稀疏局部分解及重构算法
US20170278302A1 (en) * 2014-08-29 2017-09-28 Thomson Licensing Method and device for registering an image to a model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170278302A1 (en) * 2014-08-29 2017-09-28 Thomson Licensing Method and device for registering an image to a model
CN106683169A (zh) * 2016-12-09 2017-05-17 华南理工大学 一种关节运动感知的稀疏局部分解及重构算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANBYUL JOO等: "Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YUPAN WANG等: "Articulated-Motion-Aware Sparse Localized Decomposition", 《COMPUTER GRAPHICS FORUM》 *
YUXIN LIU等: "Discrete shell deformation driven by adaptive sparse localized", 《COMPUTERS & GRAPHICS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462306A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于体向量场稀疏局部化分解的三维头发参数化模型方法
CN111462306B (zh) * 2020-03-17 2022-04-22 华南理工大学 基于体向量场稀疏局部化分解的三维头发参数化模型方法
CN111476901A (zh) * 2020-04-10 2020-07-31 中国科学技术大学 一种三维人体形状表示方法
CN111476901B (zh) * 2020-04-10 2023-04-07 中国科学技术大学 一种三维人体形状表示方法
CN112686978A (zh) * 2021-01-07 2021-04-20 网易(杭州)网络有限公司 表情资源的加载方法、装置和电子设备

Also Published As

Publication number Publication date
CN110363833B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN109544677A (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN108710830A (zh) 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN110363833A (zh) 一种基于局部稀疏表示的完全人体运动参数化表示方法
CN106780569A (zh) 一种人体姿态估计行为分析方法
CN110348330A (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN104346824A (zh) 基于单张人脸图像自动合成三维表情的方法及装置
CN112288851A (zh) 一种基于双支流网络的三维人脸建模方法
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN102279898A (zh) 由具有确定的特性的基础材料设计和制造具有期望特性的材料
CN108520513A (zh) 一种三维模型局部变形分量提取方法和系统
CN102163330A (zh) 基于张量分解与Delaunay三角划分的多视角人脸合成方法
Yang et al. Multiscale mesh deformation component analysis with attention-based autoencoders
Zeng et al. PR-RRN: pairwise-regularized residual-recursive networks for non-rigid structure-from-motion
Wu et al. 3D film animation image acquisition and feature processing based on the latest virtual reconstruction technology
CN101364307B (zh) 一种高维动态数据处理方法
CN110543845B (zh) 一种三维人脸的人脸级联回归模型训练方法及重建方法
CN105321205B (zh) 一种基于稀疏关键点的参数化人体模型重建方法
CN112288645A (zh) 一种颅骨面貌复原模型构建方法及复原方法与系统
Wu et al. Example-based real-time clothing synthesis for virtual agents
CN111428555A (zh) 一种分关节的手部姿态估计方法
CN111311732A (zh) 3d人体网格获取方法及装置
CN110378291A (zh) 一种基于半监督学习的人体特征参数预测方法
CN109887023A (zh) 一种基于加权梯度幅度的双目融合立体图像质量评价方法
CN113593007B (zh) 一种基于变分自编码的单视图三维点云重建方法及系统
CN112785684B (zh) 一种基于局部信息加权机制的三维模型重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant