CN106570914B - 一种移植二维图像中角色的姿态的方法 - Google Patents

一种移植二维图像中角色的姿态的方法 Download PDF

Info

Publication number
CN106570914B
CN106570914B CN201611025235.1A CN201611025235A CN106570914B CN 106570914 B CN106570914 B CN 106570914B CN 201611025235 A CN201611025235 A CN 201611025235A CN 106570914 B CN106570914 B CN 106570914B
Authority
CN
China
Prior art keywords
character
original
points
role
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611025235.1A
Other languages
English (en)
Other versions
CN106570914A (zh
Inventor
毛爱华
毛铁峥
罗洁
马学东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201611025235.1A priority Critical patent/CN106570914B/zh
Publication of CN106570914A publication Critical patent/CN106570914A/zh
Application granted granted Critical
Publication of CN106570914B publication Critical patent/CN106570914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/44Morphing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明为一种移植二维图像角色姿态的方法,能让原始角色自动模仿目标角色的姿态。步骤如下:首先提取图像中的角色转化为图形,并将其分解为高频的边缘细节与低频的躯体。其次提取低频躯体的骨骼,将不同角色的骨骼互相匹配,并参照目标角色的骨骼形变原始角色躯体。接着用约束保持原始角色的躯体在形变前后的几何特征。然后把原始角色的高频边缘细节参照原始角色躯体进行等角形变并组合,得到移植了目标角色的姿态的原始角色。本发明解决了二维角色间的姿态移植问题,可以帮助艺术家让自己创作的角色模仿已有素材角色的姿态,简化了创作过程,减少重复劳动。并且本发明在移植姿态同时,很好保持了原角色的体型与细节等,结果精确合理。

Description

一种移植二维图像中角色的姿态的方法
技术领域
本发明涉及计算机图形技术领域与计算机图像技术领域,是一种移植二维图像中角色的姿态的方法,能让一个角色模仿目标角色的姿态。
背景技术
姿态移植技术为基于例子的图形形变提供了简单,自动的形变方法,可以减少艺术家创作时许多重复工作。与之相比,其余的图形形变方法需要很多用户操作。当前的姿态移植工作如[1]的处理对象大多是三维的纯图形,很少工作给出二维角色进行姿态移植的完整解决方案。然而所有的图像都是二维的,在如卡通绘画等工作中,二维图像中角色的姿态移植很有需求。本发明我们提出了一个利用拉普拉斯框架工具与骨骼蒙皮的方法来实现了2维图像中角色的姿态移植。在很多姿态移植的相关工作中,存在着无法保持图形的平缓趋势的问题,如角色的胖瘦属性等,我们方法利用二维形状的骨骼信息解决了这个问题。姿态移植工作有两个方向,一个在空域上对图形的处理,另一个在频域上对图形进行处理。
在频谱方面的几何处理工作里,拉普拉斯框架被广泛的运用,2006年Lévy et al.在论文Laplace-beltrami eigenfunctions towards an algorithm that"understands"geometry提出了一个用转移低频基上的投影系数进行姿态移植的方法,但此方法局限性是在移植姿态的两个图形间的差别大时效果不好,因为其要求两个几何图形的基要相似,Kovnatsky et al.2013年在论文Coupled quasi‐harmonic bases解决这个问题时,先将三图形的基耦合,再进行姿态移植。他的局限是只限于三维图形,对于二维时没法保持图像轮廓内部,并且算法复杂,运算成本高。以上两个基于频域的姿态移植方法都有一个缺陷,难以在姿态移植结果中保持原始图形的平缓趋势的属性,如角色的胖瘦属性等
在空域上面进行姿态移植的工作里,Sumner et al.2004年在Deformationtransfer for triangle meshes提出将目标模型的三角网格的形变转移到原模型的的三角网格上,同时加上几何约束来保持原始模型的自身特性。Zhou et al.提出一个方法来传递多目标对象的形变量,Zhao et al.的Dual‐domain deformation transfer fortriangular meshes文章改进将此方法将处理过程放入复平面内。Yang et al.的Deformation transfer based on stretchiness ratio在原始网格与目标网格间传递伸张系数来实现传递网格的形变量。上述方法传递的是目标模型中网格的形变量而非姿态,并且他们是基于3维图形的方法,不适用与二维角色的姿态移植。
发明内容
本发明我们提出了一个结合了拉普拉斯框架工具与骨骼形变的方法来实现了2维图像中角色的姿态移植,克服了现有技术的不足。
本发明至少通过如下技术方案之一实现。
一种移植二维图像角色姿态的方法,其包括如下步骤:
1)输入是包含了原始角色与目标角色的图像集合;用Canny边缘检测算子提取各个角色,并且将图像转化为图形;
2)用拓扑拉普拉斯算子处理步骤1)所得到的图形边界,将原始角色图形与目标角色图形分解为高频的边缘细节与低频的躯体;
3)基于步骤2)的原始角色与目标角色低频躯体,提取骨骼,将原始角色与目标角色的骨骼匹配,并且参照目标角色的骨骼,在保持原始角色躯体的拉普拉斯坐标不变约束下,对原始角色的躯体进行基于骨骼的形变;
4)基于步骤2)的原始角色的躯体与步骤3)形变后的原始角色的躯体,利用拉普拉斯坐标约束与轮廓长度约束保持躯体的几何特征;
5)基于步骤4)的形变后并保持了几何特征的原始角色的躯体与步骤2)的原始角色的高频边缘细节,将边缘细节根据原始角色躯体的形变进行等角变换并与原始角色的躯体组合,结果为移植了目标角色的姿态的原始角色。
进一步地,所述的步骤1)中,先用Canny边缘检测方法找到角色的外部边缘,并将边缘的像素按顺时针方向转化为图形的边界点;在图形的配准上,用户需要在两个角色对应的六个部分上各选取一个匹配点,其中头、双手、双脚共五个部分,命名为末端点,角色的中心部分,命名为中心点;根据在边界上的匹配点,将两个角色边界重新划分成多段,保证两个图形边界上每两个匹配点间的点数相同,从而达到匹配的目的。
进一步地,所述的步骤2)中,用拓扑拉普拉斯算子处理图形边界,将图形分为高频细节与低频躯干两部分,vi坐标的拓扑拉普拉斯算子公式:
Figure BDA0001152877250000021
其中N(i)是第i个顶点的相邻节点集合。j为集合N(i)的元素,指第i个顶点的某个邻接节点序号。di为顶点的度数,且di=|N(i)|=2。顶点i与j的拉普拉斯权重:
拉普拉斯权重矩阵W为:W=(ωij),于是将笛卡尔坐标系上坐标转为拉普拉斯坐标的拉普拉斯转换矩阵L为:L=I-W;其中I为单位矩阵。
定义矩阵Ls=D*L,D是对角矩阵,于是Ls是对称半正定矩阵,经过特征分解有:
Ls=λ*ε,(ε={ε12,…,εn},0=λ1≤λ2≤…≤λn)
其中λi为特征值,εi为特征向量,1≤i≤n,n为图形的边界点数量。O Sorkine于2005发表的论文Laplacian Mesh Processing中提出,将每对特征向量与特征值按照特征值从小到大排序,图形的低频部分会对应前序特征向量,高频部分对应后序特征向量。所以低频躯干上的顶点坐标Voutline可表示如下:
Voutline=α1ε13ε2+…+αkεk
αi是角色的图形边界点坐标在特征向量εi的投影,其中1≤i≤k,k为用户自定的分割参数;取前k个特征值与特征向量的乘积的和为角色的低频躯干,k以后的特征值与特征向量的乘积的和表示角色的高频细节μdetail
μdetai1=αk+1εk+1k+1εk+1+…+αnεn
进一步地,所述的基于步骤2)的原始角色与目标角色低频躯体,提取骨骼,基于步骤1)中用户选择的匹配点,将原始角色与目标角色的骨骼匹配。我们用细化算法(Zhang于1984在Communications of the ACM发表的A fast parallel algorithm for thinningdigital patterns论文)找到原始角色与目标角色低频躯体的骨骼,命名为A与B。同时用角点检测算法(Shi于1993年在Technical Report发表的Good features to track论文)找到B骨骼的特征点b1,b2,…bn。对于B骨骼,把离目标角色中心点最近的特征点记为bc,离目标角色五个末端点最近的特征点记为
Figure BDA0001152877250000026
对A骨骼做同样的处理,但由于没有特征点,记录中心与各个末端的最近骨骼点,定义为ac
Figure BDA0001152877250000027
我们选择其与B骨骼上特征点满足对应关系的点作为骨骼A的特征点。对应关系包含3个要求:A)A骨骼特征点总数与B骨骼特征点总数相等。B)定义从中心点开始,到骨骼的端点的测地距离为端末路程。A骨骼特征点ai在其对应端末路程上的位置比例,要等于B骨骼对应特征点的位置比例,表达式为:
Figure BDA0001152877250000023
其中d(ai,ac)意为点ai到ac在骨骼上的测地距离,
Figure BDA0001152877250000024
d(bi,bc),
Figure BDA0001152877250000025
意义同d(ai,ac)。C)考虑A骨骼自身的特征;用Shi的算法找到A骨骼的几何特征点a′i,将其与B)要求得到的匹配特征点坐标的线性加权。
Ai=ω1ai2a′i
其中Ai为A骨骼的特征点。ω12为用户自定义的权重,满足ω12=1。
进一步地,步骤(3)所述参照目标角色的骨骼,对原始角色的躯体进行基于骨骼的形变,将A骨骼,B骨骼各个特征点对应后,用特征点把骨骼分段,对于A与B骨骼的各个对应分段,可以得到将A的分段几何变换到B骨骼对应分段的变换矩阵Mi,然后对于原始图形躯干上的所有点包括轮廓点与内部点,结合A骨骼的变换矩阵,应用复四元数骨骼蒙皮算法(Ladislav Kavan于2007在symposium on Interactive3D graphics and games发表的Skinning with dual quaternions论文),得到基于骨骼的形变结果。
进一步地,所述的步骤4)中,基于步骤2)的原始角色的躯体与基于步骤3)形变后的原始角色的躯体,利用拉普拉斯坐标约束与轮廓长度约束保持躯体的几何特征,优化步骤3)形变后的原始角色的躯体;对于原始角色的躯体内部点vi,取离它距离最近的两个内部点作为邻接点集合N(i)。对于原始角色的躯体边界上的点,与它相邻的两个边界点作为邻接点集合N(i)。拉普拉斯坐标为:
Figure BDA0001152877250000031
j为集合N(i)的元素,vj为点vi的邻接点,将各点与其邻接点相连,记录下各个连接边长;
li=||vi-vi-1||
保持拉普拉斯坐标与边长不变,用能量方程表示为:
min E=||l′-l||2+||δ′oo||2
其中E为要最小的能量目标值,l与l′分别是原始角色躯体形变前后的各段边长,δo与δ′o分别是原始角色躯体形变前后的各内部点的拉普拉斯坐标,用高斯牛顿迭代法求解能量方程,得到结果是保持了几何特征的原始角色的形变后躯体。
进一步地,所述的步骤5)中,基于步骤4)的形变后并保持了几何特征的原始角色的躯体与步骤2)的原始角色的高频的边缘细节,将边缘细节根据原始角色的躯体的变换进行等角变换并与原始角色的躯体组合,结果为移植了目标角色的姿态的原始角色;步骤2)中μdetail代表了从角色的躯体上的点到角色细节的对应点的向量。对于躯体边界上的顶点vi,定义其所在向量为σi,其中
σi=vi+1-vi-1
vi+1与vi-1分别代表vi的两个邻接点。计算经过步骤3)、4)后躯体形变所对应的躯体边界上的各个向量σi的旋转矩阵Ri,将其应用到原始角色的细节μdetail中,达到对细节保角变换的目的,
μ′detail=Rμdetail
μ′detail代表保角变换后的原始角色的细节部分,是向量的形式。于是将步骤4)的中的形变原始角色躯体的轮廓与保角变换后的细节相加,重构完整的姿态移植后的原始角色:
vcontour=voutline+μ′detail
其中vcontour为重构的边界,voutline为形变后的原始角色躯体。
与现有技术相比,本发明的有益效果如下:
1.本发明对二维角色的姿态移植,让角色内部能跟随姿态变化,进行的形变,传统姿态移植方法极少考虑二维角色内部形变的情况,本发明补充了此领域的工作。
2.本发明利用二维形状的骨骼信息,在进行姿态移植时能够很好保持原角色的自身特征,如角色的边缘细节,角色的胖瘦等属性,解决了传统姿态移植方法丢失原始角色自身信息的问题,结果更符合用户期望。
3.本发明采用分步骤的姿态移植方法,可以由用户控制角色的姿态提取,增加了过程的可控性。
附图说明
图1为本发明的流程图。
图2分别为包含原始角色的图像(左边)和包含目标角色的图像(右边)。
图3分别为图形原始角色的边界(左边)和经步骤2)的处理得到图(右边,取k=60,)原始角色的低频躯干的边界。
图4为骨骼特征点的匹配结果图。
图5分别为原始角色的躯体(左)、目标角色的躯体边界(中)、经过步骤3)与步骤4)后参照目标角色骨骼进行了形变并且保持了原有的几何特征的原始角色躯体图(右)。
图6分别为原始角色(左)目标角色(中)、姿态结果(右)图。
图7分别为原始角色(左)、目标角色(中)、姿态移植结果(右)图。
图8分别为原始角色(最左上)、目标角色(右上5个图形)、移植结果(右下五个图形)图。
具体实施方式
以下结合附图和实例发明的具体实施作进一步说明,但本发明的实施和保护不限于此。
一种在移植二维图像角色的姿态的方法,包括如下步骤:1)输入是包含了原始角色与目标角色的图像集合。用Canny边缘检测算子提取各个角色,并且将图像转化为图形;2)用拓扑拉普拉斯算子处理图形边界,将原始角色图形与目标角色图形分解为高频的边缘细节与低频的躯体;3)基于步骤2)的原始角色与目标角色低频躯体,提取骨骼,将原始角色与目标角色的骨骼匹配,并且参照目标角色的骨骼,在保持原始角色躯体的拉普拉斯坐标不变约束下,对原始角色的躯体进行基于骨骼的形变;4)基于步骤2)的原始角色的躯体与基于步骤3)形变后的原始角色的躯体,利用拉普拉斯坐标约束与轮廓长度约束保持躯体的几何特征。5)基于步骤4)的形变后并保持了几何特征的原始角色的躯体与步骤2)的原始角色的高频边缘细节,将边缘细节根据原始角色躯体的形变进行等角变换并与原始角色的躯体组合,结果为移植了目标角色的姿态的原始角色。
下面通过实施例,结合图1的流程图,详细讲述每步的实施过程。
步骤1)先用Canny边缘检测方法找到角色的外部边缘,并将边缘的像素按顺时针方向转化为图形的边界点。在图形的配准上,用户需要在两个角色对应的六个部分上各选取一个匹配点,头,双手,双脚五个部分,命名为末端点,与角色的中心部分,命名为中心点。根据在边界上的匹配点,我们将两个角色边界重新划分成多段,保证两个图形边界上每两个匹配点间的点数相同,从而达到匹配的目的。图2为左边包含原始角色的图像,右边为包含目标角色的图像,对其进行步骤1)的处理。
步骤2)用拓扑拉普拉斯算子处理图形边界,将图形分为高频细节与低频躯干两部分。边界点i的拓扑拉普拉斯算子公式:
Figure BDA0001152877250000041
其中N(i)是第i个顶点的相邻节点集合。j属于集合N(i)的元素,指第i个顶点的某个邻接节点序号。di为顶点的度数,且di=|N(i)|=2。顶点i与j的拉普拉斯权重ωij
Figure BDA0001152877250000042
拉普拉斯权重矩阵为W:W=(ωij),将笛卡尔坐标系上坐标转为拉普拉斯坐标的拉普拉斯转换矩阵为L:
L=I-W
定义矩阵Ls=D*L,D是对角矩阵,于是Ls是对称半正定矩阵,经过特征分解有:
Ls=λ*ε,(ε={ε12,…,εn},0=λ1≤λ2≤…≤λn)
其中λi为特征值,εi为特征向量,1≤i≤n。将每对特征向量与特征值按照特征值从小到大排序。低频躯干上的顶点坐标可表示如下:
Voutline=α1ε12ε2+…+αkεk
αi是角色的图形边界点坐标在特征向量εi的投影,1≤i≤k。取前k个特征值与特征向量的乘积的和为角色的低频躯干,k以后的特征值与特征向量的乘积的和表示角色的高频细节μdetail
μdetail=αk+1εk+1k+1εk+1+…+αnεn
图3左边图形为原始角色的边界,将其经过步骤2)的处理,取k=60,得到图3右边图形为原始角色的低频躯干的边界。
步骤3)中,基于步骤2)的原始角色与目标角色低频躯体,提取骨骼,基于步骤1)中用户选择的原始角色与目标角色的已匹配点,将原始角色与目标角色的骨骼匹配。参照目标角色的骨骼,对原始角色的躯体进行基于骨骼的形变。
其中,步骤3)中的骨骼匹配部分:基于步骤2)的原始角色与目标角色低频躯体,我们用细化算法(Zhang于1984在Communications of the ACM发表的A fast parallelalgorithm for thinning digital patterns论文)找到原始角色与目标角色低频躯体的骨骼,命名为A与B。同时用角点检测算法(Shi于1993年在Technical Report发表的Goodfeatures to track论文)找到B骨骼的特征点b1,b2,…bn。对于B骨骼,把离目标角色中心点最近的特征点记为bc,离目标角色五个末端点最近的特征点记为
Figure BDA0001152877250000051
我们离用户选择的目标角色中心部分。对A骨骼做同样的处理,但由于没有特征点,记录中心与各个末端的最近骨骼点,定义为ac
Figure BDA0001152877250000052
对于A骨骼的特征点寻找,我们选择其与B骨骼上特征点满足对应关系的点作为骨骼A的特征点。对应关系包含3个要求:A)A骨骼特征点总数与B骨骼特征点总数相等。B)定义从中心点开始,到骨骼的端点的测地距离为端末路程。A骨骼特征点ai在其对应端末路程上的位置比例,要等于B骨骼对应特征点的位置比例,表达式为:
其中d(ai,ac)意为点ai到ac在骨骼上的测地距离,
Figure BDA0001152877250000054
d(bi,bc),
Figure BDA0001152877250000055
意义同d(ai,ac)。由此可以得到A骨骼上对应于B骨骼的匹配特征点。C)考虑A骨骼自身的特征。用Shi的算法找到A骨骼的几何特征点a′i,将其与B)要求得到的匹配特征点坐标的线性加权。
Ai=ω1ai2a′i
其中Ai为A骨骼与B骨骼匹配的特征点。ω12为用户自定义的权重,ω12满足ω12=1。
骨骼特征点的匹配结果如图4所示。取ω1=0.7,ω2=0.3。其中左边的图形为原始角色的骨骼与特征点,右边图形为目标角色的骨骼与特征点.
步骤3)中的骨骼形变部分,参照目标角色的骨骼,对原始角色的躯体进行基于骨骼的形变。将A骨骼,B骨骼各个特征点对应后,用特征点把骨骼分段。我们目的是将A骨骼依照B骨骼进行形变,对于A与B骨骼的各个对应分段,可以得到将A的分段几何变换到B骨骼对应分段的变换矩阵Mi
对于原始图形躯干上的所有点(轮廓点与内部点)v,定义其与骨骼段的距离为其到骨骼段中点的距离。记与v距离最短的骨骼段为s0,与骨骼段s0相邻的骨骼段中,记与v最近的骨骼段为s1,把s0与s1作为v的关联骨骼,对应权重为ωs0s1
ωs0s1=1
我们取ωs0=0.7,ωs1=0.3。结合A骨骼的变换矩阵,应用复四元数骨骼蒙皮算法(Ladislav Kavan于2007在symposium on Interactive 3D graphics and games发表的Skinning with dual quaternions论文),得到基于骨骼的形变结果。
步骤4)中,基于步骤2)的原始角色的躯体与基于步骤3)形变后的原始角色的躯体,利用拉普拉斯坐标约束与轮廓长度约束保持躯体的几何特征,优化步骤3)形变后的原始角色的躯体;对于步骤2)原始角色的躯体内部点,取与它距离最近的两个点作为其邻接点,对于原始角色的躯体边界上的点,与它相邻的两个边界点作为邻接点。拉普拉斯坐标为:
Figure BDA0001152877250000056
j为集合N(i)的元素,vj为点vi的邻接点,将各点与其邻接点相连,记录下各个连接边长:
li=||vi-vi-1||
保持拉普拉斯坐标与边长不变,用能量方程表示为:
min E=||l′-l||2+||δ′oo||2
其中E为要最小的能量目标值,l与l′分别是原始角色躯体形变前后的各段边长,δo与δ′o分别是原始角色躯体形变前后的各内部点的拉普拉斯坐标。用高斯牛顿迭代法求解能量方程,得到结果是保持了几何特征的原始角色的形变后躯体。虽然其中边长是非线性部分,但推导后表达式简单。
定义关于点坐标的函数f,把能量方程分解为函数f的积,其中xi为点的坐标,有1≤i≤n。
Figure BDA0001152877250000061
E=f(x)Tf(x)
为方便表示,记x为包含所有点坐标的矩阵,每次迭代更新x。
Figure BDA0001152877250000062
J(x)是函数f对坐标x的雅克比矩阵,ε为每次更新时x的迭代方向。t为步长,初始值为1,每次迭代
Figure BDA0001152877250000063
直到E(x+tε)<E(x)或者迭代次数大于100。进一步推导雅克比矩阵,简化矩阵中的项形式。对于长度约束,雅克比矩阵内项的形式为边长对坐标求偏导,只与两个端点相关,其余点为0。对于某段边长为l′i的边的两个端点的坐标v′i1(xi1,yi1)与v′i2(xi2,yi2),其偏导数为:
Figure BDA0001152877250000064
同样,
Figure BDA0001152877250000065
对于拉普拉斯坐标的约束是线性约束,雅克比矩阵的项包含v′i(x′i,y′i)与其两个邻接点v′i+1(x′i+1,y′i+1),v′i-1(x′i-1,y′i-1)。
Figure BDA0001152877250000066
Figure BDA0001152877250000068
对于y′i,y′i-1与y′i+1,情况相似。图5所示,左边为原始角色的躯体,中间为目标角色的躯体边界,右边为经过步骤3)与步骤4)后,参照目标角色骨骼进行了形变并且保持了原有的几何特征的原始角色躯体。步骤5)中,基于步骤4)的保持了几何特征后的原始角色的躯体与步骤2)的原始角色的高频的边缘细节,将边缘细节根据原始角色的躯体的变化进行等角变换并与原始角色的躯体组合,结果为移植了目标角色的姿态的原始角色。步骤2)的原始角色的高频的边缘细节的点与原始角色低频躯体上的点一一对应,μdetail代表了从角色的躯体上的点到角色细节的对应点的向量。对躯体上的顶点vi,定义其所在向量为σi
σi=vi+1-vi-1
可得到步骤2)形变前的原始角色躯体上所有向量σ相对于步骤4)的中的保持了几何特征后的原始角色的各向量的旋转量,转换为旋转矩阵R,将原始角色的细节向量μdetail进行同样的旋转,达到对细节保角变换的目的。
μ′detail=Rμdetail
μ′detail代表保角变换后的原始角色的细节部分,是向量的形式。于是将步骤4)的中的形变原始角色躯体的轮廓与保角变换后的细节相加,重构完整的姿态移植后的原始角色:
vcontour=voutline+μ′detail
vcontour为原始角色边缘的姿态移植结果,voutline为步骤4)的保持了几何特征后的原始角色,其内部的图形在之前步骤已经处理完,组合后为原始角色姿态移植结果。图6最右列为姿态结果,最左列为原始角色,中间列为目标角色。更多的例子如图7,最左列为原始角色,中间列为目标角色,最右列为姿态移植结果;图7分别为原始角色(左)、目标角色(中)、姿态移植结果(右)图。图8中,最左上图形为原始角色,右上5个图形为目标角色,右下五个图形为移植结果。

Claims (5)

1.一种移植二维图像角色姿态的方法,其特征在于包括如下步骤:
1)输入是包含了原始角色与目标角色的图像集合;用Canny边缘检测算子提取各个角色,并且将图像转化为图形;
2)用拓扑拉普拉斯算子处理步骤1)所得到的图形边界,将原始角色图形与目标角色图形分解为高频的边缘细节与低频的躯体;用拓扑拉普拉斯算子处理图形边界,将图形分为高频细节与低频躯干两部分,vi坐标的拓扑拉普拉斯算子δi公式如下:
Figure FDA0002149796140000011
其中N(i)是第i个顶点的相邻节点集合;j属于集合N(i)的元素,指第i个顶点的某个邻接节点序号;di为顶点的度数,且di=|N(i)|=2,顶点i与j的拉普拉斯权重:
Figure FDA0002149796140000012
拉普拉斯权重矩阵为W:W=(ωij),于是将笛卡尔坐标系上坐标转为拉普拉斯坐标的拉普拉斯转换矩阵L为:L=I-W;其中I为单位矩阵;
定义矩阵Ls=D*L,D是对角矩阵,于是Ls是对称半正定矩阵,经过特征分解有:
Ls=λ*ε,ε={ε1,ε2,...,εn),0=λ1≤λ2≤…≤λn
其中λi为特征值,εi为特征向量,1≤i≤n,n为图形的边界点数量;将每对特征向量与特征值按照特征值从小到大排序,低频躯干上的顶点坐标Voutline可表示如下:
Voutline=α1ε12ε2+…+αkεk
αi是角色的图形边界点坐标在特征向量εi的投影,1≤i≤k,k为设定的分割参数;取前k个特征值与特征向量的乘积的和为角色的低频躯干,k以后的特征值与特征向量的乘积的和表示角色的高频细节μdetail:μdetail=αk+1εk+1k+1εk+1+…+αnεn
3)基于步骤2)的原始角色与目标角色低频躯体,提取骨骼,将原始角色与目标角色的骨骼匹配,并且参照目标角色的骨骼,在保持原始角色躯体的拉普拉斯坐标不变约束下,对原始角色的躯体进行基于骨骼的形变;
4)基于步骤2)的原始角色的躯体与步骤3)形变后的原始角色的躯体,利用拉普拉斯坐标约束与轮廓长度约束保持躯体的几何特征;
5)基于步骤4)的形变后并保持了几何特征的原始角色的躯体与步骤2)的原始角色的高频边缘细节,将边缘细节根据原始角色躯体的形变进行等角变换并与原始角色的躯体组合,结果为移植了目标角色的姿态的原始角色。
2.如权利要求1所述的一种移植二维图像角色姿态的方法,其特征在于,所述的步骤1)中,先用Canny边缘检测方法找到角色的外部边缘,并将边缘的像素按顺时针方向转化为图形的边界点;在图形的配准上,用户需要在两个角色对应的六个部分上各选取一个匹配点,其中头、双手、双脚共五个部分,命名为末端点,角色的中心部分,命名为中心点;根据在边界上的匹配点,将两个角色边界重新划分成多段,保证两个图形边界上每两个匹配点间的点数相同,从而达到匹配的目的。
3.如权利要求1所述的方法,其特征在于,所述的基于步骤2)的原始角色与目标角色低频躯体,提取骨骼,基于步骤1)中用户选择的匹配点,将原始角色与目标角色的骨骼匹配;用细化算法找到原始角色与目标角色低频躯体的骨骼,命名为A与B;同时用角点检测算法找到B骨骼的特征点b1,b2,...bn;对于B骨骼,把离目标角色中心点最近的特征点记为bc,离目标角色五个末端点最近的特征点记为对A骨骼做同样的处理,但由于没有特征点,记录中心与各个末端的最近骨骼点,定义为ac
Figure FDA0002149796140000014
选择其与B骨骼上特征点满足对应关系的点作为骨骼A的特征点;对应关系包含3个要求:A)A骨骼特征点总数与B骨骼特征点总数相等;B)定义从中心点开始,到骨骼的端点的测地距离为端末路程;A骨骼特征点ai在其对应端末路程上的位置比例,要等于B骨骼对应特征点的位置比例,表达式为:
Figure FDA0002149796140000021
其中d(ai,ac)意为点ai到ac在骨骼上的测地距离,
Figure FDA0002149796140000022
意义同d(ai,ac);C)考虑A骨骼自身的特征;用角点检测算法找到A骨骼的几何特征点a′i,将其与B)要求得到的匹配特征点坐标的线性加权,
Ai=ω1ai2a′i
其中Ai为A骨骼与B骨骼匹配的特征点,ω1,ω2为用户自定义的权重,满足ω12=1。
4.如权利要求1所述的方法,其特征在于,所述的步骤4)中,基于步骤2)的原始角色的躯体与基于步骤3)形变后的原始角色的躯体,利用拉普拉斯坐标约束与轮廓长度约束保持躯体的几何特征,优化步骤3)形变后的原始角色的躯体;对于原始角色的躯体内部点vi,取离它距离最近的两个内部点作为邻接点集合N(i);对于原始角色的躯体边界上的点,与它相邻的两个边界点作为邻接点;拉普拉斯坐标为:
Figure FDA0002149796140000023
j为集合N(i)的元素,vj为点vi的邻接点,将各点与其邻接点相连,记录下各个连接边长li
li=||vi-vi-1||
保持拉普拉斯坐标与边长不变,用能量方程表示为:
min E=||l′-1||2+||δ′oo||2
其中E为要最小的能量目标值,l与l′分别是原始角色躯体形变前后的各段边长,δo与δ′o分别是原始角色躯体形变前后的各内部点的拉普拉斯坐标,用高斯牛顿迭代法求解能量方程,得到结果是保持了几何特征的原始角色的形变后躯体。
5.如权利要求1所述的方法,其特征在于,所述的步骤5)中,基于步骤4)的形变后并保持了几何特征的原始角色的躯体与步骤2)的原始角色的高频的边缘细节,将边缘细节根据原始角色的躯体的变换进行等角变换并与原始角色的躯体组合,结果为移植了目标角色的姿态的原始角色;步骤2)中μdetail代表了从角色的躯体上的点到角色细节的对应点的向量;对于躯体边界上的顶点vi,定义其所在向量为σi,表达式如下
σi=vi+1-vi-1
vi+1与vi-1分别代表vi的两个邻接点;计算经过步骤3)、4)后躯体形变所对应的躯体边界上的各个向量σi的旋转矩阵Ri,将其应用到原始角色的细节μdetail中,达到对细节保角变换的目的:
μ′detail=Rμdetail
μ′detail代表保角变换后的原始角色的细节部分,是向量的形式,R为所有躯体边界上向量的旋转矩阵;于是将步骤4)的中的形变原始角色躯体的轮廓与保角变换后的细节相加,重构完整的姿态移植后的原始角色:
vcontour=voutline+μ′detail
其中vcontour为重构的边界,voutline为形变后的原始角色躯体。
CN201611025235.1A 2016-11-15 2016-11-15 一种移植二维图像中角色的姿态的方法 Active CN106570914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611025235.1A CN106570914B (zh) 2016-11-15 2016-11-15 一种移植二维图像中角色的姿态的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611025235.1A CN106570914B (zh) 2016-11-15 2016-11-15 一种移植二维图像中角色的姿态的方法

Publications (2)

Publication Number Publication Date
CN106570914A CN106570914A (zh) 2017-04-19
CN106570914B true CN106570914B (zh) 2020-01-14

Family

ID=58542430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611025235.1A Active CN106570914B (zh) 2016-11-15 2016-11-15 一种移植二维图像中角色的姿态的方法

Country Status (1)

Country Link
CN (1) CN106570914B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509241B (zh) * 2018-08-16 2023-06-23 北京航空航天大学青岛研究院 角色动画中基于四元数的骨骼重定向方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1217668A (zh) * 1997-02-18 1999-05-26 世雅企业股份有限公司 图像处理装置及图像处理方法
CN1979560A (zh) * 2005-12-01 2007-06-13 腾讯科技(深圳)有限公司 一种图形处理方法及系统
CN101807290A (zh) * 2010-03-26 2010-08-18 浙江大学 二维卡通角色形变方法
CN102467753A (zh) * 2010-11-04 2012-05-23 中国科学院深圳先进技术研究院 基于骨架配准的时变点云重建方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1217668A (zh) * 1997-02-18 1999-05-26 世雅企业股份有限公司 图像处理装置及图像处理方法
CN1979560A (zh) * 2005-12-01 2007-06-13 腾讯科技(深圳)有限公司 一种图形处理方法及系统
CN101807290A (zh) * 2010-03-26 2010-08-18 浙江大学 二维卡通角色形变方法
CN102467753A (zh) * 2010-11-04 2012-05-23 中国科学院深圳先进技术研究院 基于骨架配准的时变点云重建方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Improvement of pose imitation method:a signal processing perspective;Tiezheng Mao 等;《The 8th International Conference on Digital Image Processing》;20160829;第1-6页 *
基于Kinect的三维人体快速建模与蒙皮动画研究;何昆林;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115(第01期);第I138-1004页 *
基于深度数据的虚拟人重建与蒙皮动画算法;费婷婷;《中国优秀硕士学位论文全文数据库 信息科技辑》;20161015(第10期);第I138-422页 *

Also Published As

Publication number Publication date
CN106570914A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
Han et al. A review of algorithms for filtering the 3D point cloud
Igarashi et al. As-rigid-as-possible shape manipulation
Anguelov et al. Recovering articulated object models from 3d range data
Weng et al. 2D shape deformation using nonlinear least squares optimization
CN107798713B (zh) 一种面向二维虚拟试穿的图像变形方法
Xu et al. Dynamic harmonic fields for surface processing
US20210390776A1 (en) Method and apparatus for three-dimensional (3d) object and surface reconstruction
Collins et al. [POSTER] realtime shape-from-template: System and applications
US20230169727A1 (en) Generative Nonlinear Human Shape Models
Bardinet et al. Superquadrics and free-form deformations: A global model to fit and track 3D medical data
Armando et al. Mesh denoising with facet graph convolutions
CN112233222A (zh) 基于神经网络关节点估计的人体参数化三维模型变形方法
Pan et al. Automatic rigging for animation characters with 3D silhouette
CN110176063B (zh) 一种基于人体拉普拉斯变形的服装变形方法
Wang et al. Modeling of personalized anatomy using plastic strains
Gao et al. Shape controllable virtual try-on for underwear models
CN106570914B (zh) 一种移植二维图像中角色的姿态的方法
Zhang et al. Interactive modeling of complex geometric details based on empirical mode decomposition for multi-scale 3D shapes
Weng et al. As‐Rigid‐As Possible Distance Field Metamorphosis
Petit et al. Tracking fractures of deformable objects in real-time with an rgb-d sensor
Rohmer et al. Folded paper geometry from 2D pattern and 3D contour
Yan et al. Skeleton-based shape deformation using simplex transformations
Fadaifard et al. Image warping for retargeting garments among arbitrary poses
Miyauchi et al. Tissue surface model mapping onto arbitrary target surface based on self-organizing deformable model
Ouyang et al. Autoskin: Skeleton-based human skinning with deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant