CN102306390A - 基于骨架和面片插值的运动捕捉方法及装置 - Google Patents
基于骨架和面片插值的运动捕捉方法及装置 Download PDFInfo
- Publication number
- CN102306390A CN102306390A CN201110129655A CN201110129655A CN102306390A CN 102306390 A CN102306390 A CN 102306390A CN 201110129655 A CN201110129655 A CN 201110129655A CN 201110129655 A CN201110129655 A CN 201110129655A CN 102306390 A CN102306390 A CN 102306390A
- Authority
- CN
- China
- Prior art keywords
- skeleton
- patch model
- dimensional
- dimensional patch
- dough sheet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 210000000988 bone and bone Anatomy 0.000 claims description 70
- 239000000284 extract Substances 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 10
- 230000007704 transition Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009017 pursuit movement Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提出一种基于骨架和面片插值的运动捕捉方法及装置,该方法包括以下步骤:重建第一三维面片模型和第二三维面片模型,并提取第一三维面片模型的第一骨架和第二三维面片模型的第二骨架;对第一骨架和第二骨架进行插值以得到第一骨架和所述第二骨架之间的中间骨架;求取第一三维面片模型与第二三维面片模型之间的变形距离场,并在变形距离场上插值点云以形成第一三维面片模型向第二三维面片模型过度的三维模型序列;和对三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。根据本发明实施例的基于骨架和面片插值的运动捕捉方法,具有快速捕捉且精度高的优点。该装置具有精度高且结构简单的优点。
Description
技术领域
本发明涉及多媒体技术领域,特别涉及一种基于骨架和面片插值的运动捕捉方法及装置。
背景技术
传统的运动捕捉技术主要包括戴标志的运动捕捉和不戴标志的运动捕捉。戴标志的运动捕捉会受到极大的局限性,近年来发展快速的不戴标志的运动捕捉方兴未艾。在计算机动画和三维建模领域面片的变形技术运用的越来越广泛。过去几十年提出的许多面片变形技术能帮助艺术家完成人物动画的效果。其中这些技术之一是3D人体运动捕捉,这个技术能在游戏、电影、自由视点视频、医学诊断中的运动分析和体育科学中应用。理想情况下,人们期望捕捉人体动作具有高清晰度和沉浸式感受,具有模型表面的非刚体变形。然而,当前的运动捕捉系统不能够满足连续运动捕捉的要求,对于高速运动的物体,大部分已存在的系统不能够捕捉完整的动作。
在无标志的运动捕捉领域中,计算机动画领域中最重要的连续人体捕捉技术之一是基于骨架的运动捕捉,其中骨架经常用来跟踪运动轨迹,控制形状的变形。然而,在这个领域中大部分以前的算法只关注于骨架提取,其中运动捕捉过程需要大量人工操作。一方面来讲,许多当前算法跟踪骨架模型是非自动的,需要强加在物体上的约束,例如纹理和二维轮廓,在数据的处理过程中,需要用户交互,如像紧身衣和标志。在自由视点视频领域当低速相机捕捉高速的动作时一些关键帧不可避免的丢失,这些算法经常是失败的。另一方面来说,一些基于面片变形的算法不提供内部骨架,导致较高的时间复杂度和空间复杂度,并且要求严格的点对点的对应关系。
运动捕捉技术在运动测量分析、人机交互、娱乐等许多领域有着广泛的应用,它是通过记录现实中人体的运动数据来驱动计算机虚拟人或机械的运动。传统的运动捕捉方法使用标志或者传感器来记录骨架的运动,效果比较好,但是需要穿戴紧身衣或者人工矫正记录的数据。对于大部分系统,相机的捕捉速度一般为30fps,在捕捉高速运动或者跨度较大的运动时,不可避免的会丢失一些关键帧,以致无法进行运动分析。为了解决中间帧丢失的问题,提出了连续动作插值技术,其关键在于如何在两个静态的三维模型之间产生过渡动作,而且在没有视觉信息的情况下,使得运动的过渡是自然和准确的。为此很多学者采用了基于同构面片的插值技术。而面临的问题是对非同构的面片模型如何过渡中间的动作。
已有的连续运动捕捉方法缺点为:
1、基于每帧单独进行静态三维重建的连续运动捕捉方法,其缺点在于三维重建的复杂度高,每帧单独进行重建的复杂度相当大;
2、基于运动跟踪的连续运动捕捉方法,优点是通过时间信息进行三维表面与三维运动生成,速度快,但缺点是表面重建精度低。
发明内容
本发明旨在至少解决上述技术问题之一。
为此,本发明的一个目的在于提出一种基于骨架和面片插值的运动捕捉方法。该方法对于高速运动和大跨度运动的物体,能够快速捕捉,且精度高,并防止帧丢失的问题,从而提高捕捉动作的精确度和高速性。
为了实现上述目的,本发明第一方面实施例的基于骨架和面片插值的运动捕捉方法包括以下步骤:A:根据多视角视频分别重建第一时刻的第一三维面片模型和第二时刻的第二三维面片模型,并提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架;B:在预设的测地线优化目标函数的约束下,对所述第一骨架和所述第二骨架进行插值以得到所述第一骨架和所述第二骨架之间的中间骨架;C:求取第一三维面片模型与第二三维面片模型之间的变形距离场,并在所述变形距离场上插值点云以形成所述第一三维面片模型向所述第二三维面片模型过度的三维模型序列;和D:对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。
根据本发明实施例的基于骨架和面片插值的运动捕捉方法,首先将两个非同构的三维面片模型的骨架联合并自动提取,接着在测地线路径约束下插值出中间动作骨架序列,然后采用LBS变形其中一个三维面片模型的面片,从而求取与另外一个三维面片模型之间的变形距离场并调整距离场上的中间过渡三维模型的表面,最后对中间过渡的三维模型序列进行滤波和重建,从而能够得到连续且清晰的高速运动物体的连续画面。该方法能够防止帧丢失的问题,进而提高捕捉动作的精确度和高速性。另外,该方法的复杂度较低,易于实现。
另外,根据本发明的基于骨架和面片插值的运动捕捉方法还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述步骤A中提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架,进一步包括:A1:获取所述第一三维面片模型的第一骨架模型并计算所述第一骨架模型中每个骨骼的长度;A2:获取所述第二三维面片模型的中轴面;A3:将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等;A4:在所述第二骨架模型的每个骨架上分别提取6个采样点,并在所述中轴面上分别建立每个采样点的空间邻域;和A5:移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述相应的空间邻域的中心。
在本发明的一个实施例中,所述步骤B中,根据黎曼度量准则对所述第一骨架和所述第二骨架进行插值。
根据本发明的一个实施例,所述步骤B,进一步包括:B1:确定所述第一骨架模型和第二骨架模型之间的对应的骨骼;B2:计算所述对应的骨骼之间的对应节点间的空间法线方向n;B3:根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ);和B4:改变所述R(θ)的大小以使所述对应的骨骼之间的对应骨节点的位移和最小。
根据本发明的一个实施例,所述法线方向n=(nx,ny,nz),所述旋转角度R(θ)=T-1.MR.T,其中,T为预设的平移矩阵,MR(θ)=[R1,R2,R3]T,其中,
在本发明的一个实施例中,所述步骤C,进一步包括:C1:根据Linear Blend Skinning方法变形所述第一三维面片模型的每个面片至所述第二三维面片模型的第二骨架上;C2:求取所述第一三维面片模型中每个面片顶点的法线方向;C3:根据所述每个面片顶点的法线方向计算相应面片的法线平均方向;C4:沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离;C5:判断所述变形的第一三维面片模型的每个面片与对应的所述第二三维面片模型的每个面片的法线方向的乘积是否大于预定阈值;C6:如果判断所述乘积大于预定阈值,则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片匹配,否则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片不匹配;C7:根据所述采样点的自由度将所述第二骨架划分类型并根据所述第二骨架的类型对所述第二三维面片模型的面片进行类型划分;C8:在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第二骨架范围之内;和C9:如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内,则沿着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维面片模型的当前面片顶点与所述第二三维面片模型的距离,如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之外,则沿着距离所述第二骨架最近的节点与所述不匹配的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模型的距离。
根据本发明的一个实施例,所述步骤C7中对所述第二三维面片模型的面片划分为3类。
需理解,上述实施例也可以省去步骤C7,划分的目的是为了节省计算时间,划分后,可以直接在每一类上进行相应的操作,省去在全部面片上进行操作的目的。
根据本发明的一个实施例,所述σ=0.07。
在本发明的一个实施例中,所述第一三维面片模型的每个面片与第二三维面片模型的每个面片属于非同构面片。
本发明第二方面实施例提出的基于骨架和面片插值的运动捕捉装置包括:骨架提取模块,所述骨架提取模块用于根据多视角视频分别重建第一时刻的第一三维面片模型和第二时刻的第二三维面片模型,并提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架;插值模块,所述插值模块用于在预设的测地线优化目标函数的约束下,对所述第一骨架和所述第二骨架进行插值以得到所述第一骨架和所述第二骨架之间的中间骨架;重建模块,所述重建模块用于求取第一三维面片模型与第二三维面片模型之间的变形距离场,并在所述变形距离场上插值点云以形成所述第一三维面片模型向所述第二三维面片模型过度的三维模型序列;和优化模块,所述优化模块用于对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。
根据本发明实施例的基于骨架和面片插值的运动捕捉装置,首先骨架提取模块将两个非同构的三维面片模型的骨架联合并自动提取,接着插值模块在测地线路径约束下插值出中间动作骨架序列,然后重建模块采用LBS变形其中一个三维面片模型的面片,从而求取与另外一个三维面片模型之间的变形距离场并调整距离场上的中间过渡三维模型的表面,最后通过优化模块对中间过渡的三维模型序列进行滤波和重建,从而能够得到连续且清晰的高速运动物体的连续画面。该装置解决了帧丢失的问题,进而提高捕捉动作的精确度和高速性。另外,该装置结构简单,操作简单。
另外,根据本发明的基于骨架和面片插值的运动捕捉装置还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述骨架提取模块用于首先获取所述第一三维面片模型的第一骨架模型并计算所述第一骨架模型中每个骨骼的长度;接着获取所述第二三维面片模型的中轴面;并将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等;然后在所述第二骨架模型的每个骨架上分别提取6个采样点,并在所述中轴面上分别建立每个采样点的空间邻域;最后移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述相应的空间邻域的中心。
在本发明的一个实施例中,所述插值模块用于首先确定所述第一骨架模型和第二骨架模型之间的对应的骨骼;接着计算所述对应的骨骼之间的对应节点间的空间法线方向n;并根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ);以及改变所述R(θ)的大小以使所述对应的骨骼之间的对应骨节点的位移和最小。
在本发明的一个实施例中,所述重建模块用于根据LBS方法变形所述第一三维面片模型的每个面片至所述第二三维面片模型的第二骨架上;并求取所述第一三维面片模型中每个面片顶点的法线方向;根据所述每个面片顶点的法线方向计算相应面片的法线平均方向;沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离;判断所述变形的第一三维面片模型的每个面片与对应的所述第二三维面片模型的每个面片的法线方向的乘积是否大于预定阈值;如果判断所述乘积大于预定阈值,则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片匹配,否则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片不匹配;根据所述采样点的自由度将所述第二骨架划分类型并根据所述第二骨架的类型对所述第二三维面片模型的面片进行类型划分;接着在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第二骨架范围之内;和如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内,则沿着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维面片模型的当前面片顶点与所述第二三维面片模型的距离,如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之外,则沿着距离所述第二骨架最近的节点与所述不匹配的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模型的距离。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的基于骨架和面片插值的运动捕捉方法的流程图;
图2为本发明一个实施例的多视角采集的环形摄像阵列排布的示意图;
图3为本发明实施例的骨架模型示意图;
图4为本发明一个实施例的三维模型的中轴面示意图;
图5为本发明实施例的计算距离场的示意图;
图6为本发明实施例的采用LBS方法的变形结果示意图;
图7为应用本发明实施例的方法的一个面片插值序列图;以及
图8为本发明实施例的基于骨架和面片插值的运动捕捉装置的结构图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
以下结合图1-7首先描述根据本发明实施例的基于骨架和面片插值的运动捕捉方法。
如图1所示,为本发明实施例的基于骨架和面片插值的运动捕捉方法,根据本发明实施例的基于骨架和面片插值的运动捕捉方法,包括以下步骤:
步骤S101,根据多视角视频分别重建第一时刻的第一三维面片模型和第二时刻的第二三维面片模型,并提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架。
具体地,在本发明的一个实施例中,提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架,进一步包括:
S1011:获取所述第一三维面片模型的第一骨架模型并计算所述第一骨架模型中每个骨骼的长度。
如图2和图3所示,在本发明的一个具体示例中,例如采用如图2所示的具有环形阵列排布的20个摄像机对物体进行多视角采集。相应地,对第一时刻采集的多视角图像进行重建从而得到第一三维面片模型,接着提取相应的第一骨架,如图3所示的第一骨架SM。并计算得到第一骨架SM的每个骨骼的长度,在本发明的一个实施例中,可将每个骨骼的长度记为cli。
S1012:获取所述第二三维面片模型的中轴面。在本发明的一个实施例中,例如中轴面可以为位于第二三维面片模型中心的点集合组成的图像,如图4所示的中轴面。
S1013:将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等;
作为一个具体的例子,例如在第二三维面片模型的骨架嵌入过程中,保证骨骼的长度等于第一骨架中相应骨骼的长度cli,且有s′i∈S′,其中,s′i是位于骨架末端邻域的点集,pi是父节点位置。也就是说,如图3所示,节点0为节点1的父节点,节点1为节点2的父节点,以此类推。
S1014:在所述第二骨架模型的每个骨架上分别提取6个采样点,并在所述中轴面上分别建立每个采样点的空间邻域。
在本发明的一个实施例中,例如分别沿着第二骨架中各个骨骼采样6个采样点,记为sij∈S,然后在中轴面中建立6个空间邻域,如记为cj∈C。
S1015:移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述相应的空间邻域的中心。
步骤S102,在预设的测地线优化目标函数的约束下,对所述第一骨架和所述第二骨架进行插值以得到所述第一骨架和所述第二骨架之间的中间骨架。
在本发明的一个实施例中,例如基于黎曼度量准则对所述第一骨架和所述第二骨架进行插值。其具体插值可以包括如下步骤:
S1021:确定所述第一骨架模型和第二骨架模型之间的对应的骨骼。
如可以寻找两个骨架之间对应的骨骼位置,分别记为SM和SN,
S1022:计算所述对应的骨骼之间的对应节点间的空间法线方向n。
S1023:根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ)。
S1024:改变所述R(θ)的大小以使所述对应的骨骼之间的对应骨节点的位移和最小。
步骤S103,求取第一三维面片模型与第二三维面片模型之间的变形距离场,并在所述变形距离场上插值点云以形成所述第一三维面片模型向所述第二三维面片模型过度的三维模型序列。
具体而言,在本发明的一个实施例中,求取第一三维面片模型与第二三维面片模型之间的变形距离场,如图5所示,为变形距离场的计算示意图,其中,在图5中51表示第二三维面片模型、52表示经过LBS变形的第一三维面片模型、53表示变形距离场DDF和54表示第一三维面片模型每个面片的法线平均方向。而图6为通过图5所示方法变形后的示意图。具体地,包括以下步骤:
S1031:根据Linear Blend Skinning方法变形所述第一三维面片模型的每个面片至所述第二三维面片模型的第二骨架上。
S1032:求取所述第一三维面片模型中每个面片顶点的法线方向;
S1033:根据所述每个面片顶点的法线方向计算相应面片的法线平均方向,例如在本发明的一个实施例中,该法法线平均方向例如记为ni。
S1034:沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离;
S1035:判断所述变形的第一三维面片模型的每个面片的法线平均方向ni与对应的所述第二三维面片模型的每个面片的法线方向nj的乘积是否大于预定阈值。例如判断ni·nj>δ是否为真,其中,δ为预定阈值。
S1036:如果判断ni·nj>δ为真,则判断所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片匹配,否则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片不匹配。
S1037:根据所述采样点的自由度将所述第二骨架划分类型并根据所述第二骨架的类型对所述第二三维面片模型的面片进行类型划分。在本发明的一个实施例中,例如可以根据每个节点的自由度将所述第二三维面片模型的面片划分为3类。
S1038:在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第二骨架范围之内;
S1039:如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内,则沿着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维面片模型的当前面片顶点与所述第二三维面片模型的距离,如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之外,则沿着距离所述第二骨架最近的节点与所述不匹配的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模型的距离。
步骤S104,对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。
在本发明的一个实施例中,例如可以令σ=0.07。当然,本发明的实施例并不限于此,例如σ还可以为其他值,如可以在0.01至0.1的范围内任意值。
如图7所示,为对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列的示意图。明显地,最终封闭的面片三维模型序列非常清晰,具有很高的清晰度,因此很好地解决了丢帧带来的图像模糊问题。
在本发明的一个优选实施例中,所述第一三维面片模型的每个面片与第二三维面片模型的每个面片属于非同构面片。且每个面片为三角形面片结构。当然,本本发明的实施例并不限于此,例如每个面片还可以为四边形面片。
根据本发明实施例的基于骨架和面片插值的运动捕捉方法,首先将两个非同构的三维面片模型的骨架联合并自动提取,接着在测地线路径约束下插值出中间动作骨架序列,然后采用LBS变形其中一个三维面片模型的面片,从而求取与另外一个三维面片模型之间的变形距离场并调整距离场上的中间过渡三维模型的表面,最后对中间过渡的三维模型序列进行滤波和重建,从而能够得到连续且清晰的高速运动物体的连续画面。该方法能够防止帧丢失的问题,进而提高捕捉动作的精确度和高速性。另外,该方法的复杂度较低,易于实现。
以下结合图8描述根据本发明实施例的基于骨架和面片插值的运动捕捉装置。
如图8所示,为本发明实施例的基于骨架和面片插值的运动捕捉装置的结构图。根据本发明实施例的基于骨架和面片插值的运动捕捉装置800包括骨架提取模块810、插值模块820、重建模块830和优化模块840。
其中,骨架提取模块810用于根据多视角视频分别重建第一时刻的第一三维面片模型和第二时刻的第二三维面片模型,并提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架。所述插值模块820用于在预设的测地线优化目标函数的约束下,对所述第一骨架和所述第二骨架进行插值以得到所述第一骨架和所述第二骨架之间的中间骨架。所述重建模块830用于求取第一三维面片模型与第二三维面片模型之间的变形距离场,并在所述变形距离场上插值点云以形成所述第一三维面片模型向所述第二三维面片模型过度的三维模型序列。所述优化模块840用于对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。
根据本发明实施例的基于骨架和面片插值的运动捕捉装置,首先骨架提取模块将两个非同构的三维面片模型的骨架联合并自动提取,接着插值模块在测地线路径约束下插值出中间动作骨架序列,然后重建模块采用LBS变形其中一个三维面片模型的面片,从而求取与另外一个三维面片模型之间的变形距离场并调整距离场上的中间过渡三维模型的表面,最后通过优化模块对中间过渡的三维模型序列进行滤波和重建,从而能够得到连续且清晰的高速运动物体的连续画面。该装置解决了帧丢失的问题,进而提高捕捉动作的精确度和高速性。另外,该装置结构简单,操作简单。
在本发明的一个实施例中,所述骨架提取模块用于首先获取所述第一三维面片模型的第一骨架模型并计算所述第一骨架模型中每个骨骼的长度;接着获取所述第二三维面片模型的中轴面;并将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等;然后在所述第二骨架模型的每个骨架上分别提取6个采样点,并在所述中轴面上分别建立每个采样点的空间邻域;最后移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述相应的空间邻域的中心。
在本发明的一个实施例中,所述插值模块用于首先确定所述第一骨架模型和第二骨架模型之间的对应的骨骼;接着计算所述对应的骨骼之间的对应节点间的空间法线方向n;并根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ);以及改变所述R(θ)的大小以使所述对应的骨骼之间的对应骨节点的位移和最小。
在本发明的一个实施例中,所述重建模块用于根据LBS方法变形所述第一三维面片模型的每个面片至所述第二三维面片模型的第二骨架上;并求取所述第一三维面片模型中每个面片顶点的法线方向;根据所述每个面片顶点的法线方向计算相应面片的法线平均方向;沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离;判断所述变形的第一三维面片模型的每个面片与对应的所述第二三维面片模型的每个面片的法线方向的乘积是否大于预定阈值;如果判断所述乘积大于预定阈值,则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片匹配,否则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片不匹配;根据所述采样点的自由度将所述第二骨架划分类型并根据所述第二骨架的类型对所述第二三维面片模型的面片进行类型划分;接着在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第二骨架范围之内;和如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内,则沿着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维面片模型的当前面片顶点与所述第二三维面片模型的距离,如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之外,则沿着距离所述第二骨架最近的节点与所述不匹配的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模型的距离。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同限定。
Claims (15)
1.一种基于骨架和面片插值的运动捕捉方法,其特征在于,包括以下步骤:
A:根据多视角视频分别重建第一时刻的第一三维面片模型和第二时刻的第二三维面片模型,并提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架;
B:在预设的测地线优化目标函数的约束下,对所述第一骨架和所述第二骨架进行插值以得到所述第一骨架和所述第二骨架之间的中间骨架;
C:求取第一三维面片模型与第二三维面片模型之间的变形距离场,并在所述变形距离场上插值点云以形成所述第一三维面片模型向所述第二三维面片模型过度的三维模型序列;和
D:对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。
2.根据权利要求1所述的基于骨架和面片插值的运动捕捉方法,其特征在于,所述步骤A中提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架,进一步包括:
A1:获取所述第一三维面片模型的第一骨架模型并计算所述第一骨架模型中每个骨骼的长度;
A2:获取所述第二三维面片模型的中轴面;
A3:将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等;
A4:在所述第二骨架模型的每个骨架上分别提取6个采样点,并在所述中轴面上分别建立每个采样点的空间邻域;和
A5:移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述相应的空间邻域的中心。
3.根据权利要求1所述的基于骨架和面片插值的运动捕捉方法,其特征在于,所述步骤B中,根据黎曼度准则对所述第一骨架和所述第二骨架进行插值。
4.根据权利要求3所述的基于骨架和面片插值的运动捕捉方法,其特征在于,所述步骤B,进一步包括:
B1:确定所述第一骨架模型和第二骨架模型之间的对应的骨骼;
B2:计算所述对应的骨骼之间的对应节点间的空间法线方向n;
B3:根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ);和
B4:改变所述R(θ)的大小以使所述对应的骨骼之间的对应骨节点的位移和最小。
5.根据权利要求4所述的基于骨架和面片插值的运动捕捉方法,其特征在于,所述法线方向n=(nx,ny,nz),所述旋转角度R(θ)=T-1·MR·T,其中,T为预设的平移矩阵,MR(θ)=[R1,R2,R3]T,其中,
6.根据权利要求1所述的基于骨架和面片插值的运动捕捉方法,其特征在于,所述步骤C,进一步包括:
C1:根据Linear Blend Skinning方法变形所述第一三维面片模型的每个面片至所述第二三维面片模型的第二骨架上;
C2:求取所述第一三维面片模型中每个面片顶点的法线方向;
C3:根据所述每个面片顶点的法线方向计算相应面片的法线平均方向;
C4:沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离;
C5:判断所述变形的第一三维面片模型的每个面片与对应的所述第二三维面片模型的每个面片的法线方向的乘积是否大于预定阈值;
C6:如果判断所述乘积大于预定阈值,则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片匹配,否则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片不匹配;
C7:根据所述采样点的自由度将所述第二骨架划分类型并根据所述第二骨架的类型对所述第二三维面片模型的面片进行类型划分;C8:在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第二骨架范围之内;和
C9:如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内,则沿着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维面片模型的当前面片顶点与所述第二三维面片模型的距离,如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之外,则沿着距离所述第二骨架最近的节点与所述不匹配的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模型的距离。
7.根据权利要求6所述的基于骨架和面片插值的运动捕捉方法,其特征在于,所述步骤C7中对所述第二三维面片模型的面片划分为3类。
9.根据权利要求8所述的基于骨架和面片插值的运动捕捉方法,其特征在于,所述σ=0.07。
10.根据权利要求1-9任一项所述的基于骨架和面片插值的运动捕捉方法,其特征在于,所述第一三维面片模型的每个面片与第二三维面片模型的每个面片属于非同构面片。
11.一种基于骨架和面片插值的运动捕捉装置,其特征在于,包括:
骨架提取模块,所述骨架提取模块用于根据多视角视频分别重建第一时刻的第一三维面片模型和第二时刻的第二三维面片模型,并提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型的第二骨架;
插值模块,所述插值模块用于在预设的测地线优化目标函数的约束下,对所述第一骨架和所述第二骨架进行插值以得到所述第一骨架和所述第二骨架之间的中间骨架;
重建模块,所述重建模块用于求取第一三维面片模型与第二三维面片模型之间的变形距离场,并在所述变形距离场上插值点云以形成所述第一三维面片模型向所述第二三维面片模型过度的三维模型序列;和
优化模块,所述优化模块用于对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。
12.根据权利要求11所述的基于骨架和面片插值的运动捕捉装置,其特征在于,所述骨架提取模块用于首先获取所述第一三维面片模型的第一骨架模型并计算所述第一骨架模型中每个骨骼的长度;接着获取所述第二三维面片模型的中轴面;并将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等;然后在所述第二骨架模型的每个骨架上分别提取6个采样点,并在所述中轴面上分别建立每个采样点的空间邻域;最后移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述相应的空间邻域的中心。
13.根据权利要求11所述的基于骨架和面片插值的运动捕捉装置,其特征在于,所述插值模块用于首先确定所述第一骨架模型和第二骨架模型之间的对应的骨骼;接着计算所述对应的骨骼之间的对应节点间的空间法线方向n;并根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ);以及改变所述R(θ)的大小以使所述对应的骨骼之间的对应骨节点的位移和最小。
14.根据权利要求11所述的基于骨架和面片插值的运动捕捉装置,其特征在于,所述重建模块用于根据LBS方法变形所述第一三维面片模型的每个面片至所述第二三维面片模型的第二骨架上;并求取所述第一三维面片模型中每个面片顶点的法线方向;根据所述每个面片顶点的法线方向计算相应面片的法线平均方向;沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离;判断所述变形的第一三维面片模型的每个面片与对应的所述第二三维面片模型的每个面片的法线方向的乘积是否大于预定阈值;如果判断所述乘积大于预定阈值,则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片匹配,否则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型的当前面片不匹配;根据所述采样点的自由度将所述第二骨架划分类型并根据所述第二骨架的类型对所述第二三维面片模型的面片进行类型划分;接着在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第二骨架范围之内;和如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内,则沿着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维面片模型的当前面片顶点与所述第二三维面片模型的距离,如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之外,则沿着距离所述第二骨架最近的节点与所述不匹配的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模型的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110129655 CN102306390B (zh) | 2011-05-18 | 2011-05-18 | 基于骨架和面片插值的运动捕捉方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110129655 CN102306390B (zh) | 2011-05-18 | 2011-05-18 | 基于骨架和面片插值的运动捕捉方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102306390A true CN102306390A (zh) | 2012-01-04 |
CN102306390B CN102306390B (zh) | 2013-11-06 |
Family
ID=45380248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110129655 Expired - Fee Related CN102306390B (zh) | 2011-05-18 | 2011-05-18 | 基于骨架和面片插值的运动捕捉方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102306390B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105164624A (zh) * | 2012-12-18 | 2015-12-16 | 瑞艾利缇盖特(Pty)有限公司 | 基于事件和因果关系的人机交互 |
CN105338369A (zh) * | 2015-10-28 | 2016-02-17 | 北京七维视觉科技有限公司 | 一种在视频中实时合成动画的方法和装置 |
CN105631919A (zh) * | 2015-07-09 | 2016-06-01 | 腾讯科技(深圳)有限公司 | 一种数据处理方法和装置 |
CN107330903A (zh) * | 2017-06-29 | 2017-11-07 | 西安理工大学 | 一种人体点云模型的骨架提取方法 |
CN109470263A (zh) * | 2018-09-30 | 2019-03-15 | 北京诺亦腾科技有限公司 | 动作捕捉方法、电子设备以及计算机存储介质 |
CN109856991A (zh) * | 2019-01-22 | 2019-06-07 | 华东师范大学 | 一种基于动能热力分布图的动态虚拟人仿真方法 |
CN110378948A (zh) * | 2019-07-02 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
CN112598644A (zh) * | 2020-12-23 | 2021-04-02 | 深兰人工智能芯片研究院(江苏)有限公司 | 面片细化方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604447A (zh) * | 2009-07-09 | 2009-12-16 | 上海交通大学 | 无标记人体运动捕捉方法 |
CN101833786A (zh) * | 2010-04-06 | 2010-09-15 | 清华大学 | 三维模型的捕捉及重建方法和系统 |
-
2011
- 2011-05-18 CN CN 201110129655 patent/CN102306390B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604447A (zh) * | 2009-07-09 | 2009-12-16 | 上海交通大学 | 无标记人体运动捕捉方法 |
CN101833786A (zh) * | 2010-04-06 | 2010-09-15 | 清华大学 | 三维模型的捕捉及重建方法和系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105164624A (zh) * | 2012-12-18 | 2015-12-16 | 瑞艾利缇盖特(Pty)有限公司 | 基于事件和因果关系的人机交互 |
CN105631919A (zh) * | 2015-07-09 | 2016-06-01 | 腾讯科技(深圳)有限公司 | 一种数据处理方法和装置 |
CN105631919B (zh) * | 2015-07-09 | 2019-01-29 | 腾讯科技(深圳)有限公司 | 一种数据处理方法和装置 |
CN105338369A (zh) * | 2015-10-28 | 2016-02-17 | 北京七维视觉科技有限公司 | 一种在视频中实时合成动画的方法和装置 |
CN107330903A (zh) * | 2017-06-29 | 2017-11-07 | 西安理工大学 | 一种人体点云模型的骨架提取方法 |
CN107330903B (zh) * | 2017-06-29 | 2020-01-14 | 西安理工大学 | 一种人体点云模型的骨架提取方法 |
CN109470263A (zh) * | 2018-09-30 | 2019-03-15 | 北京诺亦腾科技有限公司 | 动作捕捉方法、电子设备以及计算机存储介质 |
CN109856991A (zh) * | 2019-01-22 | 2019-06-07 | 华东师范大学 | 一种基于动能热力分布图的动态虚拟人仿真方法 |
CN110378948A (zh) * | 2019-07-02 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
CN110378948B (zh) * | 2019-07-02 | 2023-08-25 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
CN112598644A (zh) * | 2020-12-23 | 2021-04-02 | 深兰人工智能芯片研究院(江苏)有限公司 | 面片细化方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102306390B (zh) | 2013-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102306390B (zh) | 基于骨架和面片插值的运动捕捉方法及装置 | |
Liu et al. | Epnet++: Cascade bi-directional fusion for multi-modal 3d object detection | |
Rahmani et al. | Learning action recognition model from depth and skeleton videos | |
Zhang et al. | Cross-view cross-scene multi-view crowd counting | |
CN102902355B (zh) | 移动设备的空间交互方法 | |
CN104915978B (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
CN104732203A (zh) | 一种基于视频信息的情绪识别与跟踪方法 | |
Ren et al. | Lidar-aid inertial poser: Large-scale human motion capture by sparse inertial and lidar sensors | |
Moon et al. | Pose2pose: 3d positional pose-guided 3d rotational pose prediction for expressive 3d human pose and mesh estimation | |
Cai et al. | Smpler-x: Scaling up expressive human pose and shape estimation | |
CN110688905A (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
US11928778B2 (en) | Method for human body model reconstruction and reconstruction system | |
CN107169988A (zh) | 一种基于余弦距离层次聚类的关键帧提取方法 | |
CN105931270A (zh) | 基于运动轨迹分析的视频关键帧提取方法 | |
CN102663779A (zh) | 基于随机高斯隐变量的人体运动跟踪方法 | |
Yiannakides et al. | Real‐time 3D human pose and motion reconstruction from monocular RGB videos | |
CN107564037A (zh) | 一种基于局部特征的多机器人检测与跟踪方法 | |
Jiang et al. | Evhandpose: Event-based 3d hand pose estimation with sparse supervision | |
Nobis et al. | Exploring the capabilities and limits of 3d monocular object detection-a study on simulation and real world data | |
Nobuhara et al. | Deformable mesh model for complex multi-object 3D motion estimation from multi-viewpoint video | |
CN113723163B (zh) | 利用离散姿态学习物理约束的手部运动自监督重建方法 | |
Nobuhara et al. | Heterogeneous deformation model for 3D shape and motion recovery from multi-viewpoint images | |
Liu et al. | RGBGrasp: Image-based Object Grasping by Capturing Multiple Views during Robot Arm Movement with Neural Radiance Fields | |
Wang et al. | Egocentric whole-body motion capture with fisheyevit and diffusion-based motion refinement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131106 |
|
CF01 | Termination of patent right due to non-payment of annual fee |